Join多种应用   Map join（Distributedcache分布式缓存）   使用场景：一张表十分小、一张表很大。  解决方案 在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端数据的压力，尽可能的减少数据倾斜。  具体办法：采用distributedcache ​ （1）在mapper的setup阶段，将文件读取到缓存集合中。 ​ （2）在驱动函数中加载缓存。 ​ job.addCacheFile(new URI(“file:/e:/mapjoincache/pd.txt”));// 缓存普通文件到task运行节点 Reduce join   原理 ...

Hadoop数据压缩 概述 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。 ​ 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 ​ 如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意MapR...

Yarn Hadoop1.x和Hadoop2.x架构区别 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。 在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算 Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。 Y...

WordCount案例   需求1：统计一堆文件中单词出现的个数 在一堆给定的文本文件中统计输出每一个单词出现的总次数   数据准备：  分析 ​ 按照mapreduce编程规范，分别编写Mapper，Reducer，Driver。  分析   编写mapper类   import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.ha...

流量汇总案例   需求1：统计手机号耗费的总上行流量、下行流量、总流量（序列化） 统计每一个手机号耗费的总上行流量、下行流量、总流量  数据准备  原始数据格式： 时间戳、电话号码、基站的物理地址、访问网址的ip、网站域名、数据包、接包数、上行/传流量、下行/载流量、响应码 输出数据格式: 1356·0436666 1116 954 2070 手机号码 上行流量 下行流量 总流量    分析   基本思路  Map阶段：  读取一行数据，切分字段 抽取手机号、上行流量、下行流量 以手机号为key，bean对象为value输出，即context.write(手机号,bean);   Reduce...

辅助排序和二次排序案例（GroupingComparator）   需求 有如下订单     订单id 商品id 成交金额     0000001 Pdt_01 222.8   0000001 Pdt_06 25.8   0000002 Pdt_03 522.8   0000002 Pdt_04 122.4   0000002 Pdt_05 722.4   0000003 Pdt_01 222.8   0000003 Pdt_02 33.8      现在需要求出每一个订单中最贵的商品。  输入数据 输出数据预期  分析  利用“订单id和成交金额”作为key，可以将map阶段读取到的所有订单...

过滤日志及自定义日志输出（自定义OutputFormat）   需求 过滤输入的log日志中是否包含it  包含it的网站输出到e:/it.log 不包含it的网站输出到e:/other.log   输入数据  输出预期   具体流程  自定义一个outputformat   import java.io.IOException; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.RecordWriter; import o...

MapReduce中多表合并  需求  订单数据表t_order：      id pid amount     1001 01 1   1002 02 2   1003 03 3    商品信息表t_product  将商品信息表中数据根据商品pid合并到订单数据表中。最终数据形式： 需求1：Reduce端表合并（数据倾斜） 通过将关联条件作为map输出的key，将两表满足join条件的数据并携带数据所来源的文件信息，发往同一个reduce task，在reduce中进行数据的串联。 创建商品和订合并后的bean类 import java.io.DataInput; import java....

简单解析版  需求:去除日志中字段长度小于等于11的日志。 输入数据 实现代码:  编写LogMapper   import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class LogMapper extends Mapper<LongWritable, ...

倒排索引案例（多job串联）  需求：有大量的文本（文档、网页），需要建立搜索索引  第一次预期输出结果   it--a.txt 3 it--b.txt 2 it--c.txt 2 pingping--a.txt 1 pingping--b.txt 3 pingping--c.txt 1 ss--a.txt 2 ss--b.txt 1 ss--c.txt 1  第二次预期输出结果 it c.txt-->2 b.txt-->2 a.txt-->3 pingping c.txt-->1 b.txt-->3 a.txt-->1 ss c.txt-->1 b....

共同好友案例   需求 以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？  需求分析 先求出A、B、C、….等是谁的好友  第一次输出结果   A I,K,C,B,G,F,H,O,D, B A,F,J,E, C A,E,B,H,F,G,K, D G,C,K,A,L,F,E,H, E G,M,L,H,A,F,B,D, F L,M,D,C,G,A, G M, H O, I O,C, J O, K B, L D,E, M E,F, O A,H,I,J,F,  第二次输出结果 A-B E C A-C...

压缩解压案例   数据流的压缩和解压缩 CompressionCodec有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。相反，要想对从输入流读取而来的数据进行解压缩，则调用createInputStream(InputStreamin)函数，从而获得一个CompressionInputStream，从而从底层的流读取未压缩的数据。 测试一下如下压缩方式：   import java.io.F...