Hadoop MapReduce：大数据处理利器

Hadoop MapReduce 编程模型概述

Hadoop MapReduce 是一种分布式计算框架，用于处理大规模数据集。它将计算任务分解为两个主要阶段：Map 和 Reduce。Map 阶段负责数据的预处理和转换，Reduce 阶段负责数据的聚合和汇总。这种模型特别适合处理海量数据，能够在分布式集群上高效运行。

MapReduce 的核心组件

MapReduce 模型的核心组件包括 JobTracker 和 TaskTracker。JobTracker 负责调度和管理作业，TaskTracker 负责执行具体的任务。数据存储在 HDFS（Hadoop Distributed File System）上，通过分块（Block）的方式分布在不同节点上。

输入数据被划分为多个分片（Split），每个分片由一个 Map 任务处理。Map 任务的输出是键值对（Key-Value Pair），这些键值对经过 Shuffle 和 Sort 阶段后传递给 Reduce 任务。Reduce 任务对相同键的值进行聚合，生成最终结果。

MapReduce 的工作流程

  1. Input Splitting
    输入数据被划分为多个逻辑分片，每个分片由一个 Map 任务处理。分片的大小通常与 HDFS 的块大小一致（默认 128MB）。

  2. Map Phase
    Map 任务读取输入分片，生成中间键值对。例如，统计单词频率的 Map 任务会输出 <word, 1> 形式的键值对。

  3. Shuffle and Sort
    Map 输出的键值对根据键进行排序，并分发到对应的 Reduce 任务。这一阶段确保相同键的值被发送到同一个 Reduce 任务。

  4. Reduce Phase
    Reduce 任务接收排序后的键值对，对相同键的值进行聚合。例如，单词统计的 Reduce 任务会计算每个单词的总出现次数。

  5. Output
    Reduce 的输出写入 HDFS，生成最终结果文件。

编写 MapReduce 程序

以下是一个简单的 WordCount 示例，展示如何实现 Map 和 Reduce 函数。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WordCount {
    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            StringTokenizer itr = new StringTokenizer(value.toString());
            while (itr.hasMoreTokens()) {
                word.set(itr.nextToken());
                context.write(word, one);
            }
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "word count");
        job.setJarByClass(WordCount.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

MapReduce 的优化技巧

  1. Combiner 的使用
    Combiner 是一种本地 Reduce 操作，可以在 Map 阶段后对数据进行预聚合，减少数据传输量。例如，WordCount 中的 Combiner 可以对相同单词的计数进行局部汇总。

  2. 合理设置 Reduce 任务数量
    Reduce 任务的数量应根据数据量和集群资源进行调整。过多的 Reduce 任务会导致小文件问题，过少则可能造成负载不均衡。

  3. 数据压缩
    对中间数据（Map 输出）和最终输出进行压缩，可以减少磁盘 I/O 和网络传输开销。常用的压缩格式包括 Snappy 和 Gzip。

  4. 避免数据倾斜
    数据倾斜会导致某些 Reduce 任务处理的数据量远大于其他任务。可以通过自定义分区器（Partitioner）或预处理数据来缓解这一问题。

MapReduce 的局限性

尽管 MapReduce 在大数据处理中表现优异，但它也存在一些局限性：

  1. 不适合迭代计算
    MapReduce 的每次作业都是独立的，不适合需要多次迭代的算法（如机器学习训练）。

  2. 高延迟
    MapReduce 的批处理模式导致较高的延迟，不适合实时或近实时数据处理场景。

  3. 编程模型复杂
    编写复杂的 MapReduce 程序需要较多的代码量，开发效率较低。

替代方案

随着技术的发展，许多新的计算框架逐渐替代了 MapReduce，例如：

  1. Apache Spark
    Spark 提供了内存计算和更丰富的 API（如 DataFrame 和 SQL），支持迭代计算和流处理。

  2. Apache Flink
    Flink 专注于流处理，支持低延迟和高吞吐量的数据处理。

  3. Apache Tez
    Tez 通过优化任务执行计划，提高了 MapReduce 的执行效率。

总结

Hadoop MapReduce 是一种经典的大数据处理模型，适合离线批处理任务。尽管其性能在某些场景下受限，但理解其原理和优化方法仍对分布式计算的学习具有重要意义。随着技术的演进，Spark 和 Flink 等框架提供了更高效的解决方案，但 MapReduce 的核心思想仍在许多系统中得到延续。

5G.okacbd151.asia/PoSt/1123_051619.HtM
5G.okacbd152.asia/PoSt/1123_021437.HtM
5G.okacbd153.asia/PoSt/1123_043186.HtM
5G.okacbd154.asia/PoSt/1123_940142.HtM
5G.okacbd155.asia/PoSt/1123_131674.HtM
5G.okacbd156.asia/PoSt/1123_495208.HtM
5G.okacbd157.asia/PoSt/1123_949124.HtM
5G.okacbd158.asia/PoSt/1123_596355.HtM
5G.okacbd159.asia/PoSt/1123_792090.HtM
5G.okacbd160.asia/PoSt/1123_434721.HtM
5G.okacbd151.asia/PoSt/1123_500816.HtM
5G.okacbd152.asia/PoSt/1123_953218.HtM
5G.okacbd153.asia/PoSt/1123_168861.HtM
5G.okacbd154.asia/PoSt/1123_591013.HtM
5G.okacbd155.asia/PoSt/1123_509828.HtM
5G.okacbd156.asia/PoSt/1123_763993.HtM
5G.okacbd157.asia/PoSt/1123_808471.HtM
5G.okacbd158.asia/PoSt/1123_953315.HtM
5G.okacbd159.asia/PoSt/1123_573311.HtM
5G.okacbd160.asia/PoSt/1123_986439.HtM
5G.okacbd151.asia/PoSt/1123_976299.HtM
5G.okacbd152.asia/PoSt/1123_621961.HtM
5G.okacbd153.asia/PoSt/1123_542106.HtM
5G.okacbd154.asia/PoSt/1123_382223.HtM
5G.okacbd155.asia/PoSt/1123_587506.HtM
5G.okacbd156.asia/PoSt/1123_313600.HtM
5G.okacbd157.asia/PoSt/1123_306947.HtM
5G.okacbd158.asia/PoSt/1123_686668.HtM
5G.okacbd159.asia/PoSt/1123_008094.HtM
5G.okacbd160.asia/PoSt/1123_713213.HtM
5G.okacbd151.asia/PoSt/1123_416218.HtM
5G.okacbd152.asia/PoSt/1123_022515.HtM
5G.okacbd153.asia/PoSt/1123_938569.HtM
5G.okacbd154.asia/PoSt/1123_020151.HtM
5G.okacbd155.asia/PoSt/1123_828296.HtM
5G.okacbd156.asia/PoSt/1123_962646.HtM
5G.okacbd157.asia/PoSt/1123_114871.HtM
5G.okacbd158.asia/PoSt/1123_922034.HtM
5G.okacbd159.asia/PoSt/1123_853704.HtM
5G.okacbd160.asia/PoSt/1123_108266.HtM
5G.okacbd151.asia/PoSt/1123_784586.HtM
5G.okacbd152.asia/PoSt/1123_431539.HtM
5G.okacbd153.asia/PoSt/1123_601727.HtM
5G.okacbd154.asia/PoSt/1123_004771.HtM
5G.okacbd155.asia/PoSt/1123_498954.HtM
5G.okacbd156.asia/PoSt/1123_382878.HtM
5G.okacbd157.asia/PoSt/1123_541394.HtM
5G.okacbd158.asia/PoSt/1123_261827.HtM
5G.okacbd159.asia/PoSt/1123_137087.HtM
5G.okacbd160.asia/PoSt/1123_353137.HtM
5G.okacbd151.asia/PoSt/1123_978775.HtM
5G.okacbd152.asia/PoSt/1123_980153.HtM
5G.okacbd153.asia/PoSt/1123_215172.HtM
5G.okacbd154.asia/PoSt/1123_269510.HtM
5G.okacbd155.asia/PoSt/1123_104642.HtM
5G.okacbd156.asia/PoSt/1123_143009.HtM
5G.okacbd157.asia/PoSt/1123_056792.HtM
5G.okacbd158.asia/PoSt/1123_991853.HtM
5G.okacbd159.asia/PoSt/1123_206200.HtM
5G.okacbd160.asia/PoSt/1123_497766.HtM
5G.okacbd151.asia/PoSt/1123_114914.HtM
5G.okacbd152.asia/PoSt/1123_183922.HtM
5G.okacbd153.asia/PoSt/1123_439241.HtM
5G.okacbd154.asia/PoSt/1123_920911.HtM
5G.okacbd155.asia/PoSt/1123_471987.HtM
5G.okacbd156.asia/PoSt/1123_224972.HtM
5G.okacbd157.asia/PoSt/1123_528138.HtM
5G.okacbd158.asia/PoSt/1123_574766.HtM
5G.okacbd159.asia/PoSt/1123_155478.HtM
5G.okacbd160.asia/PoSt/1123_354172.HtM
5G.okacbd151.asia/PoSt/1123_850835.HtM
5G.okacbd152.asia/PoSt/1123_430683.HtM
5G.okacbd153.asia/PoSt/1123_899071.HtM
5G.okacbd154.asia/PoSt/1123_720499.HtM
5G.okacbd155.asia/PoSt/1123_049352.HtM
5G.okacbd156.asia/PoSt/1123_202718.HtM
5G.okacbd157.asia/PoSt/1123_966207.HtM
5G.okacbd158.asia/PoSt/1123_182563.HtM
5G.okacbd159.asia/PoSt/1123_548849.HtM
5G.okacbd160.asia/PoSt/1123_492000.HtM

#牛客AI配图神器#

全部评论

相关推荐

今天 20:44
复旦大学 Java
大厂面试官：实习期间有没有参与处理过线上问题？拿走直接抄答案!
所有&nbsp;Java&nbsp;服务的线上问题从系统表象来看归结起来总共有四方面：CPU、内存、磁盘、网络。例如&nbsp;CPU&nbsp;使用率峰值突然飚高、内存溢出&nbsp;(泄露)、磁盘满了、网络流量异常、FullGC等等问题。本文从以下四个角度，去分析如何排查线上问题，如果你也遇见过上面的这些问题，却无从下手相信你看完这篇文章，能够掌握线上问题的排查思路与工具方法，方便你遇到线上问题时，心中有数，不慌不忙，赶紧mark起来吧。CPU，CPU使用率飙升，如何定位内存，内存溢出、垃圾回收的问题排查思路与工具IO，IO异常时，如何定位网络，网络卡顿，网络不通的排查思路先说结论，大部分工程师也许没有全面的性能问题诊断机会，解决线上问题...
点赞 评论 收藏
分享
11-18 13:09
蓝禾技术_电商事业部_电商运营管培生(准入职员工)
蓝禾科技内推，蓝禾科技内推码
面经：蓝禾的流程推得很快，基本上投完两天就接到了hr的初试电话，直接进行了初试。初试全程大概三十分钟，hr小哥态度很和善。主要问了实践经历获奖的情况最有成就感的事情对电商运营的理解选择公司的标准等，都是比较常规的问题。禾你一起，做不可能的事&nbsp;|&nbsp;蓝禾26届校招启动啦公司介绍：蓝禾2008年成立于深圳，是一家集产品、设计、研发、品牌、营销、大数据运营于一体的创新型科技公司，旗下拥有图拉斯TORRAS、锐舞RANVOO、卡斯酷CASEKOO等多个品牌招聘岗位：运营(国内)、运营(国外)、营销、设计、研发技术、职能工作地点：深圳内推链接：https://lanhevip.jobs.feishu.cn...
点赞 评论 收藏
分享
头像
11-04 21:22
天津理工大学 Java
点赞 评论 收藏
分享
11-02 23:41
内蒙古工业大学 Java
可能有人天生就是废物吧
我可能就是那个无志的飞舞吧哎
代码飞升_不回私信人...：别这样贬低自己，降低预期，放平心态，跟昨天的自己比。做好自己，反而会效率更高心态更好，加油兄弟
点赞 评论 收藏
分享
11-17 09:17
元戎启行_软件工程师(准入职员工)
元戎启行内推，元戎启行内推码
元戎启行嵌入式面经(友好)(初次面)&nbsp;&nbsp;&nbsp;&nbsp;开局直接讲项目，我把最拿得出手的项目一讲(tc377&nbsp;gps+九轴陀螺仪+摄像头+图像处理)的比赛。期间被多处细问但完美解决。&nbsp;&nbsp;&nbsp;&nbsp;然后问了一个spi通信原理，我给忘了(我怎么能把这给忘了啊😤😤)，只讲了个大概。&nbsp;&nbsp;&nbsp;&nbsp;问了一个pid，p&nbsp;i&nbsp;d各自含义及用处。&nbsp;&nbsp;&nbsp;&nbsp;跟面试官讲实话:我才开始背八股文，C++和数据结构还没咋预习，C语言最熟。也就只问了最简单的C语言。(面试官人真的很好😭😭😭)&nbsp;&nbsp;&nbsp;&nbsp;问了一个二维数组地址是否连续。&nbsp;&nbsp;&nbsp;&nbsp;问了一个在64位系统下。&nbsp;&nbsp;&nbsp;&nbsp;short&nbsp;i[]={0，1}&nbsp;&nbsp;&nbsp;&nbsp;printf(sizeof(i)...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 那些年，我收到的‘奇葩’回复 #
27991次浏览 175人参与
# 材料转码还有必要吗？ #
31495次浏览 147人参与
# 腾讯音乐秋招 #
431685次浏览 4779人参与
# OC/开奖 #
195138次浏览 1340人参与
# 实习学到最有价值的工作习惯 #
40854次浏览 362人参与
# 职场中那些令人叹为观止的八卦 #
32482次浏览 253人参与
# 百度秋招 #
52256次浏览 388人参与
# 蚂蚁求职进展汇总 #
132475次浏览 1208人参与
# 为了秋招你都做了哪些准备？ #
25354次浏览 497人参与
# 滴滴求职进展汇总 #
277843次浏览 2367人参与
# 你知道哪些职场黑话？ #
64156次浏览 445人参与
# 材料人，你最希望上岸的是？ #
12701次浏览 58人参与
# 哪些行业值得去? #
10533次浏览 63人参与
# 牛客十周岁生日快乐 #
185576次浏览 1829人参与
# 秋招投简历越早越好吗 #
99203次浏览 839人参与
# 实习需要主动找活干吗？ #
55887次浏览 296人参与
# 秋招你经历过哪些无语的事 #
25158次浏览 252人参与
# 你今年的保底offer是哪家 #
144630次浏览 620人参与
# 校招薪资来揭秘 #
92201次浏览 580人参与
# 2022毕业即失业取暖地 #
121019次浏览 709人参与
# CVTE求职进展汇总 #
26062次浏览 327人参与
# 双非本科的出路是什么？ #
178212次浏览 1453人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务