1.单词计数设计思路   这个应用实例的解决方案很直接，就是将文件内容切分成单词，然后将所有相同的单词聚集在一起，最后计算单词出现的次数并输出。根据MapReduce并行程序设计原则可知，解决方案中的内容切分步骤和数据不相关，可以并行化处理，每个获得原始数据的机器只要将输人数据切分成单词就可以了。所以可以在Map阶段完成单词切分任务。另外，  相同单词的频数计算也可以并行化处理。由实例要求来看，不同单词之间的频数不相关，所以可以将相同的单词交给一台机器来计算频数，然后输出最终结果。这个过程可以在Reduce阶段完成。至于将中间结果根据不同单词分组再分发给Reduce机器，这正好是MapRedu...

   1.通过API对相关组件的参数进行配置   Hadoop有很多自己的组件(例如Hbase和Chukwa等)，每一种组件都可以实现不同的功能，并起着不同的作用，  通过多种组件的配合使用，Hadoop就能够实现非常强大的功能。这些可以通过Hadoop的API对相关参数进行配置来实现。   先简单地介绍一下API，它被分成了以下几个部分( 也就是几个不同的包)。   org.apache.hadoop.conf:  定义了系统参数的配置文件处理API;   org.apache.hadoop.fs:定义了抽象的文件系统API;  org.apache.hadoop.dfs: Hadoop 分...

1.为什么要用MapReduce   MapReduce的流行是有理由的。它非常简单、易于实现且扩展性强。大家可以通过它轻易地编写出同时在多台主机上运行的程序，也可以使用Ruby、Python、 PHP和C++等非Java类语言编写Map或Reduce程序，还可以在任何安装Hadoop的集群中运行同样的程序，不论这个集群有多少台主机。MapReduce适合处理海量数据，因为它会被多台主机同时处理，这样通常会有较快的速度。   2  MapReduce计算模型     要了解MapReduce,首先需要了解MapReduce的载体是什么。  在Hadoop中，用于执行MapReduce任务的机器...

Hadoop安装与配置：   Hadoop是为了在Linux平台上使用而开发的，但是在一些主流的操作系统如UNIX、Windows甚至Mac OS X系统上Hadoop也运行良好。不过，在Windows.上运行Hadoop稍显复杂，首先必须安装Cygwin来模拟Linux环境，然后才能安装Hadoop。   以下介绍在Linux、window上配置hadoop。   1.       Linux上安装与配置hadoop   1.1安装JDK1.6   下面介绍安装JDK 1.6的具体步骤。   (1)     下载和安装JDK 1.5   确保可以连接到互联网，   从htp://www.or...

1.Hadoop项目及其结构：     现在Hadoop已经发展成为包含很多项目的集合。虽然其核心内容是MapReduce和Hadoop分布式文件系统，但与Hadoop相关的Common、Avro、 Chukwa、Hive、 HBase 等项目也是不可或缺的。它们提供了互补***或在核心层，上提供了更高层的服务。 下面将对Hadoop的各个关联项目进行更详细的介绍。    1) Common: Common 是为Hadoop其他子项目提供支持的常用工具，它主要包括FileSystem、RPC 和串行化库。它们为在廉价硬件上搭建云计算环境提供基本的服务，并且会为运行在该平台.上的软件开发提供所需...