1.打开虚拟机界面，并启动linux  2.选中上方功能栏中的虚拟机，选中设置  3.点击CD/DVD(SATA)，看到右边有一个使用IOS镜像文件  4.路径填写安装这个虚拟机用的镜像文件路径  5.然后在选项里选择共享文件夹，右边选择总是启用，添加文件夹路径，确定  5.点击虚拟机的里重新安装VMware Tools(k)，桌面上就显示出一个DVD的logo，双击它  接下来有2种步骤 第一种是在桌面版下进行  6.复制如图文件到桌面  7.在命令行中找到这个文件夹   8.解压 tar -xzvf VMwareTools-10.2.0-7259539.tar.gz  9.找到解压出的文件...

dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 s200:8020 dfs.namenode.rpc-address.mycluster.nn2 s204:8020 dfs.namenode.http-address.mycluster.nn1 s200:50070 dfs.namenode.http-address.mycluster.nn2 s204:50070 dfs.namenode.shared.edits.dir qjournal...

安装hadoop 1.安装jdk a)下载jdk-8u65-linux-x64.tar.gz b)tar开 $>su centos ; cd ~ $>mkdir downloads $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads $>tar -xzvf jdk-8u65-linux-x64.tar.gz c)创建/soft文件夹 $>sudo mkdir /soft $>sudo chown centos:centos /soft d)移动tar开的文件到/sof...

一般大家给CENTOS服务器添加dns都是通过修改resolv.conf来添加的，重启网卡后就会丢失。这里和大家分享重启不会失效的dns修改方法： 一般传统方法的代码如下： . echo nameserver 8.8.8.8 > /etc/resolv.conf 很明显，这个并不符合大家的要求。 下面是永久性修改nameserver的教程： 1、运行命令： cd /etc/sysconfig/network-scripts/ ls 2、找到该目录下的网卡配置文件如:ifcfg-eth0，在其中添加三行，如果文件中已经有了DNS,就先删除再添加： PEERD=no DNS1=8.8.8.8...

hadoop全排序 实现方法 1.设置一个 reduce 2.自定义分区函数 3.hadoop采样器 设置随机采样，切片采样 抽取样本数据，计算区间值，把区间值写入分区文件，分区文件就是序列文件，此序列文件只有key，没有value，value为null 第一部分（设置一个reduce） 准备mapper，reducer，test类 package com.MaxTemp; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io....

二次排序原理   二次排序    二次排序原理 自定义key，组合key 二次排序 Key是可以排序的。 需要对value排序。 1.自定义key package com.it18zhang.hdfs.maxtemp.allsort.secondarysort; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 自定义组合key */ public class ComboKey...