大数据开发学习记录帖 Day2
【事宜】今天跟着视频搭建了hadoop完全分布式集群,配了历史服务器,日志聚集和时间同步。弄清楚每一步要做什么,怎么做,为什么要这样做?核心配置文件的位置在哪里?要如何修改?配置完文件切记要分发到每台机器上,shell语法还得多练习,基本的脚本要会写。
【笔记】
主机名文件位置:/etc/hostname
IP地址文件位置:/etc/sysconfig/network-scripts/ifcfg-ens33
HADOOP的核心配置文件:core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml
分发文件命令:scp -r, rsync -av
首次搭建集群切记要格式化namenode,后续如果要再次格式化,一定要删掉所有机器的data和logs目录!!!
【力扣】leetcode总题数:171,依然只刷了每日一题。
【感想】今天几乎整个早上都在看视频,搭集群。虽然搭成功了,但是还不熟练。不看文档的话估计还是搭不出来,还是得多看,多敲,多记,不要畏难。
天气转凉,添衣保暖~
【事宜】今天跟着视频搭建了hadoop完全分布式集群,配了历史服务器,日志聚集和时间同步。弄清楚每一步要做什么,怎么做,为什么要这样做?核心配置文件的位置在哪里?要如何修改?配置完文件切记要分发到每台机器上,shell语法还得多练习,基本的脚本要会写。
【笔记】
主机名文件位置:/etc/hostname
IP地址文件位置:/etc/sysconfig/network-scripts/ifcfg-ens33
HADOOP的核心配置文件:core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml
分发文件命令:scp -r, rsync -av
首次搭建集群切记要格式化namenode,后续如果要再次格式化,一定要删掉所有机器的data和logs目录!!!
【力扣】leetcode总题数:171,依然只刷了每日一题。
【感想】今天几乎整个早上都在看视频,搭集群。虽然搭成功了,但是还不熟练。不看文档的话估计还是搭不出来,还是得多看,多敲,多记,不要畏难。
天气转凉,添衣保暖~
全部评论
相关推荐
07-30 12:18
南京邮电大学 硬件开发 点赞 评论 收藏
分享
06-23 11:43
门头沟学院 Java 点赞 评论 收藏
分享
07-30 12:24
中国人民大学 数据运营 坚定的芭乐反对画饼_...:字节还是更适合社招跳槽进去,校招生/实习生landing没人带的话太痛苦了


点赞 评论 收藏
分享