大数据开发学习记录帖 Day15【事宜】跟着视频基本把hadoop和zookeeper的知识学完了，感觉比预想中学习进度要快一些。这个月剩余的时间打算复习，整理一下相关的知识点，先把基础打牢。【笔记】【力扣】leetcode总题数：183，每日一题。【感想】昨天忘记打卡了，补一下

大数据开发学习记录帖 Day14【事宜】学习了Zookeeper和HA的相关知识。【笔记】【力扣】leetcode总题数：182，每日一题。【感想】无

大数据开发学习记录帖 Day13【事宜】学习了Hadoop数据压缩的相关知识。【笔记】【力扣】leetcode总题数：181。【感想】无

大数据开发学习记录帖 Day12【事宜】学习了YARN部分【笔记】【力扣】leetcode总题数：179， 每日一题。【感想】无

大数据开发学习记录帖 Day11【事宜】基本把MapReduce过了一遍（我太难了），明天总结一下知识点。【笔记】【力扣】leetcode总题数：178。【感想】最近事情比较多，好好兼顾科研和学习（雾）吧。

大数据开发学习记录帖 Day10【事宜】今天主要学习了MapReduce的OutputFormat和Reduce Join。【笔记】code【力扣】leetcode总题数：178，每日一题【感想】冷

大数据开发学习记录帖 Day9【事宜】今天主要学习了MapReduce的Shuffle机制，了解了Partitioner和Combiner的作用和原理，如何实现排序等等。【笔记】1. Partitioner是Hadoop的分区器对象，给Map阶段的输出数据选择分区。默认的分区对象，分区规则需要了解（源码）。2. 自定义分区对象的流程， ReduceTask数目和分区数的关系（源码）3. 排序的实现（2种方法）4. 获取比较器对象的规则（源码）5. Combiner的作用：提升MR程序的运行效率，减轻ReduceTask的压力，减少IO的开销。【力扣】leetcode总题数：177【感想】冷

大数据开发学习记录帖 Day8【事宜】今天主要学习了hadoop序列化的相关知识，对Mapreduce的InputFormat这一阶段的知识点进行了学习，包括一些子实现类，FileInputFormat, TextInputFormat, CombineFileInputFormat等等，读了常规切片的源码（getSplits()）。【笔记】【力扣】leetcode总题数：177，每日一题。【感想】昨晚没睡好，今天有点小累。

大数据开发学习记录帖 Day7【事宜】今天开始学习MapReduce，了解了MR的定义，优缺点，核心思想，从官方WordCount源码中了解了MR程序的构成，Hadoop自身的数据类型，并尝试手写了MR的WordCount案例。【笔记】1. MR： 分布式运算程序的编程框架。易于编写的框架，具有良好的扩展性，高容错性，适合对海量数据的离线处理，但不擅长数据的实时处理。2. MR程序主要由驱动类，自定义Mapper类，自定义Reducer类组成。驱动类负责job的提交，自定义的Mapper和Reducer类需要继承官方的Mapper和Reducer，并重写map和reduce方法（业务逻辑）。3. Hadoop数据类型，按规律记忆：int -> IntWritable  String -> Text【力扣】leetcode总题数：176，每日一题。【感想】坚持一周了，继续加油。

大数据开发学习记录帖 Day6【事宜】今天花时间整理了一下hdfs的知识点，重点掌握组成架构，读写过程（尤其是写过程，最好深入到源码层面），nn和2nn的工作机制等等，后续可以根据面经深入学习。【笔记】【力扣】leetcode总题数：175，每日一题。【感想】劳逸结合，明天有空可以开始学MapReduce了。

大数据开发学习记录帖 Day5【事宜】今天基本把hdfs学完了，主要学习了集群安全模式，dn的工作机制，如何保证数据完整性，掉线时长参数的设置，节点的服役（白名单）和退役（黑名单）的设置。【笔记】集群处于安全模式时，nn的文件系统只能读不能写。HDFS的默认超时时长为10分30秒，超时则判定dn死亡。【力扣】leetcode总题数：174，每日一题。【感想】最近沉迷理论学习，没啥时间刷题，可能也因为自己还是有点懈怠吧，今天是第5天了，希望能一直坚持下去。

大数据开发学习记录帖 Day4【事宜】今天主要学习了hdfs的读写数据流程，nn和2nn的工作机制。重点掌握hdfs的写数据流程的知识点，包括机架感知，网络拓扑；nn和2nn工作机制重点掌握元数据的存放位置（内存+硬盘），如何更新元数据（fsimage，edits的相关知识）。【力扣】leetcode总题数：173，每日一题。【感想】痛并快乐着。

大数据开发学习记录帖 Day3【事宜】今天跟着视频学习了hdfs的基础知识，包括hdfs的产生背景，优缺点，组成架构，文件块大小，一些基本的shell操作。基于windows的hadoop环境简单配置，简单的API操作（idea）等。【笔记】hdfs：hadoop distributed file system 一种分布式文件管理系统。优点：高容错，适合处理大规模数据；缺点：不适合低延时访问，无法高效存储小文件，不支持并发写入和随机修改。组成架构：nn，dn，2nn，client文件块大小：64MB（1.x），128MB（2.x）为什么是128Mb？为什么块大小不能太大，也不能太小？实操：上传，下载，一些直接操作【力扣】leetcode总题数：172，今天的每日一题接雨水2比较难，就把接雨水1先刷了，有时间补下题。【感想】提升学习效率，注意劳逸结合。

大数据开发学习记录帖 Day2【事宜】今天跟着视频搭建了hadoop完全分布式集群，配了历史服务器，日志聚集和时间同步。弄清楚每一步要做什么，怎么做，为什么要这样做？核心配置文件的位置在哪里？要如何修改？配置完文件切记要分发到每台机器上，shell语法还得多练习，基本的脚本要会写。【笔记】主机名文件位置：/etc/hostnameIP地址文件位置：/etc/sysconfig/network-scripts/ifcfg-ens33HADOOP的核心配置文件：core-site.xml, hdfs-site.xml, yarn-site.xml, mapred.xml分发文件命令：scp -r, rsync -av首次搭建集群切记要格式化namenode，后续如果要再次格式化，一定要删掉所有机器的data和logs目录！！！【力扣】leetcode总题数：171，依然只刷了每日一题。【感想】今天几乎整个早上都在看视频，搭集群。虽然搭成功了，但是还不熟练。不看文档的话估计还是搭不出来，还是得多看，多敲，多记，不要畏难。天气转凉，添衣保暖~