数据开发工程师

分享一下我在大数据方向的学习路线，列出的基本上是必须掌握的内容。对于项目方面，建议先离线后实时项目，再之后便是数据湖等项目。另外推荐《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。比如：阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1. Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以，不要花太多时间在Java的学习上，也不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架，除非涉及到数据平台开发。2. Linux+Shell，熟悉基本操作即可3. Git、Maven（了解会用，如果需要使用能快速学习上手使用即可）4. Hadoop（重点，HDFS，MapReduce，Yarn）5. Zookeeper6. Hadoop高可用（了解即可）7. Flume8. Kafka（重点，时间紧张的话可以大致了解用途，后面可以和Flink一起学，主要用来处理实时数据）9. Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）10. Spark（重点，大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等，来不及的话可以先跳过Java API编写Spark代码的学习）11. Maxwell、DataX、DolphinScheduler（项目中数据同步、模拟日常调度工作）12. 离线数仓项目：sgg电商数仓6.0（跟着做完这个项目，就知道数仓、维度模型、指标体系等等，以及生产中一些内容。这套教程比较全面，若来不及可以选择sgg其它离线数仓项目）。学到这里可以去找实习，实时数仓等技术可以在实习中抽空学13. Flink（重点）14. MPP架构（如：Doris、Clickhouse、StarRocks）15. 实时数仓项目16. 数据治理17. 数据湖、湖仓一体18. 刷算法、刷sql、刷场景题