搜狐 数据开发

以下是本人在大数据方向的技术栈学习路线，另外还有诸如HBase、Kylin、实时数仓项目、数据湖项目、湖仓一体等。下面列出的是基本所必须掌握的内容。对于项目方面，建议先离线后实时开发的学习，再之后便是数据湖等项目。另外推荐可以经常翻看《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。类似阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1、Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以了，不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架（除了平台开发之外），像Spring这些web框架，在学习完所有的大数据框架之后，找工作之前如果还有时间，可以去学一学这些框架【加分项】）2、Linux+Shell3、Git、Maven（了解会用，有印象，如果需要使用能快速学习上手使用即可）4、Hadoop（HDFS，MapReduce，Yarn）5、Zookeeper6、Hadoop高可用（了解即可）7、Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）8、Spark（大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等）9、Flume10、Kafka（时间紧张的话，可以先放一放，和Flink一起学，kafka+Flink+Spark是处理实时数据的）11、Maxwell、DataX、Dolphinscheduler（项目中数据同步、模拟日常调度工作）12、sgg电商数仓x.0（跟着做完这个项目，就知道什么是数仓，什么是维度模型，什么是指标等等，以及生产中一些内容）13、Flink14、MPP架构（类似Doris、Clickhouse）15、实时数仓项目16、数据治理17、数据湖、湖仓一体18、刷算法、刷sql、刷场景题

初衷：为什么想要这么做作为一名数开兼岗数分，经常需要拿着自己的分析报告、总结去跟业务/TL 其他人分享， 或多或少经历过以下场景、存在过实实在在的困惑：辛辛苦苦加班清洗出近 12 个月内不同类型用户在各个链路环节下分5 个维度的数据表现，认认真真进行横向维度对比、纵向时间趋势分析，兢兢业业整理出数据图表一顿可视化操作，最终输出一份内容详尽、目录结构层次分明的分析报告。当你一腔热血地去跟业务打开文档、分享结论时，结果业务却打断你说：你这有xxx的表现吗？（你回复：有啊，在后面）那能不能先跳到那里，我想看看那个数据！于是整个分享在文档不同部位间反复横跳，你会不会觉得很累、且有种被带着走的不适感。或...

前段时间也面试了知乎的实时数据开发面试问题如下1 先自我介绍一下2 说一下你实时用到的技术，主要做了哪些实时的指标和表，时效性怎么样，对于实时任务失败，你们这边怎么拉起的，有没有数据不准问题3 你们实时是用到了哪个olap引擎，为啥要选择这个，有遇到什么问题吗4 你感觉实时和离线最大的区别是啥，为啥实时要有，而且对于技术要求能力很高5 你在干实时的时候有遇到什么问题吗，对于实时计算的话资源和内存怎么分配，延迟了改怎么处理6有啥要问我的感觉还挺难的，我这边还好做过，要不然感觉都答不出来

自我介绍，我就把自己的项目说了说，然后面试官根据我做过的开始提问前后端交互中，如果后端传回来的一个double数字是2.999997，这是什么原因造成的，怎么解决这个问题？前后端交互中，如果后端传回来一个特别大的数字，前端怎么接收？接口封装中，如果几百个接口的路由从/api_a变成了/api_b，前端怎么实现？你是如何实现懒加载的，懒加载有几种方式？vue2和vue3的双向绑定有什么区别？vue2的双向绑定有什么缺点？如果服务器接收状态码是200，那么代表他接收成功了吗？为什么浏览器输入URL地址到显示主页的过程？TCP三次握手和两次握手，四次握手有什么区别？手撕：第K个大的数怎么实现，用最小...