10.16字节数据开发一面

36分钟 凉了拷打项目（被喷太菜了）Spark VS MR为什么更快HDFS 小文件问题Spark AQE功能AQE除了处理数据倾斜呢？进程 vs 线程TCP vs UDP数据库索引的功能B tree和B+ treePython 浅拷贝深拷贝Python 多态SQL：连续两天登录的用户数除自连接呢？算法：给定长度为n + 1的数组，每个数都在[1, n]范围内，已知只有一个数有重复在不修改数组，O(1)空间复杂度，小于O(n^2)的时间复杂度的条件下，找出来

来自同事的数开面经，速速发出来供大家参考自我介绍了解实习经历针对实习项目，问数据层次怎么分层数据分层的作用针对具体实习项目，说明业务逻辑说明实习项目的“订单量”这个指标从源头到产出的ETL过程针对实习项目，复盘后最大的难点是什么复盘之后有什么收获你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的？处理小文件有哪些方法，举例子hive冷热分离的方法你刚才提到了组里有做ec存储，你了解ec存储吗暑期实习有什么感受，转正了吗 15分钟了解spark的semi join吗，他是干嘛的了解spark的AQE，这是什么你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢了解网络...

以下是本人在大数据方向的技术栈学习路线，另外还有诸如HBase、Kylin、实时数仓项目、数据湖项目、湖仓一体等。下面列出的是基本所必须掌握的内容。对于项目方面，建议先离线后实时开发的学习，再之后便是数据湖等项目。另外推荐可以经常翻看《大数据之路》这本书，里面涉及到的理论和企业中的白皮书基本一样。平常也可以多翻看各个公司公开分享的技术文章，源码等。类似阿里的学习文档、美团的技术文档等，在没有实际生产经验时可以了解各个场景下技术选型、底层调优、内存调整、资源配置、数据治理等各个重要环节和内容。1、Java：JAVA SE、JVM、JUC（刚开始只需要看Java基础就可以了，不需要学习一些web框架，因为不管是源码二次开发，UDF开发，还是数仓都不需要用到这些框架（除了平台开发之外），像Spring这些web框架，在学习完所有的大数据框架之后，找工作之前如果还有时间，可以去学一学这些框架【加分项】）2、Linux+Shell3、Git、Maven（了解会用，有印象，如果需要使用能快速学习上手使用即可）4、Hadoop（HDFS，MapReduce，Yarn）5、Zookeeper6、Hadoop高可用（了解即可）7、Hive（重点，需要熟练了解原理，并且会写HQL，以及一些优化，是基础）8、Spark（大部分公司都是写SparkSQL，并且调优，需要明白底层原理，内存结构，SparkUI等）9、Flume10、Kafka（时间紧张的话，可以先放一放，和Flink一起学，kafka+Flink+Spark是处理实时数据的）11、Maxwell、DataX、Dolphinscheduler（项目中数据同步、模拟日常调度工作）12、sgg电商数仓x.0（跟着做完这个项目，就知道什么是数仓，什么是维度模型，什么是指标等等，以及生产中一些内容）13、Flink14、MPP架构（类似Doris、Clickhouse）15、实时数仓项目16、数据治理17、数据湖、湖仓一体18、刷算法、刷sql、刷场景题

前言当前26届秋招已过了一半，盘点一下带过百位26届实习/校招出现过的一些情况，也能给27届或还在26届找工作的同学起到一些帮助。现象1-各公司越来越卷学历卷学历现象从最近2年来看都是普遍现象，数据开发侧可能还好，基本双非本硕以上同学都能有面试机会，但26届对于双非本科同学就没有那么友好了，需要多段大厂实习进行支撑（建议提前准备考研、或提前准备实习），即使双非本硕作为门槛，仍然有大量985、211同学在竞争，对于数分侧来说更不友好，985硕属于标配，还需要加之前大厂经历才能有面试机会，可能数开侧同学在28届29届学历要求标准还会继续有所变动，相对来说更卷一些。同时对于一些学历厂例如阿里云等更看...