字节-广告大数据开发面经

36分钟 凉了拷打项目（被喷太菜了）Spark VS MR为什么更快HDFS 小文件问题Spark AQE功能AQE除了处理数据倾斜呢？进程 vs 线程TCP vs UDP数据库索引的功能B tree和B+ treePython 浅拷贝深拷贝Python 多态SQL：连续两天登录的用户数除自连接呢？算法：给定长度为n + 1的数组，每个数都在[1, n]范围内，已知只有一个数有重复在不修改数组，O(1)空间复杂度，小于O(n^2)的时间复杂度的条件下，找出来

1.目前所在地在哪?现在有课程安排?2.面试官介绍面试的流程。3.自我介绍。4.sql题(口述回答):要取年至今所有用户的首次及末次下单时间。5.如果在此基础上，还要求出首次及末次下单时间对应的订单id、商品id等，应该如何处理?6.了解row_number吗?7.介绍一下实习公司的业务/产品?8.讲一下你做过的任何一个优化案例?9.有其它关于计算资源、存储的具体优化案例吗?10.介绍一下spark问题定位的流程?11.介绍一下项目涉及的核心指标?12.项目中部分指标是怎么做的(计算逻辑)?13.有没有考虑过为啥要做这些指标?14.有接触过实时项目吗?15.为什么要数仓分层?16.维度建模有哪些模型?17.有了解过大模型吗?有做过算法题吗?18.sql题:求出所有成绩均大于80分的学生姓名?19.讲解一下代码的思路?你写的代码可以如何优化?20.知道distinct和group by的区别吗?21.什么时候能到岗?能实习多久?22.反问环节。

1.自我介绍2.介绍一下spark的内存模型?3.动态内存管理中存储内存和执行内存的区别?4.对堆外内存有了解吗?5.有了解过oom的几种类型吗?6.治理过数据吗?举个具体的优化案例?7.除了提高shuffle并发，还有什么方法能优化?8.平时在公司平台上使用的大数据组件有哪些?9.spark是完全基于内存吗?10.spark的几种join有了解吗?介绍一下?11.sort join和hash join的shuffle区别?12除了join，还有哪些操作会引起shuffle?13.spark shuffle过程中有sort和没有sort的区别?14.熟悉非等值连接吗?15.sql题:求次日、三日、七日留存率。16.如果是日增量的分区表数据量很大，如何进一步处理?16.需要用distinct吗?代码能否优化?17.反问环节。

研究生什么研究方向、为什么选择做数据spark和mr的区别，spark为什么快aqe的特性spark用过的参数shuffle.partitions调节的经验，调多大合适，是否有公式计算和存储的治理怎么做的spark合并小文件怎么做的，落hdfs之前合并还是之后合并？平台自动化合并小文件和repartition哪个快（合并小文件快）为什么要合并小文件cbo的优化规则对spark感兴趣吗，接受提前实习吗，最早什么时候