虾皮一面-数开

1.你是数学专业，为什么想去做一个 DE2.有了解过什么计算引擎的源码是怎么实现的吗？3.flink 的处理框架和 spark 的处理框架的区别4.场景题：购物车页面推荐：在用户下单时，统计用户一年的消费情况，以便于在购物车页面做出合理的推荐，这个怎么处理呢？你对这个问题是怎么理解的？5.广播是如何实现的？6.rdd 具体是如何实现的7.spark 里边 partition是什么？8.怎么去识别一个 sparksql 任务是否有倾斜或者需要优化？9.会用 sparkui 吗10.对 jvm 的理解11.堆内内存和堆在内存的理解

数开岗，面的非常愉快一开始先介绍了面试流程1.自我介绍，挑实习经历讲一讲2.代码手撕3.八股考察4.QA环节直接介绍实习经历，没有自我介绍，讲了10分钟开始手撕。1.数据是真实数据吗2.来源系统是同一个系统吗了解了一下主要做的项目数据来源手撕：问了下比较熟的编程语言(java)连续子数组最大和多少知道虾皮是干嘛的吗SQL  求销量表，每个类别下售量TOP10的商品id排名连续怎么做衣服这一品类数据量特别多，导致数据倾斜怎么处理，只针对这一场景处理(二次聚合)给谁加随机值，怎么加，举例还有别的方法吗，只针对这个情景(压缩)你知道spark有做这件事吗(压缩)自己工作中会开这个配置吗spark和flink哪个比较熟，或者其他组件哪个学的好，可以自己挑个熟悉的来讲，还是随便挑个问1.flink状态后端知道哪些2.讲一下checkpoint是在干嘛3.如果状态后端是Rocksdb，checkpoint是怎么存的4.一个算子是怎么知道自己该做checkpoint5.从checkpoint恢复的时候，怎么做的6.一个算子，怎么知道恢复时应该读哪份文件7.看过checkpoint文件里面的结构吗8.有遇到过从checkpoint恢复时失败，是由于算子找不到从哪恢复的问题吗spark方面的问题1.executor, 他的内存分成几部分?堆内堆外内存区别为什么会有堆内堆外内存2.在shuffule的过程中，这几部分是否/如何参与其中3.节点0OM，我有哪些方法或者配置，去优化?最后反问总结，面试官全程态度超好，一直在说别着急，没问题，会有正反馈，体验最好的一次面试

面试时间：2025.09.10，共计65分钟岗位：数开共两位技术面试官，轮流提问流程：自我介绍、项目、基础知识(Java基础方面、数据库方面、计算机基础方面(操作系统)、计算机网络方面)、算法笔试。1、数据平台中，任务计算成本的计费维度？1）计算资源：cpu使用量，内存使用量  2）存储资源：存储空间，存储时间  3）数据传输：数据传出，数据传入  4）作业的执行时间  5）服务类型：离线批处理还是在线流处理2、Spark作业从哪些方面可以发现能够优化？Spark作业可以从哪些方面进行优化？从哪些配置入手 or 从哪些阶段入手？3、数据冷备底层实现一、异构存储是什么HDFS异构存储的价值在于，...

有点夸张了，50K😥