上海 xxx 大数据面经

建议我找个实习一道题，很抽象有点像脑筋急转弯，而我脑筋转不过来反问估计是挂了这是最后一个给我面试的了，我的秋招到此为止了吗一个多月紧绷的精神，终于是绷不住了一共三家给面试的，全是秋招，投了一大批实习全挂简历了，还有半数没反应，初筛5个周了其中两家没面试不要，一家捞起来打复活赛说2-3天出结果，现在一个多星期了没下一步，估计也无了一直紧绷的精神，终于是绷不住了

开头聊实习，项目八股：知道数据倾斜吗？说一下mapreduce工作原理spark了解吗怎么判断一个sql需要优化应该怎么去写一个高效的sql那些操作可能会导致数据倾斜手撕：两个字段的sql表，一个关注者，一个粉丝，找出互相关注的行，去重后返回

📍 公司：虾皮（Shopee）💼 岗位：大数据开发工程师📅 面试时间线：7.30 一面8.4 二面8.8 收到感谢信（未通过）面试问题记录请介绍你实习中负责的数仓数据流向及核心业务场景。详细说明一个具体业务模块，包括所用技术栈与上下游用户。针对问题2中的业务，如何处理并发场景下的“不可重复读”问题？大数据技术栈掌握情况？重点提问 Spark 的使用经验。如何优化实际 Spark 任务？请举例（如数据倾斜、Shuffle 优化）。描述快速排序算法的基本思想（穿插在数据倾斜优化中考察基础）。是否遇到过数据写错的情况？若数仓数据写入 Kafka 错误，如何修复？➤ 进一步追问：HDFS 数据已错，但 Kafka → 业务表已生效，如何保证一致性与服务可用性？若需从某个 Kafka Topic 消费数据并入库数仓，你会如何设计流程？（开放性问题）🙌 面试感悟虽为实习经历深挖，但问题贴近真实生产场景，尤其关注高可用、数据一致性、容错与恢复机制；对数据链路的闭环理解要求较高，需清楚“从出错到修复”的全链路影响；建议提前准备：✅ 典型数据倾斜解决方案（如加盐、两阶段聚合）✅ Kafka 重放与幂等写入策略✅ 数仓分层中各层容灾与回溯能力设计📌 C端业务对数据质量与系统稳定性要求高，面试更倾向考察“出问题后怎么办”的应急思维。

1. 常见的垃圾回收算法2. 说几个常用的垃圾回收器，知不知道最新的垃圾回收器？3. g1和cms的区别4. http1.0、2.0、3.0的区别5. 讲一下mysql的隔离级别，什么是不可重复读6. 讲一下spring cloud的组成部分7. gatway的作用，gatway怎么实现鉴权？8. redis自身可能会出现什么问题？9. java异常的类型有哪些？10. java死锁怎么解决？11. 知道那些常用的jvm调优工具 手撕题是合并两个有序链表