虾皮 shopee 大数据研发工程师 笔试 9.16

📍 公司：虾皮（Shopee）💼 岗位：大数据开发工程师📅 面试时间线：7.30 一面8.4 二面8.8 收到感谢信（未通过）面试问题记录请介绍你实习中负责的数仓数据流向及核心业务场景。详细说明一个具体业务模块，包括所用技术栈与上下游用户。针对问题2中的业务，如何处理并发场景下的“不可重复读”问题？大数据技术栈掌握情况？重点提问 Spark 的使用经验。如何优化实际 Spark 任务？请举例（如数据倾斜、Shuffle 优化）。描述快速排序算法的基本思想（穿插在数据倾斜优化中考察基础）。是否遇到过数据写错的情况？若数仓数据写入 Kafka 错误，如何修复？➤ 进一步追问：HDFS 数据已错，但 Kafka → 业务表已生效，如何保证一致性与服务可用性？若需从某个 Kafka Topic 消费数据并入库数仓，你会如何设计流程？（开放性问题）🙌 面试感悟虽为实习经历深挖，但问题贴近真实生产场景，尤其关注高可用、数据一致性、容错与恢复机制；对数据链路的闭环理解要求较高，需清楚“从出错到修复”的全链路影响；建议提前准备：✅ 典型数据倾斜解决方案（如加盐、两阶段聚合）✅ Kafka 重放与幂等写入策略✅ 数仓分层中各层容灾与回溯能力设计📌 C端业务对数据质量与系统稳定性要求高，面试更倾向考察“出问题后怎么办”的应急思维。

9月16日至17日，以“智·向远大”为主题的2025腾讯全球数字生态大会在深圳举行，中电金信作为腾讯云战略合作伙伴受邀出席大会，并凭借在数据库服务与大数据领域的杰出实践，荣获“数据库优秀服务商奖”及“大数据年度优秀伙伴”两项殊荣。此次获奖，标志着双方合作已步入更深层次、更广维度的战略协同新阶段。“底座+数据库”深度融合筑牢自主创新基石中电金信依托金融级数字底座“源启”，以及分布式核心系统、新一代信贷平台等标杆产品，与腾讯云TDSQL数据库实现了全栈深度适配，并构建了涵盖环境部署、参数调优、压力测试到运维保障的全流程服务体系。凭借专业服务团队的有力支持，中电金信已成功协助多家金融机构实现核心系统...

1.面试官自我介绍（团队业务、团队人员分布、英语沟通）2.自我介绍3.科研经历（数据库相关）4.了解OLAP引擎的底层吗，索引、存储之类的5.大数据引擎和传统数据库引擎的对比6.了解过实时相关引擎吗？实时的存储是怎么做的？7.了解过数据湖吗8.spark内存模型，堆内堆外区别和细节描述9.实习转正情况10.sql 连续登录11. 算法 二叉搜索树第k大12.反问60min——氛围比较轻松，面试官一直强调不作为考察项目，只是聊天算法部分，太久没写树类的题，卡了一会，有点难绷（强调作为DE要学习底层知识

自驾算法一面项目用anchor-based的，有没有考虑用anchor-free的方法？为什么anchor-free在这个项目里比anchor-based差，有没有想过为什么有没有试过DETR的方案或者其它方案？对于目标密集和遮挡情况下，anchor-based和anchor-free有什么区别，比如分类有人和自行车，现在一个人骑着自行车，用anchor-free和anchor-based方法训练会有什么不一样？（anchor-based方法预测的框的数量多召回率高，anchor-free的精确率高召回率低，答案是anchor-based方法会匹配的更好，因为不同类别的宽高比大小不一样，，但a...