荣耀大数据开发面经

场景优化方面：怎样解决数据倾斜的，主题域的划分，数仓分层的作用；你是如何进行数据同步的大数据组件八股：了解到什么大数据组件，分别有什么作用；HDFS怎么读取文件；spark宽窄依赖sql方面：手撕或者口述连续登录思路；留存率问题；简单点就是两表连接

之前面试了京东面试记录如下1 先自我介绍一下自己2 平时做数仓是主要做啥，自己扮演了什么角色3 数仓模型和数据质量怎么确保没问题4 在工作中涉及实时吗，对于实时有哪些需要注意的，延迟和任务报错怎么快速解决，如何确保数据高可用，容错能力怎么提升5 看你有说到画像，对于画像来说做了对业务有啥提升 画像该怎么建设模型，如何提升时效性6 对于大数据你感觉数据湖和数仓本质有啥区别，为啥现在都在推数据湖7 数据治理是怎么治理的，质量之后对于降本显著吗8 为啥要离职 对于京东有啥需要了解的吗

📍 公司：虾皮（Shopee）💼 岗位：大数据开发工程师📅 面试时间线：7.30 一面8.4 二面8.8 收到感谢信（未通过）面试问题记录请介绍你实习中负责的数仓数据流向及核心业务场景。详细说明一个具体业务模块，包括所用技术栈与上下游用户。针对问题2中的业务，如何处理并发场景下的“不可重复读”问题？大数据技术栈掌握情况？重点提问 Spark 的使用经验。如何优化实际 Spark 任务？请举例（如数据倾斜、Shuffle 优化）。描述快速排序算法的基本思想（穿插在数据倾斜优化中考察基础）。是否遇到过数据写错的情况？若数仓数据写入 Kafka 错误，如何修复？➤ 进一步追问：HDFS 数据已错，但 Kafka → 业务表已生效，如何保证一致性与服务可用性？若需从某个 Kafka Topic 消费数据并入库数仓，你会如何设计流程？（开放性问题）🙌 面试感悟虽为实习经历深挖，但问题贴近真实生产场景，尤其关注高可用、数据一致性、容错与恢复机制；对数据链路的闭环理解要求较高，需清楚“从出错到修复”的全链路影响；建议提前准备：✅ 典型数据倾斜解决方案（如加盐、两阶段聚合）✅ Kafka 重放与幂等写入策略✅ 数仓分层中各层容灾与回溯能力设计📌 C端业务对数据质量与系统稳定性要求高，面试更倾向考察“出问题后怎么办”的应急思维。

2025-08-161 vs. 1一、常规的自我介绍二、拷打项目1、哪个项目比较有成就感2、在项目中遇到的难点是什么，怎么解决的3、项目中使用python进行开发的过程中，用使用什么计算引擎吗4、项目中有没有使用Hadoop、Hive和Spark等大数据组件5、作为整体负责人，你怎么进行任务分配？三、八股盛宴1、pg数据库也是一个关系型数据库，它是mysql的区别是什么？2、数据库的三范式是什么？3、为什么要设计三范式？4、数据库都有索引，索引的作用是什么5、mysql常用的计算引擎是什么6、mysql的MVCC的作用是什么7、什么时候会做反范式的设计8、Linux的基本操作命令9、Hive和spark是什么10、HDFS的核心组成是什么11、HDFS怎么实现高可用12、HDFS写数据的流程是什么13、HDFS的命令了解吗14、数据仓库的概念了解吗15、spark的job、stage和task的概念了解吗四、手撕1、SQL：窗口函数2、力扣：接雨水挂了，甚至没有一封感谢信