Shopee 大数据开发暑期实习面经

2025-08-161 vs. 1一、常规的自我介绍二、拷打项目1、哪个项目比较有成就感2、在项目中遇到的难点是什么，怎么解决的3、项目中使用python进行开发的过程中，用使用什么计算引擎吗4、项目中有没有使用Hadoop、Hive和Spark等大数据组件5、作为整体负责人，你怎么进行任务分配？三、八股盛宴1、pg数据库也是一个关系型数据库，它是mysql的区别是什么？2、数据库的三范式是什么？3、为什么要设计三范式？4、数据库都有索引，索引的作用是什么5、mysql常用的计算引擎是什么6、mysql的MVCC的作用是什么7、什么时候会做反范式的设计8、Linux的基本操作命令9、Hive和spark是什么10、HDFS的核心组成是什么11、HDFS怎么实现高可用12、HDFS写数据的流程是什么13、HDFS的命令了解吗14、数据仓库的概念了解吗15、spark的job、stage和task的概念了解吗四、手撕1、SQL：窗口函数2、力扣：接雨水挂了，甚至没有一封感谢信

快手的一面已经寄了，搞不懂为什么。昨天接到了字节实习的面试，还是数据开发岗，问的数据方面的知识和快手比较相似，但字节更注重思维的发散，面试官会多次问有没有新的方法去解决同一个问题。1.数据仓库的模型有哪些？分别的应用场景是什么？ 我实际应用过的数仓模型有 Kimball（维度建模），它是自下而上地来构建数据仓库：先为具体的业务主题（如Home Depot公司的销售情况、订单记录、库存记录）构建面向主题的数据集市，用维度建模的方式对数据进行组织，一般我们采用星型模式，随着时间把多个数据集市通过共享的维度进一步整合成数据仓库。维度建模的方式对用户查询数据非常友好，响应速度很快，因此适用于需要快速处...

bg 9本硕，某团暑期实习。记录一下80分钟：5分钟1. 自我介绍35分钟2. 了解实习经历3. 针对实习项目，问数据层次怎么分层4. 数据分层的作用5. 针对具体实习项目，说明业务逻辑6. 说明实习项目的“订单量”这个指标从源头到产出的ETL过程7. 针对实习项目，复盘后最大的难点是什么8. 复盘之后有什么收获9. 你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的？10. 处理小文件有哪些方法，举例子11. hive冷热分离的方法12. 你刚才提到了组里有做ec存储，你了解ec存储吗13. 暑期实习有什么感受，转正了吗15分钟14. 了解spark的semi join吗，他是干嘛的15. 了解spark的AQE，这是什么16. 你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17. 了解网络吗？讲讲三次握手和四次握手区别。18. 了解数据结构吗？讲讲O(nlog n)的不稳定排序算法。20分钟两个编程题：Q1.求开方：给定num=5.79，error=1e-8，求x使得abs(x^2-num)<error19. 先讲讲思路吧，有什么思路：二分O(log n)20. 刚开始没做出来，面试官提示了下细节21. 后面二分法做出来了，面试官说那如果num小于1有什么变化呢22. 面试官问还有什么方法吗：牛顿下山法23. 公式写上去，但是面试官不关心公式，关心原理：会无限逼近24. 如果是三次方四次方，牛顿下山怎么用呢，公式会变的Q2.1TB的int类型数据怎么在512MB的虚拟机中求中位数25. 已经70分钟了，没时间了，没要求写代码，只要讲思路：外部排序，归并思想26. 面试官问还有什么方法吗：没想到了，但是后面搜了下有分布式排序，mapreduce排序等，估计想让我回答spark相关的，但是真不知道。5分钟反问27. 反问业务、作息、感受：都是套话28. 反问可以提升的点、我的不足：涉及到应聘者的评价，不能说。29. 谢谢面试官勒，吃饭去咯。

一面（8.27）实习内容 还在职吗 实习期间主要干什么 和你对接的同学有哪些 产运和算法同学怎么使用你产出的数据 数据集底层用什么技术栈 你写SQL任务的时候是怎么优化代码的，写代码的时候哪些地方需要注意 有自己搭建过看板吗 知道SLA基线吗，有主动了解过吗大数据技术问题 一个spark任务怎么优化 发现写好的spark任务运行的很慢要怎么办 数据倾斜怎么处理 如果任务在读文件的时候运行很慢怎么办 内存利用率过低怎么办 CPU利用率过低怎么办 你经常用的spark参数还有哪些SQL  table 有字段id user_id_list device_id_list app_id_list 写一段...