数据开发高频面试题

bg 9本硕，某团暑期实习。记录一下80分钟：5分钟1. 自我介绍35分钟2. 了解实习经历3. 针对实习项目，问数据层次怎么分层4. 数据分层的作用5. 针对具体实习项目，说明业务逻辑6. 说明实习项目的“订单量”这个指标从源头到产出的ETL过程7. 针对实习项目，复盘后最大的难点是什么8. 复盘之后有什么收获9. 你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的？10. 处理小文件有哪些方法，举例子11. hive冷热分离的方法12. 你刚才提到了组里有做ec存储，你了解ec存储吗13. 暑期实习有什么感受，转正了吗15分钟14. 了解spark的semi join吗，他是干嘛的15. 了解spark的AQE，这是什么16. 你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17. 了解网络吗？讲讲三次握手和四次握手区别。18. 了解数据结构吗？讲讲O(nlog n)的不稳定排序算法。20分钟两个编程题：Q1.求开方：给定num=5.79，error=1e-8，求x使得abs(x^2-num)<error19. 先讲讲思路吧，有什么思路：二分O(log n)20. 刚开始没做出来，面试官提示了下细节21. 后面二分法做出来了，面试官说那如果num小于1有什么变化呢22. 面试官问还有什么方法吗：牛顿下山法23. 公式写上去，但是面试官不关心公式，关心原理：会无限逼近24. 如果是三次方四次方，牛顿下山怎么用呢，公式会变的Q2.1TB的int类型数据怎么在512MB的虚拟机中求中位数25. 已经70分钟了，没时间了，没要求写代码，只要讲思路：外部排序，归并思想26. 面试官问还有什么方法吗：没想到了，但是后面搜了下有分布式排序，mapreduce排序等，估计想让我回答spark相关的，但是真不知道。5分钟反问27. 反问业务、作息、感受：都是套话28. 反问可以提升的点、我的不足：涉及到应聘者的评价，不能说。29. 谢谢面试官勒，吃饭去咯。

新款领克08 EM-P，晴空蓝涂装鎏光金涂装wap.rqvbrd.cn/article/hc.htmlwap.rqvbrd.cn/blog/37.htmlwap.rqvbrd.cn/article/ag.htmlwap.rqvbrd.cn/article/ko.htmlwap.rqvbrd.cn/blog/S3.htmlwap.rqvbrd.cn/article/zi.htmlwap.rqvbrd.cn/article/ob.htmlwap.rqvbrd.cn/blog/Ne.htmlwap.rqvbrd.cn/blog/EY.htmlwap.rqvbrd.cn/blog/if.htmlwap...

之前也面过神策数据，面试问题如下1，先自我介绍2 为啥想离职来神策呀3 看你是做大数据开发的，咱们先来2道SQL题目，其中一个是窗口函数的，另一个是连续登录问题4 平时工作中有遇到任务产出比较慢，数据倾斜问题吗，是怎么解决的5 看你会flink咱们聊一下flink的一些专业术语，checkpoint是啥呀，并行度，保存点这些都有用过吗，对于实时任务有遇到哪些瓶颈问题吗，有解决过吗6 知道olap引擎吗，为啥大数据需要olap引擎，实时用这个有啥好处7 看你简历有写数据湖，为啥现在很多公司都在推数据湖，数据湖对于未来来说有啥好处，数据湖真的是未来趋势吗

开头聊实习，项目八股：知道数据倾斜吗？说一下mapreduce工作原理spark了解吗怎么判断一个sql需要优化应该怎么去写一个高效的sql那些操作可能会导致数据倾斜手撕：两个字段的sql表，一个关注者，一个粉丝，找出互相关注的行，去重后返回