offer选择

场景优化方面：怎样解决数据倾斜的，主题域的划分，数仓分层的作用；你是如何进行数据同步的大数据组件八股：了解到什么大数据组件，分别有什么作用；HDFS怎么读取文件；spark宽窄依赖sql方面：手撕或者口述连续登录思路；留存率问题；简单点就是两表连接

荣耀开始面试了嘛？没搜到啥有关面试的帖子啊

bg 9本硕，某团暑期实习。记录一下80分钟：5分钟1. 自我介绍35分钟2. 了解实习经历3. 针对实习项目，问数据层次怎么分层4. 数据分层的作用5. 针对具体实习项目，说明业务逻辑6. 说明实习项目的“订单量”这个指标从源头到产出的ETL过程7. 针对实习项目，复盘后最大的难点是什么8. 复盘之后有什么收获9. 你刚才说复盘收获是处理小文件，那么spark怎么处理小文件的？10. 处理小文件有哪些方法，举例子11. hive冷热分离的方法12. 你刚才提到了组里有做ec存储，你了解ec存储吗13. 暑期实习有什么感受，转正了吗15分钟14. 了解spark的semi join吗，他是干嘛的15. 了解spark的AQE，这是什么16. 你刚才讲AQE提到了广播机制，这个在spark中很重要，讲讲广播过程呢17. 了解网络吗？讲讲三次握手和四次握手区别。18. 了解数据结构吗？讲讲O(nlog n)的不稳定排序算法。20分钟两个编程题：Q1.求开方：给定num=5.79，error=1e-8，求x使得abs(x^2-num)<error19. 先讲讲思路吧，有什么思路：二分O(log n)20. 刚开始没做出来，面试官提示了下细节21. 后面二分法做出来了，面试官说那如果num小于1有什么变化呢22. 面试官问还有什么方法吗：牛顿下山法23. 公式写上去，但是面试官不关心公式，关心原理：会无限逼近24. 如果是三次方四次方，牛顿下山怎么用呢，公式会变的Q2.1TB的int类型数据怎么在512MB的虚拟机中求中位数25. 已经70分钟了，没时间了，没要求写代码，只要讲思路：外部排序，归并思想26. 面试官问还有什么方法吗：没想到了，但是后面搜了下有分布式排序，mapreduce排序等，估计想让我回答spark相关的，但是真不知道。5分钟反问27. 反问业务、作息、感受：都是套话28. 反问可以提升的点、我的不足：涉及到应聘者的评价，不能说。29. 谢谢面试官勒，吃饭去咯。

开头聊实习，项目八股：知道数据倾斜吗？说一下mapreduce工作原理spark了解吗怎么判断一个sql需要优化应该怎么去写一个高效的sql那些操作可能会导致数据倾斜手撕：两个字段的sql表，一个关注者，一个粉丝，找出互相关注的行，去重后返回