快手数据研发面经

项目 说一个你最熟悉项目，你在这里面主要在做什么工作离线主要写的是这种 Spark SQL 是吗？spark问题排查与优化我给你一个这个实际的场景吧。比如说你的一个任务，之前就是每天大概30分钟就能跑完，现在突然跑了两个小时，然后对于这个情况，你的分析以及定位解决的思路是什么样的？那你怎么判断出它确实是倾斜的呢？那看到这个 tasks 倾斜之后呢？你会怎么去解决？OK，刚才你说的是这个解法啊，就是现在的话，就是说你知道了这个，stage 也倾斜了，那你怎么我知道，是你这个 sql 里面，可能你这个 sql 比较比较长，对吧？发生倾斜的可能是有 join、group by 很多很多种情况。那你这个你这个很长的 sql 里面可能有很多的 join 很多的 group by 那你怎么知道是哪段 sql 发生倾斜的呢？你说的具体是 Spark 的哪个？UI 的哪个界面啊就是这 Spark UI 界面你之前看过是吧？有没有深析？有没有深入的研究过这个上面的一些指标的含义？以及每个页面它具体承载了哪些信息？那你说一下这个 spark 任务的一个大概的提交流流程是什么样的？最后就是一道sql题并且讲述解题逻辑求10分钟内连续下单的order_id

1.项目介绍2.实习内容询问，角度有点偏，感觉面试官不是很懂java3.有无MySQL索引优化经验，说了实习的一段经历4.https的过程，中间对我所说的非对称加密构建会话秘钥不理解5.有无接触过java大数据开发，说无，因为之前介绍过实习做的doris业务，被面试官指正6000万级的数据量并不大6.介绍下过往设计模式的运用，解决什么问题的7.手撕，“我们来做个java题目吧”8 .反问环节，此时才面了30分钟出头

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜

上来就追着实习经历问1. 先问实习项目的高性能方案体现在哪？(感觉没啥好说的，无非就是Redis，还有多线程处理等)2. 又问Springboot启动慢可能是什么原因？(背了一周八股没见过，瞎猜了个jvm内存(想把他往jvm调优上引，问点我会的😤，可惜没问)，3. 结果追着问还有呢，又说了个循环依赖，然后就顺便问了个三级缓存4. 又追着问AOP怎么用的，怎么实现的，我回答动态代理cglib，又问动态代理原理(不会了)5. 限流策略，回答漏桶和令牌桶6. 接着问两者区别7. 让我手撕实现漏桶算法(不会，随便瞎说了点思路)8. 二叉树右视图，写了不到十分钟问我做到哪了，回答了一下思路，然后让接着写，又写了几分钟又催，这时候刚写完(但也没测试用例也验证不了)，说差不多了，他也没细看9. 直接问我有什么想问的，他说重点准备实习经历10. 结束感想:第一次面大厂，还是字节，准备的mysql，Redis，jvm多线程面经一点没用到，算法漏桶也没思路，右视图那道做出来了但感觉他都不在乎，纯KPI面，整个过程都没啥情绪波动