小红书秋招数据平台数仓二面35min

面试部门：忘了....好像是做财务的timeline：09.18投递，09.23一面，面完秒挂一面（30min）自我介绍实习期间最有价值的项目有没有遇到数据倾斜问题，什么场景，解决思路是什么Flink反压产生的原因，解决思路有哪些Spark中groupByKey，reduceByKey，aggregationByKey的区别是什么，如何选择

1.具体追问了数据倾斜和OOM的问题是如何处理？2.数据治理这一块你做了什么？不要说数据治理分这些3.你是怎么做数据监控的？有哪些方面的监控？你如何具体定位问题去解决？4.你的数据标准是如何制定的？你如何去保证数据的准确性和一致性？5.agent这块是否了解？你实习主要是做什么的？agent的原理和强化学习这些是否有了解过？手撕：接雨水 用了双指针后要求用单调栈

面试部门：内容数据工程timeline：09.24投递，10.14笔试通知，10.21一面，次日挂，并取消10.25的笔试一面（35min）自我介绍实习内容介绍实习中最复杂的一项工作，主要内容是什么，从中有哪些收获主要用什么技术栈JVM的内存结构如何排查OOM问题内存泄漏在什么场景下会发生算法：最大子数组和

1.WordCount 具体是怎么跑的?比如怎么分片、map 阶段做了啥、shuffle 是咋回事、reduce 最后怎么汇总的2.MapReduce和Spark 到底差在哪儿?适用场景这些都得对比着说3.Spark 提交任务时，Client模式和集群模式有啥不一样?比如 Driver 在哪跑、日志在陖瞎圈看、适合啥场景4.同一条 SQL，为啥 SparkSQL 跑起来比HiveSQL 快?得从执行引擎、优化器这些底层说说原因5.自定义 UDF 怎么实现?比如在 Hive 或Spark 里，具体步骤是啥，有没有踩过坑6.设计 HBase 表得注意啥?rowkey 怎么设计才合理、列族要不要分、版本数怎么设，这些睪腘狐旨を曽斷纰可能问到7.HBase 里的 HLog 是干嘛的?跟数据持久化、故障恢复有关系吗8.都是存在 HDFS 上的数据，为啥 HBase 能支持在线实时查询，Hive 就不行?底层存储结构不一样在哪9.用 SparkSQL 操作 Hive 数据时，有没有縈区堠浓ゴ壮攥到过兼容性问题?比如某些函数不支持、数据格式读不对之类的，怎么解决的10.Spark Streaming、Storm、Flink 这几个流处理框架，区别在哪?各自的优缺点和适用场景得搞明白场景题:11.数据量特别大，要用三个 Map 和一个Reduce 来做 Top10，哪种方法效率最高?得考虑怎么减少数据传输、避免倾斜