同盾数据开发笔试记录

自我介绍1.spark和flink有哪些共性和区别2.你说到flink是一条数据一条数据的处理，那我们要对以前数据做聚合会怎么处理(状态机制)3.状态怎么进行恢复和使用(checkpoint机制，下游二阶段提交)4.为什么会有二阶段提交5.了解过二阶段提交机制怎么实现吗6.两阶段提交是保证卡夫卡提交和checkpoint机制同时完成，怎么去保证这个事情，状态保存在哪里7.flink针对kafka是怎么去传递两阶段结果的8.对spark有哪些自己的理解9.spark为什么能处理大规模数据集(高并发)10.多台机器处理，内存是比较宝贵的，数据过大，内存放不下怎么处理(写盘)11.spark当中结点...

之前也面过这家公司，问题如下1 先自我介绍一下自己2 你来这家公司对于职级和薪资有啥要求吗，你觉得按照正常价你能接受吗3 看你有用卡夫卡说一下kafka的一些组件，为啥kafka在大数据生态用的多，如何确保卡夫卡数据一致性，kafka挂机了怎么快速恢复4 spark的宽窄依赖有了解吗 shuffle有了解吗，哪些算子会触发这个shuffle5 spark3出了哪些新特性6 看你做过财务的数据，你觉得财务数据需要注意啥，你是如何保证的，出了问题怎么快速修复7 你这边有啥想找我了解的

70分钟1.自我介绍2.业务复盘和收获3.spark的reduce阶段4.核心表和拓展表的建设5.模型的健康度6.数据治理7.应用层直接引用ods层会有什么问题？怎么解决？8.对于spark的参数调优9.对于数据倾斜，spark自身的优化有哪些10.提到的AQE会对占比70%这种的极端数据倾斜做哪些处理11.这个过程叫什么join20分钟手撕会话日志表（未按时间戳排序），两个字段：user_id，create_ts（时间戳），时间戳间隔小于30秒的为有效会话，超过30秒会认为是无效会话，如果是单个记录会认为是1秒的会话。请输出表，记录有效会话信息，user_id，keep_ts（会话时长），s...

我一共面试百度3次了下面是最后一次面试问题1 先自我介绍2 数仓数据模型分层的好处3 spark的宽窄依赖 有向五环图能说一下吗4 看你会flink，开发flink的话需要注意啥，一般是写jar任务还是SQL任务居多，你感觉SQL任务能解决90%的实时问题吗5 看你是干财务的，你感觉做财务最需要注意啥，如何评价财务数仓建设的好6 来做几个题吧，第一道常规的SQL题，第二个是算法题 SQL是搞定了，但那个算法没做出来7 有啥想问我的