字节跳动 数据开发 国际化 数据平台 一面 面经

自我介绍1.spark和flink有哪些共性和区别2.你说到flink是一条数据一条数据的处理，那我们要对以前数据做聚合会怎么处理(状态机制)3.状态怎么进行恢复和使用(checkpoint机制，下游二阶段提交)4.为什么会有二阶段提交5.了解过二阶段提交机制怎么实现吗6.两阶段提交是保证卡夫卡提交和checkpoint机制同时完成，怎么去保证这个事情，状态保存在哪里7.flink针对kafka是怎么去传递两阶段结果的8.对spark有哪些自己的理解9.spark为什么能处理大规模数据集(高并发)10.多台机器处理，内存是比较宝贵的，数据过大，内存放不下怎么处理(写盘)11.spark当中结点...

55min 自我介绍Spark shuffle过程算法题 * 2T1. 给定二维数组，1代表陆地，0代表海洋，四方向联通 问岛屿数量 BFST2. 给定地铁线路 * N，每条线路有M个站点和M - 1个距离给定地铁计价方案，四级阶梯，额外每10公里1块钱问最短路和票价建图堆优dijkstraHive MySQL用过吗（简单聊了一下用Spark为主，Mysql没用过）那SQL会吗？SQL：找出首日登录后第二天也登录的玩家占比反问还挺简单（）

自我介绍实习简单介绍八股：1.java类特点2.常见数据结构及特点3.hdfs写流程4.mapreduce和spark的shuffle过程5.如何处理数据倾斜6.tcp与udp区别7.olap和clickhouse是否了解8.hdfs中的namenode和datanode作用9.secondary namenode作用10.宽窄依赖是啥介绍之前的一个项目以及难点是否了解实时数据处理方式sql题目：行转列和分数前五的学生row_number和rank，dense_rank区别算法题目：求给定数组，选三个数作为三角形三条边，求三角形最大周长总体八股考的很基础，面试半个小时草率结束

目前最想去的是阿里云，坐等下个月最终开奖