信也科技 数据开发

8月份一面,聊的挺好的，不知道怎么过了一个月挂了自我介绍+拷打实习八股1.olap是否了解？2.Doris适用场景？优缺点？3.Doris 是行存还是列存？这里回答列存，又追问是否支持行存4.实习有dqc配置，怎么去配置dqc?5.数据治理怎么去做？6.数仓分层了解吗？7.大模型了解吗？你觉得在数据开发中有哪些可用的地方？SQL: 1.自己写一个拉链表的大概代码2.日期生成+炸列函数，给一个startdate和enddate,把这期间的日期都生成出来

1、先介绍自己的项目，然后对项目提问（问得很少）2、给一个你不熟悉的业务，要求做一些报表、指标，你会怎么做（如何设计数据仓库，数仓建模）3、Hive有哪些存储文件格式，对应的应用场景？4、给一个txt文件，load数据到Hive中需要考虑哪些问题？5、给A、B两张表进行join，描述join的过程6、用MapReduce详细的描述join的过程7、给定一张订单表请考虑它的一个表结构（分区表？不分区），存储数据使用增量表？全量表？为什么？8、基于订单表继续丰富场景，问订单表常发生状态的变化，该怎么存储维度变化？详细描述一下该如何实现拉链表？sql题：给定一个打卡表(dep_id，uid，time...

不玻璃心 恳请大佬指教（还有一段数据开发实习三个月经历没写上 因为写不下了）

自我介绍1.spark和flink有哪些共性和区别2.你说到flink是一条数据一条数据的处理，那我们要对以前数据做聚合会怎么处理(状态机制)3.状态怎么进行恢复和使用(checkpoint机制，下游二阶段提交)4.为什么会有二阶段提交5.了解过二阶段提交机制怎么实现吗6.两阶段提交是保证卡夫卡提交和checkpoint机制同时完成，怎么去保证这个事情，状态保存在哪里7.flink针对kafka是怎么去传递两阶段结果的8.对spark有哪些自己的理解9.spark为什么能处理大规模数据集(高并发)10.多台机器处理，内存是比较宝贵的，数据过大，内存放不下怎么处理(写盘)11.spark当中结点...