字节跳动 离线数仓开发

1.项目介绍2.实习经历 难点3.数据倾斜4.CTE的执行计划5.spark stage怎么划分6.什么算子会触发宽依赖7.hive内部表和外部表区别8.HDFS小文件过多会有什么问题9.对数仓分层的理解10.数仓业务域和主题域的区别手撕:sql1:查询某段时间借书的 uidsql:2.sql:查询至少连续两天登录的用户3.算法:有序重复数组返回n出现的次数

项目追问： 1.你如何去评估一个数据仓库的好坏？2.你如何去完成数据的质量治理？3.你如何去制定优化数据仓库的方法？总体来说都是很开放性的题目，要对数据仓库有自己的思维和理解，以及要有一定的整体意识和目标意识。八股：1.spark的作业调度2.spark和mapreduce的区别3.sparksql的执行流程以及catalyst优化4.spark的内存结构5.flink和spark有什么区别？项目的flink是如何使用的？八股部分比较基础。算法：三道简单sql一道leetcode hot100

1.列举几种数据倾斜的情况，并解释为什么会倾場咏，以及如何解决?2.解释一下 SQL 运行步骤，是否有优化空间如果有，如何优化:SELECT a.id,b.nameFROM a LEFT OUTER JOIN bON a.id =b.idWHERE a.dt='2016-01-01'AND b.dt='2016-01-01';3.已知表 a 是一张内部表，如何将它转换成外部表?请写出相应的 Hive 语句4.用 select 做查询时，用哪个函数给值为null的数据设置默认值?5.Hive 中，建的表为压缩表，但是输入文件为非压缩格式，会产生怎样的现象或者结果?6.订单详情表 ord_det(order_id 订单号，sku_id 商品编号，sale_qtty 销售数量，dt 日期分区)，任务计算2016年1月1 日商品销量的 Top100，并按销量降序排序7.某日志的格式如下:pin|-lrequest_tm|-url|-|sku_id|-|amount，分隔符为"-'，数据样例为:张三-|q2013-11-2311:59:30-www.jd.com-100023-110.15。假设本地数据文件为 sample.txt,先将其导入到 hive的test 库的表t_sample 中，并计算每个用户的总消费金额写出详细过程包括表结构8.test.log 日志中内容如下左列所示，使用awk 输出右列 4行数据:左列:10-3-jd-dv、2-4-jd-dv、5-7-pv-click、36-24-pv-uv、37-24-pv-uV、24-3-uv-mq右列:10-4-jd-dv、5-7-pv-click、37-24-pv-uv、24-3-uv-mq9.Storm 的分组策略有哪些?

1. 手撕 合并区间2. 八股1）请介绍 Transformer 的结构组成及各部分作用，在长序列时空数据中，2）如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？3）GNN的消息传递机制是怎样的？在时空图中，如何结合时间信息编码节点特征？你接触过哪些时空 GNN 模型？4）LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？5）RAG的完整流程，在时空出行数据场景里，构建向量检索库时如何处理时间衰减对召回的影响？6）强化学习在 Agent 优化中的应用，结合出行推荐 Agent，你会如何设计 Reward 函数？3. 项目1）微调时的训练数据是怎么构建的？如何保证样本多样性和质量？2）在 RAG+时空知识图谱的 Agent 系统中，知识图谱更新的机制是怎样的？是怎样保证实时性的？3）在大规模轨迹数据下是怎么做负采样（Negative Sampling）的？4）训练 LoRA 模型时，你是如何选择冻结层的？依据是什么？5）在高并发查询 Agent 系统中，你会如何优化召回和生成阶段的延迟？4. 开放题1）大规模 Agent 系统在多线程/多进程场景下的资源调度策略如何设计？2）如果你要在 GPU 资源有限的条件下同时提供推理和微调服务，如何做资源分配和任务调度以保证时延和吞吐？