有了解“数据for大模型”这个大方向的佬吗？

春招目标明确，只投了几家核心企业，更新进展阿里巴巴：二面结束，谈了数仓架构设计和优化经验腾讯：简历初筛通过，笔试已完成百度：一面挂，细节问题没答好，复盘了很多知识点华为：等待二面通知，一面聊得比较深入字节跳动：刚投递，内推优先级较高

先搞懂：为什么需要位置编码？Transformer 模型本身是 位置无关 的！它不知道哪个词在前，哪个词在后。比如 "我喜欢吃苹果" 和 "苹果喜欢吃我" Transformer 会认为这两个句子的结构完全一样，因为它只关心词与词之间的关系，不关心顺序。但实际上这两个句子的意思完全不同！所以需要 位置编码 来告诉模型每个词的位置信息传统位置编码问题方案1：学习型位置编码，初始化一个位置向量，全程全靠train给每个位置随机初始化一个向量让模型自己学习每个位置应该是什么样的❌ 缺点：只能处理训练时见过的长度，遇到更长的句子就傻眼了方案2：正弦位置编码用三角...

重新复习加深考点1. 实习内容2. 数据建模做了啥，上下游是谁3. 数据量大小，具体到每天的表4. 数据模型有哪些？5. 怎么定位解决实际开发问题的，可以围绕数据倾斜展开6. spark任务底层执行过程7.spark shuffle过程8. spark join 底层9. aqe底层是怎么实现的10.为什么做报表要hive2doris?11. doris底层，它索引什么类型12. doris和hive对比13. mysql数据库底层索引，为啥b+树叶子结点范围查找就更快14. 数仓分层有什么作用？15. spark源码看过吗？16. 算法题打家劫舍 空间时间复杂度

1. 介绍下你实习学了什么 做过什么项目,为什么离职的2. MoE 为什么能在参数量很大的情况下还能把训练和推理成本压住，真正难点在哪MoE 的关键不是“参数变多了”，而是“每个 token 只激活一部分参数”。也就是说总参数量可以做得很大，但单次前向只走少数几个 expert，所以理论上计算量不会随着总参数线性增长。这个思路在大模型里很有吸引力，因为可以同时兼顾容量和成本。但真正难的地方是路由和负载均衡。路由器如果只偏爱少数 expert，训练会很不稳定，热门 expert 被打爆，冷门 expert 学不到东西。另一个难点是通信开销，尤其多机训练时，token dispatch 和 gat...