主包背景：两段大厂大模型算法实习tl：8.18投递，8.27一面流程：1.自我介绍 1min速通2.简历项目拷打 25min左右3.结合主包的项目经历，问了有没有用过Prompt Tuning或者Prefix Tuning，结合实际场景谈优劣4.针对推荐系统的曝光偏差问题，常用处理思路5.LayerDrop和Dropout，两者的区别及各自适用场景6.解释一下Group Normalization？主要解决了什么问题？7.Transformer架构中，为什么要使用Position Embedding？有哪些常见的实现方式？8.除了word2vec、BERT，还了解哪些文本或item的表示学习方法？9.手撕10.反问（我问了下部门业务相关，以及校招生入职培养路径）面试官挺专业的，人也比较nice，不是压力面。总体面试体验不错，希望能过

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

评估几天又挂掉换一个部门评估，我有这么难评吗😅有无朋友有类似的情况引流：字节 美团 淘天 蚂蚁 快手 腾讯

先是自我介绍，聊了聊项目和之前的实习。八股：1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？...