美团大模型应用一面（凉经）

🍓一面时长约50min，面试官很和蔼，体验感还不错。1．面试官先简单介绍了下团队，然后是自我介绍；2．拷打了一下项目和论文；3．为什么多头注意力能提升表达能力？4．为什么要在大模型中使用 RMSNorm ？和 LayerNorm 有什么差异？5.LoRA和 PromptTuning 有何区别，分别适用于什么场景？6．模型微调时遇到过过拟合吗？怎么处理的？7．大模型推理时的加速思路？8.KV Cache 是怎么起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。✅面试感受：整体提问节奏比较平稳，面试官很有亲和力，有的地方卡住了还会给提示。🍓二面时长约40min，主要是针对简历进行深挖。1．自我介绍。2．深挖项目，针对项目思路不断追问。3．大模型生成内容如何做去重过滤？4．如果词表特别大（10w+ token ), Softmax 加速通常有哪些实现？5．如果要在中文领域做 Instruction Tuning ，需要注意哪些数据问题？6．反问✅面试感受：二面的氛围和一面截然不同，面试官提问非常犀利，没有太多套路问题，并且对细节很关注。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

📍面试公司：抖音💻面试岗位：大模型算法❓面试问题：1. 拷打实习，问了很多很详细的数据和做强化学习的motivation2. 八股拷打（好久没看基础机器学习了都忘了）介绍一下优化器的发展现在大模型的优化器是什么ln和bn的区别encoder-only和decoder-only区别以及应用场景qkv具体是什么为什么是多头注意力上下文长度是什么，有什么作用lora和全参区别欠拟合和过拟合具体要怎么办3. 手撕一个复杂度o(1)的插入删除和随机等概率返回（最近怎么遇不到hot100了）🙌面试感想：面试官人很好业务也很好玩，可惜了我手撕写了好久好久还磕磕巴巴

1. 在LLM推理里，我们经常听到一个词叫prefill，能解释一下它是什么意思吗？2. 我们来聊聊Transformer的基础吧。能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV（Query, Key, Value）机制，能详细说说这个过程吗？3. Transformer的训练复杂度还挺高的，尤其是在处理长序列时。你了解哪些工作是致力于降低它训练时间复杂度的？4. 长上下文（long context）是现在LLM的一个研究热点，你都知道有哪些方法可以解决或者缓解长下文问题？5. GQA（Grouped-Query Attention）的原理是什么？...