小鹏- 大模型算法工程师-一面面经

自我介绍——5min项目相关细节提问——5min（对项目不是很感兴趣）项目相关技术提问——25min * 2面（与之前的面经贴中重复的技术问题不在展示）1. 了解 DeepSpeed 吗？训练时用 ZeRO 优化主要是解决啥问题？ZeRO 的三个阶段分别都是啥？2. TP 或 PP 了解吗？3. 并行训练时，如果模型参数量不大，怎么决定用 PP 还是 TP 策略？它们各自有啥好坏？4. 如果用 TP=2 的策略，self-attention 层里的 QKV 矩阵具体是怎么切分的？5. 用 TP 的时候，主要会发生哪些通信？不同的切分方式会改变通信行为吗？举个例子呗。6. 讲讲 Flash At...

30分钟速通，纯项目无八股。1.投机解码？大小模型怎么做选择，微调过吗？2.Cuda算子做了哪些优化？（但是没问具体做了什么优化）3.你的项目中Dense和Moe模型推理实现起来有什么区别？EP？4.在实验室做啥的？这时候过了20分钟，然后给了一道题，挺简单的看完直接说思路。本来想写一下感觉时间不太够就直接口述详细过程了。只开了30分钟的会议，大部分也都答出来了。应该不会凉凉吧

1. 自我介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如P...

写完愣了两分钟开始笑