百度大模型应用算法一面-实习面经

八股 1.bf16 和 float16 的区别？各占多少位？训练中如何选择？2.DeepSpeed Zero 各阶段分别做了哪些优化？3.如何估算 LLaMA-7B 模型推理时的显存占用？4.Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？5.Qwen 或 DeepSeek 技术报告中提到的关键创新点有哪些？例如： RoPE 外推、MoE6.PPO/GRPO 微调后，如何防止模型在分布外（OOD）问题上性能崩塌？7.是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？8.模型部署用了什么框架（vLLM/TGI/自研）？如何优化推理延迟和吞吐？9.未来希望专注大模型哪个方向？例如：对齐 / 推理加速 / 长上下文手撕：K 个一组翻转链表（LeetCode 25）

一个是百度文库的多模态AIGC算法，做文库的多模态内容生成方向；一个是荣耀的大模型算法工程师，偏向强化学习，做类似豆包手机的东西。楼主是第一次实习，不知道该怎么选希望看到的家人们来点意见

1.项目经历2.模型的 loss 函数前乘以10，会对训练造成什么影响？3.deepseek v3的 rope 实现？ deepseek r1的训练过程？4.做过 rag 是吗？介绍 graph rag ?5.bge 和 gte 模型怎么训练的？为什么不能直接用 bert - base 来做余弦相似度召回？6.对比学习的常用 loss 有哪些？ InfoNCE 的超参数？温度系数对训练的影响？7. gradient checkpointing 原理？ gradient _ accumulation 原理？8.多模态大模型的预训练原理？预训练一般分为几个阶段？ ViT 现在一般用什么方法进行预训练？9. 手撕：梯度下降求平方根。

虽然我早已不记得，自己入职第一天具体发生了什么（毕竟也不是新手村的人了），但作为mt，倒是可以和大家分享：入职第一天怎么做，能给你未来的导师和同事留下一个好印象📒别迟到！尽量早一点到（或至少准时）绝对是加分项。一个有时间观念的新人，会让同事觉得你态度认真、做事靠谱，第一印象分直接拉满 💯。进工作群后，主动打招呼但不用刻意“装E”，在工作群里简单自我介绍、和大家问声好，还是很有必要的。记住要“大大方方”的啊，让团队感受到你想融入的热情。衣着干净整洁，上班前一天洗澡是基本礼仪，懂的都懂（你不洗澡也至少洗个头！）。穿一件清爽整洁的衣服，传递出你重视这份工作、也尊重身边同事的信号。主动问mt今天要...