6.03 小红书大模型算法实习生二面（50min）

📍面试公司：百度🕐面试时间：25.08.06💻面试岗位：大模型❓面试问题：自我介绍 10min聊了简历中的一段经历介绍技术方案 10min面试官提问环节 15min1. SFT和RL的数据量，数据怎么构造的？2. RL的方法？怎么使用KG修改reward的？3. PPO和GRPO的区别？4. 基座的选择？5. KG如何构造？6. 如何在KG上进行的RAG？7. 传统RAG的流程？其中有哪些可优化点？手撕 8min连续最长无重复字符子串反问 7min业务方向、技术方案、可使用GPU资源🙌面试感想：总体压力不大，更多是在聊项目细节，穿插几个相关的八股，手撕也很简单

先是自我介绍，聊了聊项目和之前的实习。八股：1. 大模型预测 token 的损失是怎么算的？有哪几种常见的损失函数？2. 讲讲大模型的思维链技术？3. 聊聊 Transformer？它有啥优势？位置编码是咋做的，有啥改进？ROPE 是啥？Transformer 是怎么把文本转成 token 的？4. Lora 微调八股：矩阵 A, B 怎么初始化？为啥 B 要初始化成 0，A 不行吗？啥是矩阵的秩？5. Bert 和 GPT 有啥区别？大模型时代，小模型还有用吗？6. MHA 是啥？有啥改进？讲讲 DeepSeek 的 MLA？7. MOE 一般加在哪？从训练和推理的角度看，MOE 有啥好处？...

一面 1.先自我介绍2.说一下 LoRA 是什么原理3.了解 DeepSpeed 吗， ZeRO -1, ZeRO -2和 ZeRO -3分别做了哪些优化4.Qwen的模型结构是怎么样的，相比于 LLaMA , DeepSeek 有什么区别5.怎么缓解大模型的幻觉问题6.大模型的 MoE 结构相比于 Dense 结构训练的难点在什么地方， DeepSeekMoE 为什么效果好，有什么值得我们借鉴创新点7.知道FP16和BF16有什么区别吗，包括FP32和INT8这些，在训练大模型的时候，应该怎么选择8.讲一下 RLHF 的流程， PPO 和 DPO 算法是什么思想，写一下 PPO 和 DPO 的 Loss 表达式9.对于超长上下文业界一般是怎么做的，你知道 Qwen 是怎么做的吗10.开放题：你觉得目前大模型的上限在哪里11.代码：152．乘积最大子数组🌟总结:整体面下来感觉难度还是蛮大的，几乎各个方面都被考察到了📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

孩子找实习要找疯了