1. 简历深挖围绕实习项目展开，问得很细，建议把自己做的每个模块的逻辑、贡献、思考都理清楚。2. 理论基础1.KL散度和交叉熵的关系？2.介绍LoRA，和全参SFT怎么选？小模型SFT vs 大模型LoRA效果可能如何？SFT数据集怎么构建？3.介绍AUC，它表达的是什么？4.Recall重要的场景下，如果recall很高但precision很低怎么办？5.Precision和Recall分别是什么？不同场景下如何权衡？哪个更重要？3. 手撕代码实现 shuffle 函数（注意洗牌算法的公平性和复杂度）

1.面试官先简单介绍团队，然后进行自我介绍；2.对项目和论文进行了细致询问；3.为什么多头注意力能提升表达能力？4.大模型中使用RMSNorm的原因？它和LayerNorm有何差异？5.LoRA和PromptTuning的区别，以及各自适用的场景？6.模型微调时是否遇到过过拟合？如何处理的？7.大模型推理时的加速思路？8.KV Cache是如何起作用的？为什么对长上下文推理很关键？算法题手撕：字符串的全排列。二叉树序列化与反序列化。

八股： 1.MMOE是怎么解决负迁移现象的？2.还有哪些解决负迁移的办法3.怎么解决跷跷板问题？4.MMOE极化现象怎么解决？5.模型加特征进去怎么判断特征的好坏6.bn的原理、bn可以用到特征筛选嘛？7.DIN、SIM具体实现原理代码：LC300.最长递增子序列

1.八股：Transformer 中为何使用 LayerNorm 而非 BatchNorm？这对大模型训练稳定性有何影响？2.八股：Transformer里 LayerNorm 放在 Attention 前还是后？有什么区别？3.八股：LoRA 的核心思想是什么？它为什么能显著降低大模型微调的显存和计算开销？4.项目：请介绍一下你的项目：目标是什么？用了什么基座模型？数据从哪来？5.项目：你在项目中使用 LoRA 微调 LLM，请说明你设置的rank、alpha 值，并分析它们对性能和收敛速度的影响。6.项目：训练 SFT 模型时 loss 出现剧烈震荡，你是如何诊断并解决的？7.项目：SFT 阶段如何避免对padding token计算 loss？具体在代码中如何实现mask？8.项目：SFT的调参经验？说说你的经验9.项目：训练过程中显存不够，你用了哪些技巧（如 gradient checkpointing、ZeRO）？10.代码题：LeetCode 121. 买卖股票的最佳时机

1.项目介绍2.讲一下在百度实习期间做的主要工作。3.压缩专家机制是如何实现的？4.用的训练数据集规模分别是多少？5.为什么选择用SFT训练，而不是用RL训练？6.介绍一下 DPO, PPO, GRPO的原理和区别7.PPO的损失是token级别还是sequence级别的？8.PPO中的Critic模型是如何计算优势的？9.讲一下LoRA微调技术原理10.LoRA微调是如何减少训练参数的？11.LoRA技术有哪些优势？12.算法题手撕 三数之和（撕出来了

1.实习介绍2.论文介绍3.mplug介绍4.few-shot和lora的区别5.模态怎么对齐6.QKV计算7.怎么分布式计算的8.微调的loss函数怎么选择9.手撕：输出数组里和为6的数pair

软开岗面试问的难吗，会不会问很多八股呢

1. 实习介绍2. 挑一个你最熟悉的大模型项目，讲讲它的目标，你主要负责什么，以及你觉得最有意思的技术点。3. 在Transformer的Decoder里，我们为什么需要用Mask把未来的信息“遮住”？从代码实现上讲，这个Mask具体是怎么作用在Self-Attention分数上的？4. 关于LayerNorm放在残差连接的“前面”还是“后面”（Pre-LN vs Post-LN），社区里有很多讨论。这两种设计选择，主要会影响训练过程的哪些方面？你更倾向于哪一种，为什么？5. 我们要在线上部署一个大模型提供服务，推理速度和吞吐量是个大问题。像vLLM这样的工具，它主要是通过什么核心思想（比如PagedAttention）来解决KV Cache的内存问题，从而提升推理效率的？6. 我们有一个基础模型，但它不太会“听人话”。如果想把它训练成一个能很好遵循指令的聊天助手，通常有几步？能简单说说SFT（监督微调）和基于人类反馈的对齐（比如PPO/DPO）分别是在解决什么问题吗？7. 假设我们有一个效果很好的70B大模型，但因为太大太慢，没法直接上线。现在需要你把它“变小变快”。你会考虑用哪些方法（比如剪枝、量化）？各自有什么优缺点？8. 相比于让大模型直接回答问题，现在很流行的RAG（检索增强生成）方案，它最大的好处是什么？主要解决了什么痛点？9. 我们的RAG系统上线后，发现有时候还是会“胡说八道”，或者答非所问。如果让你去排查，你会从哪些方面入手？（比如是检索模块没找对，还是生成模块没理解好？）10. 核心代码模式算法题：二叉树的中序遍历11. 反问

1．自我介绍，过实习，讲论文，根据表述实时跟进询问交流2．讲一下大模型训练和推理的流程， SFT 和 RLHF 的作用分别是什么3．为什么探索 MoE 架构， MoE 相比 Dense 有什么好处4．有没有全量微调过5．推导一下神经网络反向传播的过程6．在 RLHF 中，目前主流的强化学习算法有哪几个，写一下损失函数的表达式7．一道排列组合的概率题8．平常有用过 RLHF 吗，简单介绍一下9. 开放题：对目前大模型的发展有什么看法10.代码：多头自注意力

1、介绍自己的中厂实习2、一面的部分实习问题这里也问了。3、有没有试过外挂数据库来解决线上业务数据分布更新较快的问题，4、模型选型问题，为什么选qwen3-8b，如何估算模型开销。5、最多做过几卡的模型训练?对deepspeed和Megatron有多少了解?6、接触过哪些推理加速的方法。(vllm的page-attention, kv cache, prefix cachemla，flash-attention直接安排一套)7、一个他们组里面的一个具体场景题。8、手撕k个一组反转链表，并要求最后不足k个的也反转。

1.项目相关2.mmoe的结构是怎么样的？​3.输入特征构建4.召回阶段了解哪些深度模型？5.粗排阶段是必要的吗？​6.share bottom 和 mmoe的差别？​7.DIN是什么结构？除了DIN，还有哪些方式？SIM是怎么做的？​8.emb层和mlp层什么区别？9.双塔模型正负样本怎么选取？选取的规则​10.有没有微调过大模型？微调大模型的方式有哪些？11.LN和BN的区别？​12.transformer吟唱​13.大模型吟唱​14.开放性问题推荐与大模型的结合​​手撕1.​注意力机制​2.两种损失函数​3.搜索旋转排序数组

1.讲讲PLE的结构2.MMoE的embedding层怎么设计的?3.有没有多跳的任务?讲讲ESMM(我提到了ESMM)4.模型里面有没有加上序列数据?讲讲DIN?5.DIN和attention有什么区别?6.讲讲并联双塔模型怎么实现的?7.展开讲讲实习的任务是做什么8.inbatch负采样会样本偏差，怎么纠偏?手撕:输入前k个高频词，次数一样的按照字典序返回输入:["i" ,"love" ,"meituan" "i" "love" "coding"]输出:["i","love" "coding"]map存，再排序.O(nlogn)问有没有其他方法:最小堆，再排序O(nlogk)

1.八股：Transformer中哪个模块的计算量最大？如何优化2.八股：Transformer 的位置编码方式有哪些？RoPE 的核心思想是什么？3.八股：在大模型推理阶段，KV Cache 的作用是什么？4.项目：在项目中你用过 DPO 吗？和 PPO 相比，它有什么优缺点？5.项目：如何在有限算力下做大模型微调？常用方法有哪些？6.项目：训练一个7b模型要占用多少显存，不同zero阶段能节省多少显存7.项目：如果让 agent 调用搜索引擎，如何避免无关结果影响回答？8.项目：你在项目里有没有做过 RAG 里的“召回-过滤-生成”三段式 pipeline？能不能细讲一下？9.代码题：lc141 环形链表

bg985硕，后端岗位，base北京开了30*15，比美团给的多，这个是什么档位？