一、项目深挖1. 训练时显存占用高的瓶颈在哪？做了哪些显存优化？2. 如果重新做一次，你会在哪些环节提前做 ablation？二、 延伸八股：1. AdamW 与 Adam 在权重衰减上的实现差异？2. 梯度累积等价于 batch 扩大的严格条件是什么？3. PPO 的核心目标函数是什么？每个符号的物理意义？4. 相比 PPO，GRPO 的“Group”体现在哪一步？5. KL 散度在 RLHF 阶段出现的位置、作用以及过大/过小分别会导致什么现象？6. Multi-Agent 场景里，Reflection 模块与 Memory 模块的输入输出各自是什么？它们如何解耦又能互相增强？7. 简述 MRR 的计算流程。8.同样是排序指标，NDCG 与 MRR 的评估视角差异在哪？三、手撕环节原地快速排序

1．项目介绍，问实习和论文2．讲一下 LoRA ，两个权重矩阵一般怎么初始化，能都全0吗3．除了 LoRA ，还了解哪些可以进行训练推理优化的技术4．现在的多模态大模型，动态分辨率一般都是怎么做的，位置编码怎么设计5．概率题，一副扑克牌，去掉大小王，随机抽两张，花色相同的概率6.场景题：目前有一个带货的直播间，设计一个方案，商品比较多怎么降低时延7.开放题：平常在训练或者微调 LLM 或者 VLM 的时候，有什么心得吗8.反问环节

1.八股：LoRA 微调原理？训练时调过哪些超参数？有什么经验？2.八股：SFT 的 loss 如何只计算回答部分？（如何 ignore padding token？）3.八股：Attention 计算中有哪些显存优化策略？（如 KV Cache 复用、batch 拼接）4.八股：分布式训练中 Zero-2 和 Zero-3 的核心区别是什么？5.八股：Transformer 为什么用 LayerNorm 而不是 BatchNorm？6.项目：项目中的数据规模多大？SFT 数据是如何清洗和构建的？7.项目：为什么在项目中选择 GRPO 而不是 PPO 或 DPO？它解决了什么问题？8.项目：奖励函数是如何设计的？是否考虑了事实正确性、安全性等维度？9.项目：为什么引入 RAG？在什么场景下 RAG 比纯 SFT 更有效？10.项目：用 LangGraph 实现多轮对话 Agent，相比手写 prompt 流程有哪些工程和效果优势？11.代码题：lc102 二叉树的层序遍历

1.项目介绍2.简述实习经历，讲自己具体做什么工作，混着问八股3.rag知识库怎么搭的4.项目中redis怎么用的5.为啥用lora，参数有什么？6.手撕：有序数组中绝对值不同的数的个数7.反问：组内具体业务（入职可选），转正事宜