得物大模型算法实习面经分享

发点面经攒攒人品～1. 数据是怎么合成的，相对于现在主流数据合成有何优化；合成数据的标签是怎么打的，有什么优化的地方2. 数据混合有哪些方法，多样性有哪些角度，怎么保证多样性的同时去除重复数据，讲一下了解的聚类去重，多样性怎么提升3. 怎么清理高质量sft数据，有哪些纬度4. 预训练数据下采样，怎么保证多样性5. 小语种数据怎么合成，方法不限但要控制成本6. 为什么lora相对全参占用显存更少code：高精度开n次根号

📍面试公司：百度 文心一言🕐面试时间：2026.03.18💻面试岗位：大模型RL后训练❓面试问题：自我介绍，教育背景，项目经历项目介绍，基于大语言模型的信号灯控制，问题是什么，如何结合熵，怎么评测，指标结果如何强化学习理论内容，trust-range和PPO的关系PPO是off-policy or on-policy? on-policy为什么会有importance sampling，采样的策略模型和要训练的策略模型有偏差，重要性采样加以修正PPO的clip在优势A 正/负时 限制上/下届，A为正限制上届，A为负限制下届PPO的损失函数怎么计算的？广义优势估计是怎么计算？GAE中lam...

继续来分享下之前的面经~欢迎友好讨论，信息共享1. LLaMA 相比原始 Transformer 架构有哪些改进？2. 微调（Fine-tuning）和对齐（Alignment）的区别？3. 模型微调到什么程度才需要进行对齐？4. 四种对齐算法的区别：PPO、DPO、GRPO、DSPO？5. 位置编码的作用？为什么相对位置编码通常比绝对位置编码更好？6. GAE（Generalized Advantage Estimation）以及重要性采样（Importance Sampling）？7. 损失采样（Loss Sampling）相关问题？8. 目前了解哪些大模型架构？例如 LLaMA 等。9. 是否了解 PagedAttention？10. LoRA 中两个低秩矩阵是如何初始化的？11. PPO 中的四种模型分别是什么？各自的作用是什么？

这份题库不是随便凑出来的 100 道题，而是从大量面经和题目里 筛出来的高频题。我整理了上百套校招、实习、校招的大模型相关面试题，又结合公开平台上反复出现的问题，把那些 出现次数最多、覆盖岗位最广、面试最容易问到 的内容统一收拢，最后形成这套 大模型常考面试题100道76. 训练和推理为什么要区分开看？答：因为两者关注的目标完全不一样。训练更关注怎么把模型能力学出来，重点在数据、loss、优化器、并行训练和收敛稳定性；推理更关注怎么把模型高效跑起来，重点在延迟、吞吐、显存、并发和成本。很多技术在训练阶段成立，不代表在线推理就划算。所以做大模型不能只会训练或者只会部署，至少要知道这两套问题是分开...