得物校招大模型算法面经11.12

1.  注意力机制：请简述 MHA、MQA 和 GQA 三种注意力机制的核心区别。2.  模型架构：Dense 模型与 MoE 模型有何本质区别？3.  路由机制：MoE 模型中，路由（Routing）机制具体是如何工作的？4.  LoRA 微调：请阐述 LoRA 的原理，以及其中 A、B 矩阵的初始化方式和秩（Rank）的设置考量。5.  强化学习：请对比 DPO、PPO 和 GRPO 的原理与区别，并写出 DPO 的 Loss 函数公式。6.  推理加速：vLLM 中使用了哪些关键技术（如 PagedAttention、KV Cache）来优化推理？7.  并行框架：你对 DeepSpeed 这一加速推理与训练框架有多少了解？8.  BM25 算法：请讲解 BM25 算法的计算原理。9.  负载均衡：MoE 模型中专家（Expert）的负载不均衡问题该如何解决？10.  损失函数：能否通过修改损失函数的方式来缓解 MoE 的负载均衡问题？11.  数据分布：SFT 微调数据与预训练数据分布差异较大时，该如何处理？12. Scaling Law：SFT 微调的数据集是越大越好吗？是否存在 Scaling Law 现象？13. 训练稳定性：强化学习（RL）为何存在训练不稳定的问题？既然不稳定为何业界仍广泛使用？14. 三数之和：LeetCode 15. 三数之和。📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

1. 实习介绍+介绍论文2. attention的计算时间复杂度3. 推荐系统或者NLP领域 有什么方法可以加速attention计算4. 你了解哪些生成式推荐的论文5. 为什么要在推荐系统引入RQ-VAE6. RQ-VAE和VQ-VQE有什么不同7. RQ-VAE怎么解决坍塌问题8. Normalization有哪些，有什么作用9. 什么时候用batch norm什么时候用layer norm，为什么10. 训练和推理的时候的BN均值和方差都是怎么得到的11. 代码题：Ic331验证二叉树的前序序列化

手撕：反转链表时长：50分钟面试：1. 对于上一段实习过程中，遇到了什么问题，如何解决的2. 对于最后一个项目，RLHF中间遇到了什么问题，如何解决的3. 代码遇到问题，如何debug4. transformer中attention和MLP哪个参数大5. 了解过之前的NLP技术吗？BERT是怎么样的，跟大模型相比的优势6. 数据集多大，多少条手撕没撕出来，链表太久没写了，全忘了感觉面试官很注重实际问题的解决能力，很专业

1.实习介绍2.critique mode 怎么训练的，会不会存在 bias3.介绍下 RLHF 流程4.BN和 LN 的区别， BN 在训练阶段和推理阶段有何不同5.如果让你用 llm 做一个商品类目识别的项目，你会如何设计6.介绍下 transformer , attention 的细节和 mlp 的作用7.deepspeed的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.在 nlu 任务上，你觉得 bert 和 llm 哪个效果会更好，为什么6.介绍下 RLHF 流程7. deepspeed 的原理8.了解 dp 和 ddp ，介绍一下原理和异同9.如果让你用 llm 做一个商品类目识别的项目，你会如何设计10.快排的思想，时间复杂度11.代码题: code ：手写一个多分类的公式，并用代码实现