大模型面经每日总结

一  面 1.自我介绍，问实习和论文2.目前大模型模型结构都有哪些3.什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?4.prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点5.刚刚提到 MLA ，那 MLA 是怎么对 KV Cache 做优化的6.说一说大模型后训练的流程7.Qwen是怎么做长度外推的8.在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答9.代码：25.K个一组翻转链表二  面1.自我介绍和讲论文讲实习，多模态大模型是否有接触?落地案例?2.介绍一下 Qwen布的这几版模型，都做了哪些贡献，包括数据、模型和训练3.DeepSeek 有了解吗， DeepSeek 用到的 MLA 注意力是怎么做的？它可以直接用 RoPE 吗？为什么不能，它做了哪些优化4.了解大模型的解码策略吗，简要说一说吧5.现有一个能力较弱的多模态模型和一个能力较强的文本模型（如 DeepSeek-R1），如何结合两者的能力来回答与多模态相关的问题？6.代码：199．二叉树的右视图7.反问环节📳对于想求职算法岗的同学，如果想参加高质量项目辅导，提升面试能力，欢迎后台联系。

八股文：SFT 训练时，数据规模和模型大小之间有什么 scaling law？除了 GRPO，还有哪些改进技术？比如 DPO、GSPO？怎么解决 DPO 和 GRPO 的 reward hacking 问题？DPO、GRPO 和 PPO 有啥区别？聊聊全参数微调和 PEFT？PEFT 的四种模式（addition, replace, LoRA, prompt tuning）分别讲讲？ 手撕算法：链表题：判断链表有没有环，找出两个链表的相交节点。O(n) 时间复杂度内，找出数组中第 k 大的数。

📍面试公司：猿辅导🕐面试时间：9.9💻面试岗位：大模型算法工程师❓面试问题：1.自我介绍2.进行项目介绍3.代码题，消除字符串中的ape，s1s2能否拼成s3🙌面试感想：讲完项目花了15分钟左右，然后两道题都做出来了，不知道最后结果会怎么样

DeepFM 的原理是啥？它的输出是怎么处理的？Qwen-VL 是怎么压缩图片 token 的？长上下文一般怎么处理？多模态大模型里，图片和文本的 token 是先处理哪个？处理方式有啥区别？聊聊 3D 并行和 DeepSpeed？讲讲 SFT 和 RLHF？原理是啥，有啥区别？1. 找出一个数组里严格递增的最长子串。2. 找出字符串里最长的不重复子串，并计算它出现了多少次。