面试官最爱问的大模型 RAG 高频问题清单

1. 项目和八股1.RAG如何做rerank的2.LoRA参数计算 比如给你一个7B的模型  在优化器这块如何分配3.了解强化学习的什么算法   强化学习最新的po算法4.grpo如果对于这个数据 训练出来的一组score都是0或者1  这时候应该怎么办5.agent的几大部分6.agentic rl7.gui agent   code agent8.了解软件工程相关的吗  AI for se2.无手撕3.反问业务，做的 金融领域 agent 方向，偏开发

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

1.项目都问得很深入，基本上写在简历的每一句话都会问问了数据集(举具体的例子)，整个流程的pipeline，项目评估的指标是如何计算出来的react 是如何实现的，包括提示词怎么写的八股1.BatchNorm 和LayerNorm 是如何处理数据的举个例子，分别适用在哪个场合?为什么?2.mcp 协议了解吗?3.为什么要做rag?为什么要把 retrival 和generation拆开4.大致介绍-下 lama-factory框架算法:打家劫舍(不是hot100，是环形的 dp)

字节抖音风控部门大模型算法一面1.自我介绍（论文、实习、项目）2.拷打项目（问的很细，占据主要面试时间）3.实习介绍4.讲讲dpo与kto的区别5.grpo的非规则奖励如何设计6.两道medium力扣