大模型算法实习面经——百度

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.实习拷打2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。

一、大语言模型基础1. 目前主流的开源模型体系有哪些？主流开源模型体系包括：LLaMA 系、Qwen 系、GLM/ChatGLM 系、Mistral/Mixtral 系、Baichuan 系、DeepSeek 系、InternLM、Yi 等。面试里建议从以下维度比较：参数规模（7B/13B/70B…）上下文长度（8K/32K/128K…）多语言能力工具调用能力（function calling / agent）推理成本与部署难度开源协议（是否可商用）2. Prefix LM 和 Causal LM 区别是什么？Causal LM：严格自回归，token 只能看左侧历史（下三角 mask）。Pr...

1. 自我介绍算法题2. 基础题+输出不重叠区间（提示：排序 + 遍历）基础问题3. Java基础3.1 解释深拷贝与浅拷贝，深拷贝的循环引用3.2 线程池的核心参数与应用3.3 JMM的结构的理解3.4JMM如何保证原子性，可见性，有序性，机制是什么3.5 happend-before原则3.6 synchronzied与ReentrantLock的区别和机制4. 数据库4.1 数据库的慢查询的排查原则以及如何优化4.2 索引失效的场景有哪些4.3 模糊查询是否会走索引5. 缓存5.1 缓存的基础数据结构与其使用场景5.2 你的项目中如何使用到redis6. 项目6.1 ***自我反思：首先对于机制的理解，浅尝辄止，基础不牢；表达能力欠缺，回答没有重点，逻辑不足；改进：提升自己的java基础以及中间件的理解和掌握，并且回答问题时条理性回答;并且保持每日复盘输出，保证深度理解掌握