大模型算法实习面经——百度

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

继续来分享下之前的面经~欢迎友好讨论，信息共享1.实习拷打2.在微调大模型时，你使用过哪些框架？它们的优缺点分别是什么？3.CLIP 模型的 zero-shot 能力是如何实现的？它在多模态任务中的应用有哪些优势？4.Transformer 中 Pre-Norm 和 Post-Norm 的设计差异是什么？对模型训练稳定性和性能有何影响？5.在生成式大模型中，为何通常采用 Decoder-only 架构而非 Encoder-Decoder 结构？6.请描述大模型中自然语言理解模块的具体实现方案，包括语义解析和意图识别的关键技术。7.针对 Transformer 模型推理过程，你会采用哪些优化手段？8.请阐述RAG的核心原理，并说明如何通过 RAG 缓解大模型的幻觉问题。9.vLLM 框架的核心优化原理是什么？其在动态批处理和显存管理上有哪些创新设计？10.请对比 RLHF、PPO、DPO 算法的技术差异、优缺点及适用场景。

项目一：模型微调相关（面试问答总结） 首先让我介绍了简历中的第一个项目——模型微调相关项目。在交流过程中，面试官主要围绕以下几个方面进行了提问： 1. 指令遵循能力（未微调情况下的提升方式） 面试官提问： 如果不进行微调，如何让模型在回答指令时具有更高的指令遵循能力（例如格式准确率更高）？ 2. 训练数据来源与构造  训练数据是如何获取的？ 数据是如何构造和设计的？  3. Transformer 中的注意力机制  讲解 注意力机制（Attention Mechanism） 的基本原理。 为什么在计算注意力分数时需要 除以 ？ 为什么是 ，而不是 ？  4. LoRA（Low-Rank Ada...

1. 自我介绍算法题2. 基础题+输出不重叠区间（提示：排序 + 遍历）基础问题3. Java基础3.1 解释深拷贝与浅拷贝，深拷贝的循环引用3.2 线程池的核心参数与应用3.3 JMM的结构的理解3.4JMM如何保证原子性，可见性，有序性，机制是什么3.5 happend-before原则3.6 synchronzied与ReentrantLock的区别和机制4. 数据库4.1 数据库的慢查询的排查原则以及如何优化4.2 索引失效的场景有哪些4.3 模糊查询是否会走索引5. 缓存5.1 缓存的基础数据结构与其使用场景5.2 你的项目中如何使用到redis6. 项目6.1 ***自我反思：首先对于机制的理解，浅尝辄止，基础不牢；表达能力欠缺，回答没有重点，逻辑不足；改进：提升自己的java基础以及中间件的理解和掌握，并且回答问题时条理性回答;并且保持每日复盘输出，保证深度理解掌握