百度大模型实习一面 1h

岗位名称：大语言模型算法面试时长：1h–1.5h自评分：8/10是否下一轮：是模型架构与基础原理目前主流大语言模型在架构设计上有哪些异同点？（追问）Decoder-only 和 Encoder-Decoder 在实际应用场景上有什么区别？介绍一下大语言模型中的注意力机制，多头相比单头注意力有何优势？（追问）如果减少头数会发生什么？是否一定性能下降？什么是大语言模型的涌现能力？目前对该现象的研究有哪些发现？（追问）涌现能力是否和模型规模线性相关？什么是 Embedding？词嵌入和句嵌入有何不同？（追问）Embedding 层是否会参与微调？为什么？大语言模型中的 Tokenization 是如...

被横向挂了，希望发出来对大家有帮助！1.介绍 Lora 的思想，为什么有效2.DPO 的数据集来源3.PPO 和 GRPO 的区别（损失函数的 clip 作用）4.什么是大模型的幻觉，大模型解决幻觉的方式有哪些5.为什么降低温度能缓解幻觉6.你项目中 system prompt 和 user prompt 的区别7.DeepSpeed zero-3 有什么改进8.verl 和 vllm 你是怎么配合的，每个在项目中的作用9.手撕：LCR 076 数组中的第 K 个最大元素

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

为啥有的大哥现在就拿到暑期offer了，我真有点想跳了，再点名一个红色某书软件，贩卖焦虑真是拉完了