6.03 小红书大模型算法实习生二面（50min）

发一下问题给大家参考，攒攒人品！八股1. BGE模型讲一下2. Lora模型初始化、全部初始化为0为什么不行3. Lora的过拟合问题怎么解4. 模型训练怎么降loss，稳定性，不收敛怎么办coding第k个最大元素

社招第一次面试手撕了这么多代码.....太硬核了！基操：项目做的是什么？你训练算法过程中一般用哪些损失函数？中途插入问题：qwenvl系列的模块设计由哪些部分组成？然后就直接开始手撕代码了：多模态输入、Token 处理、Self/Cross Attention、Mask、LoRA、Dataset/DataLoader、训练流程、累计梯度、eval、多进程通信、微调方法 全都要会写代码。多模态大模型算法岗 · 高频面试题 + 标准答案（完整版）1. 多模态模型（图文）输入是怎么 Tokenize 的？答：文本用文本分词器转成文本 Token。图片不直接分词，而是切成固定大小的 Patch，每个 ...

攒人品中，祝大家都能拿到满意的Offer！1.全参数微调模型显存计算2.MoE模型微调显存计算3.从数学角度解释为什么attention要除以根号下d_k？如果不开根号行不行4.多模态大模型的架构一般有哪些5.PPO有几个模型？6.GRPO和PPO有什么区别？7.拷打论文8.智力题，100个柜子，一开始是关的，有编号为1到100的人走过。每个人会根据自己的编号，反转柜子的状态。他会把编号等于或者是他的倍数的柜子打开或者关闭。问最后有多少个柜子是开的

1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...