百度 视觉算法 一面面经

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的？如果数据质量参差不齐会对 RAG 系统产生哪些影响？3.文档切分策略是如何设计的？chunk size 和 overlap 会如何影响召回质量和生成效果？4.如果用户的问题在知识库中确实存在，但系统经常没有召回正确文档，你会如何排查？5.如果检索到的文档是正确的，但模型最终生成的答案仍然是错误的，你会如何定位问题？6.实际系统中，如果召回结果经常语义相似但事实不相关，你会如何优化检索模块？7.如果一个问题需要跨多个文档的信息才能回答，你的 RAG 系统如何处理这种情况？8.在 RAG 系统中如何判断问题出在检索模块还是生成模块？9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构，这种设计对模型表达能力有什么作用？11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异？12.为什么推理阶段 KV Cache 只缓存 K 和 V，而不缓存 Q？13.RoPE 的核心原理是什么，它在长上下文场景下会遇到什么问题？14.instruction tuning 中多轮对话数据训练时，loss mask 应该如何设计？15.如果 SFT 之后模型在特定任务上能力增强，但通用能力明显下降，你会如何解决？16.LoRA 的低秩分解为什么能够逼近全参数微调的效果？17.如果 LoRA 的 rank 设置不合理，在模型表现上会出现什么现象？18.DPO 训练后模型输出明显变长，在实际系统中你会如何处理？19.如果对齐之后模型变得过于保守，经常拒绝回答，你会如何调整训练策略？20.大模型出现复读机现象通常由哪些因素导致？

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.讲一下你用的大模型是什么结构，特征是怎么喂给大模型的3.讲一下multi-head attention，用pytorch手撕一下，要可以实现cross attention的4.大模型训练为什么不用SFT5.知道RLHF吗，讲一下训练流程6.问了几个电商相关的场景题，用大模型解决 prompt 应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出

面试很难，还是要多多练习1.项目拷打2.酣畅淋漓的技术八股...*-讲一下Wan(阿里的通义万相)的框架是什么*-是否了解MM-DiT的框架*-对于DiT，时间t是怎么注入的，AdaLN讲一下*-了不了解VideoVAE是怎么训练的，用了什么损失函数，如果重建视频不清晰可以再加什么Ioss*-KL散度具体的公式是什么样的?和交叉熵损失函数有什么区别联系*-是否了解Flowmatching，具体是怎么做的，和DDPM的优劣*-讲一下Classifier-Free Guidance*-是否了解视频后训练怎么做的，GRPO是什么*-你觉得对于训练一个视频基模，应该有哪几个流程，哪一步比较关键*-训练过多大的模型，用了多少张卡*-训练过程中是否遇到过不稳定的情况，本质上是因为什么*-是否了解混合精度，FP16和BF16的区别*-是否了解大模型训练中的几种并行(DP,PP,TP,EP)3.手撕: 经典 multi-headattention

被横向挂了，希望发出来对大家有帮助！1. 先answer后cot和先cot后answer，做SFT有什么区别？是否对比过效果？2. 怎么确保人工标注的数据准确率符合预期？3. 如何选择合理的SFT的checkpoint，用于后续的RL？4. 图片怎么输入模型的，一张图片有多少token？5. 你觉得RL和SFT有什么区别？6. 为什么不只做RL，而选择SFT then RL？7. 重要性采样是什么，为什么RL中要加入CLIP机制？8. On-policy和Off-policy有什么区别？八股1. Transformer的decoder中为什么要用自回归因果掩码？2. 缩放点积注意力为什么要除以$\sqrt d_k$？