阿里云大模型算法岗面经

flash attention解释下gqa解释下怎么才能训练好一个sft过程？sft的loss计算是用什么计算的？lora原理lora参数权重初始化lora的r和缩放参数dpo的lossdpo数据集怎么构造比较好？如果dpo训练过程中，accept回答和reject回答的loss都在升高，怎么办？假如说dpo效果不好，怎么解决？多轮对话一般要怎么训练？rag的流程？检索时，只用关键字匹配会存在问题，怎么具体解决？（没有上下文语义信息）给定一个网页，如何提取其中的关键信息

1.项目拷打为主2.项目中的OCR怎么做的，为什么用大模型做3.后训练的数据规模有多少？数据集是自己构建的吗4.数据清洗采用了什么策略5.OCR如何处理复杂表格6.微调前后准确率对比7.Badcase有哪些，占比怎么样8.为什么用GRPO不用DPO9.什么任务适合DPO10.模型微调用的是全参微调还是lora微调，为什么这么选11.Lora微调的阿尔法和rank是怎么选择的，对模型的影响分别是怎么样的12.GRPO奖励怎么设计的13.是否做过消融实验14.讲讲react思想15.讲讲agent中的反思模块逻辑16.Agent中数据是怎么交互的

文心一言 大模型算法实习生2026.01.15，上午11:00，一面，线上，1h左右，只有自己开了摄像头，面试官没开面试官首先介绍了自己团队的工作，是百度文心团队旗下专注于代码大模型的相关团队，核心工作涉及模型的预训练，也包含后续的后训练工作，同时会进行数据策略的优化，开展数据分析等相关工作。面试时录音了，以下是语音转文字后的简要结果：1.自我介绍2.拷打简历3.你现在在北邮这边读书时，导师这边没有什么项目吗？你这个实习是在研究生阶段去实习的是吗？（实习是本科大四阶段刚结束的，目前处于研0阶段，今年九月读研一，导师这边做 AIGC 文本检测相关项目）4.请讲一讲你那段实习中数据分析系统项目的背...

大佬们27届民办二本投实习咋都没反应啊，没一个面试，三天投了近一千个了一个面试也没有，是简历的问题吗？