科大讯飞飞星计划一面

给我面没招了，感觉自己好菜、面试很难，还是要多多练习1.项目拷打2.你的知识库数据是如何清洗和构造的？如果数据质量参差不齐会对 RAG 系统产生哪些影响？3.文档切分策略是如何设计的？chunk size 和 overlap 会如何影响召回质量和生成效果？4.如果用户的问题在知识库中确实存在，但系统经常没有召回正确文档，你会如何排查？5.如果检索到的文档是正确的，但模型最终生成的答案仍然是错误的，你会如何定位问题？6.实际系统中，如果召回结果经常语义相似但事实不相关，你会如何优化检索模块？7.如果一个问题需要跨多个文档的信息才能回答，你的 RAG 系统如何处理这种情况？8.在 RAG 系统中如何判断问题出在检索模块还是生成模块？9.请详细说明 Transformer 从输入 token 到输出 logits 的完整计算流程。10.FFN 层为什么采用“先升维再降维”的结构，这种设计对模型表达能力有什么作用？11.MHA、MQA、GQA 在推理阶段的 KV Cache 占用和计算效率上有什么差异？12.为什么推理阶段 KV Cache 只缓存 K 和 V，而不缓存 Q？13.RoPE 的核心原理是什么，它在长上下文场景下会遇到什么问题？14.instruction tuning 中多轮对话数据训练时，loss mask 应该如何设计？15.如果 SFT 之后模型在特定任务上能力增强，但通用能力明显下降，你会如何解决？16.LoRA 的低秩分解为什么能够逼近全参数微调的效果？17.如果 LoRA 的 rank 设置不合理，在模型表现上会出现什么现象？18.DPO 训练后模型输出明显变长，在实际系统中你会如何处理？19.如果对齐之后模型变得过于保守，经常拒绝回答，你会如何调整训练策略？20.大模型出现复读机现象通常由哪些因素导致？

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1.项目拷打2.讲一下你用的大模型是什么结构，特征是怎么喂给大模型的3.讲一下multi-head attention，用pytorch手撕一下，要可以实现cross attention的4.大模型训练为什么不用SFT5.知道RLHF吗，讲一下训练流程6.问了几个电商相关的场景题，用大模型解决 prompt 应该怎么设计，怎么处理prompt的输出，怎么过滤错误格式的输出

被横向挂了，希望发出来对大家有帮助！1. 先answer后cot和先cot后answer，做SFT有什么区别？是否对比过效果？2. 怎么确保人工标注的数据准确率符合预期？3. 如何选择合理的SFT的checkpoint，用于后续的RL？4. 图片怎么输入模型的，一张图片有多少token？5. 你觉得RL和SFT有什么区别？6. 为什么不只做RL，而选择SFT then RL？7. 重要性采样是什么，为什么RL中要加入CLIP机制？8. On-policy和Off-policy有什么区别？八股1. Transformer的decoder中为什么要用自回归因果掩码？2. 缩放点积注意力为什么要除以$\sqrt d_k$？

1面30分钟14:00-14:301.自我介绍-ppt，介绍项目2.项目问题聊了挺久3.编队时遵循什么算法？领导跟随者是如何设计的？4.图像识别中用的什么方法，神经网络还是OpenCV？模型训练过程？5.是否了解智能驾驶，对智能驾驶了解哪些内容？6.能实习多久，说有实习6个月以上的要求。2面30分钟自我介绍实习经历项目经历深挖无八股无手撕ros知识询问3天后OC