阿里淘天大模型算法实习面经 好难啊

继续来分享下之前的面经~欢迎友好讨论，信息共享
1. Transformer中Attention的本质是什么？你能从数学角度简要解释一下吗？
2. 在Agent多轮对话任务中，你觉得Attention的局限性体现在哪些方面？
3. 简要介绍一下SFT的核心流程，以及数据集的构建策略，SFT之后常见的Post-Training还有哪些？它们之间的目的有何区别？
4. 什么是RAG，它是怎么提升生成质量的？与传统检索＋模型生成的流程有何不同？如何评估一个RAG系统是否work的？
5. PPO和DPO在大模型对齐中的主要区别是什么？DPO训练通常有哪些注意事项？用过GRPO么？
6. 项目里的Modular Agent，你能讲讲它是如何实现多步规划的吗？
7. 项目提到了多个工具调用链路，调度策略是如何设计的？是否有异常fallback策略？
8. Agent评估体系包括哪些维度？如何衡量planning能力 vs hallucination rate？
9. 项目里微调Qwen，选择的训练阶段和Loss函数是如何决定的？
10. Prompt自动推荐模块用了哪些优化策略？有没有尝试过Prompt压缩或embedding表示的方式？
11. 场景题：假如一个Agent 推理链路包含3个工具+高频请求，系统整体延迟较高，你会如何优化？
12. 代码：岛屿数量