阿里淘天大模型算法实习面经 好难啊

继续来分享下之前的面经~欢迎友好讨论,信息共享
1. Transformer中Attention的本质是什么?你能从数学角度简要解释一下吗?
2. 在Agent多轮对话任务中,你觉得Attention的局限性体现在哪些方面?
3. 简要介绍一下SFT的核心流程,以及数据集的构建策略,SFT之后常见的Post-Training还有哪些?它们之间的目的有何区别?
4. 什么是RAG,它是怎么提升生成质量的?与传统检索+模型生成的流程有何不同?如何评估一个RAG系统是否work的?
5. PPO和DPO在大模型对齐中的主要区别是什么?DPO训练通常有哪些注意事项?用过GRPO么?
6. 项目里的Modular Agent,你能讲讲它是如何实现多步规划的吗?
7. 项目提到了多个工具调用链路,调度策略是如何设计的?是否有异常fallback策略?
8. Agent评估体系包括哪些维度?如何衡量planning能力 vs hallucination rate?
9. 项目里微调Qwen,选择的训练阶段和Loss函数是如何决定的?
10. Prompt自动推荐模块用了哪些优化策略?有没有尝试过Prompt压缩或embedding表示的方式?
11. 场景题:假如一个Agent 推理链路包含3个工具+高频请求,系统整体延迟较高,你会如何优化?
12. 代码:岛屿数量
全部评论

相关推荐

继续来分享下之前的面经~欢迎友好讨论,信息共享1.什么是大语言模型的涌现能力?目前对该现象的研究有哪些发现?2.什么是 Embedding?词嵌入和句嵌入有何不同?3.大语言模型中的 Tokenization 是如何工作的?不同模型的分词算法有何差异?4.简述大语言模型中的 Prompt Engineering 技巧,如何设计有效的提示词提升模型输出质量?5.对比 Zero-Shot、Few-Shot 和 In-Context Learning,它们在大语言模型中的应用场景和局限性分别是什么?6.什么是 LoRA?它在大语言模型微调中的优势和原理是什么?7.大语言模型的 RLHF 训练流程是什么?它存在哪些潜在风险?8.介绍一下大语言模型中的知识蒸馏,它如何用于压缩模型体积?9.DeepSeek 优化了哪些?为什么不用 PPO,而是用 GRPO?10.对比大语言模型的增量推理和传统推理方式,增量推理的优势和实现难点是什么?11.大语言模型在推理时出现幻觉现象的原因是什么?有哪些缓解方法?12.大语言模型的长文本处理能力有限,目前有哪些技术可以缓解这一问题?13.什么是大语言模型的上下文窗口?扩展上下文窗口对模型性能有何影响?14.目前多模态大语言模型是如何融合文本与图像信息的?15.如何评估大语言模型的性能?常见的评测指标和基准数据集有哪些?16.单个 LLM 能否帮助用户完成完整行程规划,比如从出行到酒店都订好票?
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务