阿里大模型算法一面 面麻了

给了1-2，硬是不给提base，只能签字费往上提

1、自我介绍2、项目深挖3、如果让你设计一个 Agent 的评测体系，你会怎么做Agent 的评测不能只看最终回答像不像，因为很多场景里最终答案看起来没问题，但中间过程其实已经错了。真正可用的评测体系应该至少覆盖三层。第一层是结果评测，也就是任务有没有完成，最终输出是不是符合目标。第二层是过程评测，要看任务拆解是否合理、工具是否选对、参数是否正确、执行顺序是否稳定。第三层是系统评测，要看延迟、成功率、重试率、单次成本、异常恢复能力这些工程指标。如果是线上系统，我会把评测拆成离线和在线两部分。离线阶段构造标准数据集，做固定样本回放，评估规划正确率、工具调用成功率、任务完成率和输出质量。在线阶段则...

面试很难，还是要多多练习，感觉自己说不明白业务逻辑1️⃣切分策略（ chunk size / overlap ）怎么定的？拍脑袋还是实验出来的？2️⃣向量召回和关键词召回冲突时如何融合？3️⃣重排模型为什么这么选？延迟预算是多少？4️⃣你说线上提升2.1%，实验分桶方案是什么？5️⃣显著性怎么验证？样本量怎么算？6️⃣给一个你最失败的 bad case ，最后怎么定位的？7️⃣如果今天线上再次复现，你第一步看哪个监控？8️⃣SFT 数据如何清洗，怎么避免模板味太重？12) DPO 比 SFT 多解决了什么真实问题？9️⃣LoRA rank 为什么这么选？有没有做过 ablation ?1️⃣0️⃣QLoRA 稳定性问题你遇到过吗？如何兜底？1️⃣1️⃣手撕：括号生成，要求讲清楚剪枝逻辑。

今天开会，领导：其他部门那些应用工程师，现在都改名叫AI应用工程师了...... 周会讲了下以后的绩效考评，大概意思是业务线分为 demo → beta → app 三个过程，demo部分可能只需要一到三天，一个人就能搞定。出demo后有专门的小组评估，如果通过，相当于就由你牵头负责这个小项目；beta阶段给你一些资源调度，完成初版，内部进行一些众测；如果效果好，再做成正式版，考虑一些并发，维护。提的demo通过得多的话，绩效也会高，但这个demo不一定是部门内部的，其他部门有些应用工程师现在都直接改名叫AI应用工程师了，当然我们还是有些优势（优势在哪...），所以我们要尽快地做些东西出来。 ...