阿里大模型算法二面-实习面经

1.项目介绍2.训练样本大概多少条3.为什么会想在重排做生成式4.如果是做生成式召回应该对模型结构怎么修改5.有考虑用别的强化学习的方法吗6.dpo 的公式是什么7. grpo 了解吗8.beamsearch 怎么做的9.大模型了解多少，强化学习了解什么10.手撕 transformer 并计算 flops 和内存开销

TCP的三次握手与四次挥手？HTTP与HTTPS的区别？HTTP状态码？介绍一下Transformer架构的基本原理？Tranformer的Decoder与Encoder的区别？为什么现在大模型的发展更注重于Decoder？注意力机制的几个参数Q，K，V的含义以及公式？什么是检索增强生成技术（RAG）？开发Agent时工具流是怎么构建的？Java的集合介绍一下？ArrayList和LinkedList的区别？算法题：如何判断单向链表有环？

1. 项目和八股1.RAG如何做rerank的2.LoRA参数计算 比如给你一个7B的模型  在优化器这块如何分配3.了解强化学习的什么算法   强化学习最新的po算法4.grpo如果对于这个数据 训练出来的一组score都是0或者1  这时候应该怎么办5.agent的几大部分6.agentic rl7.gui agent   code agent8.了解软件工程相关的吗  AI for se2.无手撕3.反问业务，做的 金融领域 agent 方向，偏开发

背景概述：为什么要写这个呢？虽然现在大模型很火，但对于我们工程同学来说，把大模型当一个黑盒用就好了。一开始我也是这么认为的。直到我在小红书做到了一个需求在小红书的时候有一个需求是优化组内一个 agent 项目的响应和结果优化，这个 agent 是一个复杂的商业助手，并不是说技术很难，但要分析的广告业务很复杂，有上千个指标，好几种场景，prompt非常长，如果输出的效果不好，是没有人愿意用的。用了很多优化手段，比如并发查数据等等。有一天这个项目的正职同学和我说，他和算法那边的同学交流，说可以把我们动态拼到 System prompt 的指标数据拼到用户的 query 里面，这样就可以利用模型的 ...