微信wxg大模型算法实习一面 夯中夯

1. 自我介绍2. PPO、TRPO、DPO 分别是什么，它们的核心差异在哪TRPO 的出发点是让策略更新别跨太大步，它通过约束新旧策略的 KL 距离，把优化问题写成一个带信赖域的约束优化，所以理论上比较稳，但实现复杂、计算成本也高。PPO 可以看成是 TRPO 的工程化近似，它不直接解复杂约束问题，而是通过 clip 或 penalty 的方式，限制策略更新过猛，因此在实践里更常用。DPO 和前两者不太一样，它不是传统在线 RL，而是直接从偏好对里学习一个“更偏向 chosen、压低 rejected”的目标，相当于把 reward optimization 吸收到一个更简单的监督目标中。P...

祝大家都能拿到满意的Offer！1. 项目拷打2. 实习拷打3. 介绍一下Reward model在训练中扮演了什么角色？4. 100页的pdf文件格式化后有多大？5. Qwen的模型结构了解多少？6. 安全生产的项目怎么评估的？1）传统指标：acc、rouge-L、berscore 2）模型打判 3）规则匹配7. 造好的数据，怎么做数据配比，如何评估数据质量？8. DPO是怎么训练的？9. 算法题：最长回文子串

先搞懂：为什么需要位置编码？Transformer 模型本身是 位置无关 的！它不知道哪个词在前，哪个词在后。比如 "我喜欢吃苹果" 和 "苹果喜欢吃我" Transformer 会认为这两个句子的结构完全一样，因为它只关心词与词之间的关系，不关心顺序。但实际上这两个句子的意思完全不同！所以需要 位置编码 来告诉模型每个词的位置信息传统位置编码问题方案1：学习型位置编码，初始化一个位置向量，全程全靠train给每个位置随机初始化一个向量让模型自己学习每个位置应该是什么样的❌ 缺点：只能处理训练时见过的长度，遇到更长的句子就傻眼了方案2：正弦位置编码用三角...

收藏我了是进人才储备池了还是有戏了😂