1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

0offer0约面  

现在才学到苍穹外卖，会不会太晚了TvT，在想能不能找小厂刷刷实习经历，这简历可以试着投吗？有人能指点一下吗，谢谢大佬

发面经攒后面的人品，我攒我攒一面：1.组内业务介绍2.自我介绍3.上下文压缩怎么做的4.压缩的时候信息丢失怎么做5.这样上下文工程还有什么，比如引入长期记忆，讲了讲mem06.openclaw的记忆系统怎么设计的7.openclaw的多智能体协作是怎么做的反转链表---二面：自我介绍说一下最深的点，感觉有点为了表现自己说错了，是自己做的最深的点，我说的是最近比较关注的深入研究的点(hhh查询的接口，问我数据量到底有多少?我不知道啊！确实是扣分点Agent范式是怎么做的？混合查询怎么做的？组合总数---感觉还是自己太菜了