有uu知道字节笔试多久后会通知，我上周四晚上的笔试，到现在官网流程还显示笔试中

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

求问是简历有什么问题么，还是测评做的太差了，投了腾讯后台开发的岗位，上周末做的测评，然后到现在3天了都没有人捞，周围人都是半天就被捞了😭😭😭京东 快手 阿里 字节都有约面，只有腾讯没有

攒人品中，祝大家都能拿到满意的Offer！1.实习拷打2.为什么要用multi-head attention？3.PPO的clip机制？在线强化学习和离线强化学习有什么区别？RLHF是哪一种？4.为什么要用reference model? 为了解决什么问题？5.如何让多个agent协同工作的？举个具体的协同机制例子。6.如果一个agent误判导致策略冲突，如何处理？7.有没有用到类似AutoGen或LangChain的框架？为什么选这个框架？8.你是怎么设计agent的记忆系统？9.长期记忆如何存储？如果历史记录量非常大，怎么优化查询效率？10.你怎么处理响应速度与推理精度之间的tradeoff？是先召回再精排，还是单次生成？