这场做的真不如上场了，三个编程题，前两个超时，第三个都不想看了

先上Timeline:3.17 一面（一小时后通知过了）3.21 二面（面试在周末，周一上午通知过了）3.25 三面（半小时后通知过了）3.26 hr面（当天晚上发offer）面试内容：一二三面基本上都是拷打实习+项目，🈚️八股一二面各一道非常简单的算法，三面🈚️算法hr面主要是了解个人经历、性格，以及就业规划等总体感受：整个流程非常快，这个必须点赞每个面试官的专业能力就不用说了，会问到一些可能自己之前没考虑过的问题，也会现场引导我思考。整体面试氛围很轻松，像是在和同学一起讨论技术问题，交流各自的想法一样，聊的很开心暑期投了不少大厂，但只有腾讯字节给面试，其他公司都没给机会腾子那边也挂了几次不过还好最后如愿进字节了

很绝望了现在，不知道该咋办

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...