1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

😅😅😅😅

不知道过两年会变成啥样…   

三月初开始投递简历，到现在陆陆续续也投了千份之多，收到面试邀约不过二十，期间也收到几个中小厂offer，但合不上自己心意，也全都婉拒。学了很多，成长很多，遇到很多有意思的牛友，面试也越来越娴熟。曾几何时，在焦虑的失望中反复挣扎度过，很后悔自己没有一段实习经历，让我的简历如此苍白。如果让我回答什么时候找实习最好：我觉得大二假期的那段时间是最好的，提前体验求职的难度，不至于大三这时候过得那么艰难。而到大三这段时间，别人刚起步，你已经有经验，直接冲更好的公司、更好的岗位。很多人可能觉得我还没学会我还都不懂，不能实习。但是职场里的东西，学校根本教不会，只能实习学。如果当时早一点出发，我会比现在从容太多...