1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

想当鹅孝女呜呜附tl：3.20 一面+二面3.23 三面3.24 显示hr面3.26 晚上收到hr面试 第二天面3.27 面完hr 7min hr很忙然后面完界面还停在链接3.30 云证 但是还是显示hr面3.31 录用评估中

我认为大三暑假去实习是一个比较合适的时间点。一方面，这个阶段已经具备了一定的专业基础，比如编程能力、数据结构与基础算法、以及一些项目经验。相比大一大二，大三的知识结构更完整，能够更快适应企业的开发节奏，也更容易在实际项目中发挥作用。另一方面，大三暑假实习时间充足，可以完整参与一个项目的开发流程，从需求分析到代码实现，再到测试和上线，这种经历对理解工程化开发非常关键。同时，实习过程中还能了解企业的技术栈和开发规范，为后续找正式工作打下基础。更重要的是，大三实习可以作为一次“试错机会”。通过实际工作，可以判断自己是否适合某个技术方向或岗位，及时调整学习路线，而不是等到毕业后再去探索。因此，大三暑假...