1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

我朋友接了美团，后面又拿了字节，跑去字节提前实习，天天抑郁症，天天内耗，哎，字节毁了一个年轻人，哎，还不如去美团蹲着

感谢鹅，更新一下 timeline 吧，一路感觉运气大于实力2.26 官网更新了一下简历，过了一会就约面了，被提前批捞的2.27 一面，一小时不到，唯一的八股就是问实习的时候延伸的：session 和 cookie 的区别，一道手撕一道 sql 设计，面完马上打开官网看状态已经显示复试了3.3 二面，也没有八股，全程问实习，一道手撕， 45 分钟左右，两天后面试链接才消失3.10 三面，只问了八股和对 ai 的看法3.10 三面完两小时 hr 面试，oc面试下来感觉运气真的很重要，可能是因为一面表现的挺好，面试官说不错，从而二三面挺拉跨的，以为挂了但是都过了。已经准备把其他所有的面试和笔试拒了

也是个实习转正岗吧北京的，感觉难度不小，挺专业的面试界面用的牛客第一次遇到。其他都是腾讯会议或者飞书。1.自我介绍2.问实习干啥的3.更新问题4.异常监控模块5.计算模块问题6.如何保证拿最新数据7.能不能查历史的8.如果一直报警有什么处理措施9.横向扩展功能10.rocketmq11.异步的批处理拷问项目12.docker13.文件注入14.做一个二分查找结束面试官依旧没开摄像头，声音还特别吵，kpi了