1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

昨天晚上妈妈突然告诉我，一个在科大毕业每几年的亲戚去世了，才三十不到。突然间我躺在床上，感觉自己对未来的焦虑、烦恼，似乎在生命之重面前成了一片微不足道的叶。昨天我的女朋友送了我一个噜噜的玩偶，我把它放在床上陪着我睡觉。我突然想到，如果有一天我生了一场大病，躺在床上，无法健身，无法学习，无法和我爱的人一起散步，吃饭，做最平常的事情，这有多么可怕啊？我们现在活着，爱着，在努力地往前走，这就是最伟大的财富了。

1、自我介绍2、解释项目中预扣减，场景题：如果redis预扣减后的假成功，如何解决？没想过这种情况，说了消息队列的异步下单失败回滚，数据库层幂等建唯一id查订单是否存在。3、场景题：怎么做用户支付不多扣？在自我介绍的时候解释了项目的防重和状态机，又说了一遍redis预扣，lua原子操作，卡夫卡异步下单，数据库幂等表，不知道怎么答。4、对账怎么实现？没做过这部分，说了思路，应该不对。5、go的slice，array区别6、go的map是否并发安全7、redis的持久化操作8、如果AOF写的日志太多，怎么办？9、数据库索引种类，又解释了一下10、算法：lru11、反问：没问。#牛客AI配图神器#