终于等到你---阿里云

背景4年前端，有AI行业的工作经历多的不说了，纪念一下吧，感觉啥都没答上来，面试官能和我聊四五十分钟也是难为他了正文为什么会有给ai用的sandbox，它的出现是为了解决什么问题？有没有用过sandbox？llm playground深挖sse和socket的区别，为什么用sse做流式而不是socket假设你现在在用这个playgroun和ai进行对话，发送按钮点击了，此时模型在不断的一个字一个字的蹦出来，在这个流式输出的过程中，我刷新了页面或者切了一下对话再切回来，这个时候作为用户我肯定希望对话是继续的，这种场景你是怎么处理的？后续面试官补充：sse不是socket，在断掉之后，是没有重连这...

遇到一个民科乐子，最难绷的一集。

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...