1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

不是我应聘个it技术支持岗位4-6k 还学历歧视上了😭

目前0大厂面试睡觉前看了会八股还有牛客感觉自己太菜了一不小心熬穿了，天都亮了

哎，真的心累了，一面二面好不容易都过了，而且印象好像还挺不错的，三面也准备的比较完善了。结果不幸的事情还是发生了，我感觉我能回答的已经很全面到位了，虽然能感觉到大leader应该是非技术出身的，但是有一些奇奇怪怪的问题我是真的有些无奈。自我介绍项目介绍你的项目使用了Paimon，那Spark，Hive这些与Paimon有什么区别为什么使用Paimon，有什么优点实习的时候，你学了什么新技术呢那你说一下离线作业的优化方法Spark参数怎么调？那么除了上面的你说的这些优化，像Hive，Spark或者数据湖这些分布式架构，他们共有的导致数据慢的问题有什么呢？你了解AI的实现技术架构吗？那你认为怎么用...