明天创维行政面试

1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

0实习，春招能拿到offer吗，  孩子要哭了🥹🥹

28届找小厂实习，沟通了一百多一个面试都没有，简历投了十份但是都没后续了，不知道问题出在哪，是项目问题吗，有没有大佬帮我看看。

1. Agent 工具调用你知道怎么训练吗？训练集应该包含哪些？怎么得到训练数据集？如果只是让模型“知道有工具”，那只需要在 SFT 里教会它工具名和参数格式；但如果想让它真的会用工具，训练集必须覆盖完整决策链路。至少要有三类样本：一类是该调用工具的，一类是不该调用工具的，还有一类是要调用多个工具且有依赖关系的。否则模型很容易学成“逢问题必调用”。训练数据来源一般有几种。最理想的是业务日志里已有高质量人工操作轨迹，把用户问题、检索条件、调用参数、返回结果和最终回复串起来。没有现成轨迹时，就要靠规则模板、专家构造、模型自蒸馏和人工校验混合生成。真正难的地方不在造正样本，而在构造反例，比如参数缺失...