1. 大语言模型的 RLHF 训练流程是什么，它存在哪些潜在风险RLHF 一般分三步。第一步是 SFT，用高质量指令数据把基座模型调成能听懂任务、按格式回答的模型。第二步是训练奖励模型，把人工偏好数据整理成 chosen 和 rejected 形式，让奖励模型学会判断两个回答哪个更好。第三步是强化学习优化，最经典的是 PPO，让当前策略在奖励更高的方向上更新，同时用 KL 约束避免模型偏离初始策略太远。它的风险主要在三个地方。第一，奖励模型可能学偏，模型最后学到的是“讨好奖励模型”而不是真正更有帮助。第二，强化学习阶段如果约束不够，模型容易出现 reward hacking，看起来分数高，但真...

最近十分焦虑，本来计划找java岗的，结果现在这个时代，什么都要带上ai，本来就有一大堆java八股文没背，还要仓促的学agent，但学的都是基础呀。简历上那些都是提示词工程，让AI输出指令格式，然后程序判断，也没什么含金量。完全没有什么竞争力😭，唯一的竞争力就是实习时间可以长些吧。但我也找不到适合的学习项目，另一方面自己也比较着急。想要快点找实习。求大佬们指点一下小弟😭😭😭

最近影石秋招真的让我情绪反复横跳。原本已经决定放弃这家公司，但随着薪资不断上调，又让我重新燃起了冲一把的想法。整个面试过程下来，最大的感受就是——面试强度很高，几乎是全方位拷打，从项目细节到底层原理，没有任何水分。一面主要围绕项目深挖和工程能力展开，尤其是嵌入式系统、通信协议以及AI推理优化，细节问得非常深入，比如传感器数据处理、I2C/SPI底层机制，以及模型推理和性能优化等内容，基本每个点都能继续往下追问。二面则更偏向基础和底层能力考察，包括C/C++语言本身、数据结构、内存模型，以及一些算法思路，同时也会结合项目继续深入，比如推理框架优化、SIMD加速等，整体更考察理解深度而不是表面知识...