1. 必须熟悉 DDPG 、 PPO 、 TD3 、 SAC 等算法的原理和区别。 这四种算法是连续控制（如机器人控制）中最常用的深度强化学习算法。 PPO (Proximal Policy Optimization)   原理：PPO是一种同策略（On-policy）的策略梯度算法。它使用截断（Clipping）机制限制新旧策略的更新步长，防止策略更新“翻车”。   核心公式：    数值计算示例： 假设在时间步 ，GAE计算出的优势函数 （正数，说明这个动作很好）。 设定截断超参数 。 如果新网络过于激进，导致新旧策略概率比 （新策略采用该动作的概率是旧策略的1.5倍）：   原始目标： ...

offer审批等了三天今天终于下来了，一个不好的消息就是暑期变日常了，但是hr说还是可以转正，感觉转正机会还是很渺茫的听说也是晚上十点十一点下班

最近在工作里，大家都在讨论 vibe coding，工具也是百花齐放，cc，codex，trae。它确实提高了开发效率，但有时也会发现，明明生成的测试用例都通过了，但是交付后效果依然很差；变量名，项目结构完全没有按照规章来，太过发散；ai听不懂人话，需要多次返工，不仅没有增效，反而让leader觉得做事不仔细。也就是说，很多人只是用起来了，而不是用好了。真正把它用好，关键不在“让模型多写一点”，在于先想清楚边界。第一，先分清需要处理的是“项目”还是“模块”。如果只是一个边界清晰、输入输出明确的小模块，vibe coding 的效果通常很好，因为上下文相对稳定，模型更容易收敛到可用结果。但如果是...