投机采样：为什么能提速还不掉质？

论文题目：Weak-Driven Learning: How Weak Agents make Strong Agents Stronger论文地址：https://arxiv.org/pdf/2602.08222论文详解：https://mp.weixin.qq.com/s/alpue3q1Gk5fcmpG_p3y3Q核心要点：该论文的核心思想是弱驱动学习（Weak-Driven Learning）把历史“弱模型”的纠正信号用于训练当前强模型，通过课程式数据激活与Logit混合联合训练，在不增加推理成本的前提下显著提升数学推理与代码生成表现。关键结论1、提出新范式： 引入了“弱驱动学习”（Weak-Driven Learning），颠覆了以往必须由强到弱传递知识的定式思维，证明了历史的弱模型同样是宝贵的优化信号源。2、设计新框架： 提出了一个名为WMSS的实用三阶段训练框架，通过课程增强的数据激活和弱强联合训练，将弱驱动学习的思想落地。3、验证有效性： 在多个数学推理和代码生成任务上，WMSS均显著超越了传统的SFT等基线方法，并且这一切是在不增加任何额外推理成本的前提下实现的。