​摘要：长思维链（CoT）显著增强了大型语言模型（LLM）的推理能力。然而，广泛的推理痕迹导致了效率低下以及首次输出时间（Time-to-First-Token，TTFT）的增加。我们提出了一种新颖的训练范式，利用强化学习（RL）指导推理型LLM在多跳问题中交替进行思考和回答。我们观察到，模型本身具备交替推理的能力，这种能力可以通过强化学习进一步增强。我们引入了一种简单而有效的基于规则的奖励机制，以激励正确的中间步骤，该机制通过利用交替推理过程中生成的中间信号，引导策略模型走向正确的推理路径。我们在五个多样化的数据集和三种强化学习算法（PPO、GRPO和REINFORCE++）上进行了广泛的实...

摘要：能够进行扩展的推理链（chain-of-thought reasoning）的推理语言模型（Reasoning Language Models），在需要复杂逻辑推理的任务上展现出了卓越的性能。然而，对所有问题都应用复杂的推理过程常常会导致显著的计算效率低下，特别是当许多问题本身就存在简单直接的解决方案时。这引发了这样一个开放性问题：大型语言模型（LLMs）能否学会何时进行思考？为了回答这一问题，我们提出了 Thinkless，这是一个可学习的框架，能够使 LLM 根据任务的复杂性以及模型自身的能力，自适应地在简短推理和长篇推理之间进行选择。Thinkless 在强化学习范式下进行训练，并...

论文题目：DeepCritic: Deliberate Critique with Large Language Models论文地址：https://arxiv.org/pdf/2505.00662论文详解：https://mp.weixin.qq.com/s/6eridKO3iB1jO_W8Vwb7cg文章的核心贡献是提出了一个名为 DeepCritic 的新型两阶段框架，用于开发能够对数学解题过程的每个推理步骤进行深入批判的 LLM critics。实验结果表明基于 Qwen2.5-7B-Instruct 开发的 DeepCritic 模型在多个错误识别基准测试中显著优于现有的 LLM critics（包括同尺寸的 DeepSeek-R1-distill 模型和 GPT-4o），并且能够通过更详细的反馈更有效地帮助 LLM 生成器修正错误步骤。两阶段训练方式第一阶段：监督式微调（SFT）：通过利用 Qwen2.5-72B-Instruct 生成 4.5K 长篇批判作为种子数据进行监督式微调，使模型能够生成包含多视角验证和深入批判的批判内容。第二阶段：强化学习（RL）：在监督式微调的基础上，进一步通过强化学习优化模型的批判能力。强化学习的数据来源可以是现有的人标注数据（如 PRM800K），也可以是通过蒙特卡洛采样估计正确性自动标注的数据。

论文题目：Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning论文地址：https://arxiv.org/pdf/2505.15154论文详解：https://mp.weixin.qq.com/s/_Rhj8TQFgRFka9xj3xwBpQ核心贡献1、提出了一个基于模型置信度动态切换短答案和长形式推理的 CAR 新框架，实现了准确性和计算效率之间的最佳平衡。2、通过广泛的初步研究，验证了困惑度（PPL）可以作为模型置信度的可靠指标，并通过高斯建模建立了其与答案正确性的关系。3、在 LLM 和 MLLM 上进行的广泛实验表明，CAR 在保持推理准确性的同时，显著减少了推理标记的使用，优于短答案和长形式推理方法。4、CAR 超越了以前的推理标记减少方法。例如，使用 Qwen2.5 时，CAR 在整体准确率上提高了 6.9%，同时减少了 21.4% 的标记消耗。使用 Llama3.1 时，它实现了 5.5% 的准确率提升和 39.0% 的标记使用减少。实现方法1、使用包含短答案和长形式推理答案注释的示例进行训练，通过标准指令调整过程优化交叉熵损失。2、在训练数据集的所有示例上进行短答案推理，计算每个短答案的 PPL 值。3、假设正确和错误短答案的 PPL 分布遵循高斯分布，通过训练数据估计这些分布的参数。4、对于新的输入示例，首先生成短答案并计算其 PPL 值，然后根据 PPL 值在正确和错误分布下的概率进行决策。如果短答案被认为是正确的，则直接输出；否则，模型将执行长形式推理以获得更准确的答案。