06-14 23:26 字节跳动_算法工程师 发布于上海
发布于上海 关注
DeepCritic：SFT+RL两阶训练显著提升LLM自我监督能力！！
论文题目：DeepCritic: Deliberate Critique with Large Language Models
论文地址：https://arxiv.org/pdf/2505.00662
论文详解：https://mp.weixin.qq.com/s/6eridKO3iB1jO_W8Vwb7cg
文章的核心贡献是提出了一个名为 DeepCritic 的新型两阶段框架，用于开发能够对数学解题过程的每个推理步骤进行深入批判的 LLM critics。实验结果表明基于 Qwen2.5-7B-Instruct 开发的 DeepCritic 模型在多个错误识别基准测试中显著优于现有的 LLM critics（包括同尺寸的 DeepSeek-R1-distill 模型和 GPT-4o），并且能够通过更详细的反馈更有效地帮助 LLM 生成器修正错误步骤。
两阶段训练方式
第一阶段：监督式微调（SFT）：通过利用 Qwen2.5-72B-Instruct 生成 4.5K 长篇批判作为种子数据进行监督式微调，使模型能够生成包含多视角验证和深入批判的批判内容。
第二阶段：强化学习（RL）：在监督式微调的基础上，进一步通过强化学习优化模型的批判能力。强化学习的数据来源可以是现有的人标注数据（如 PRM800K），也可以是通过蒙特卡洛采样估计正确性自动标注的数据。
#大模型论文分享##大模型##强化学习##监督微调##论文分享##聊聊我眼中的AI#
论文地址：https://arxiv.org/pdf/2505.00662
论文详解：https://mp.weixin.qq.com/s/6eridKO3iB1jO_W8Vwb7cg
文章的核心贡献是提出了一个名为 DeepCritic 的新型两阶段框架，用于开发能够对数学解题过程的每个推理步骤进行深入批判的 LLM critics。实验结果表明基于 Qwen2.5-7B-Instruct 开发的 DeepCritic 模型在多个错误识别基准测试中显著优于现有的 LLM critics（包括同尺寸的 DeepSeek-R1-distill 模型和 GPT-4o），并且能够通过更详细的反馈更有效地帮助 LLM 生成器修正错误步骤。两阶段训练方式第一阶段：监督式微调（SFT）：通过利用 Qwen2.5-72B-Instruct 生成 4.5K 长篇批判作为种子数据进行监督式微调，使模型能够生成包含多视角验证和深入批判的批判内容。
第二阶段：强化学习（RL）：在监督式微调的基础上，进一步通过强化学习优化模型的批判能力。强化学习的数据来源可以是现有的人标注数据（如 PRM800K），也可以是通过蒙特卡洛采样估计正确性自动标注的数据。
#大模型论文分享##大模型##强化学习##监督微调##论文分享##聊聊我眼中的AI#
全部评论
相关推荐
超参数科技一面9人在聊