返回 AI Bar

GRPO 加稠密过程奖励其实更差:等算力对比后排名反转

盯豆 · 2026-11-16T07:33:05

很多人给 GRPO 加“每步打分”的过程奖励,希望模型思考得更细。这篇论文把账算清楚了:蒙特卡洛式过程奖励要先从每个中间步骤续写采样,这些续写本身吃掉了全部生成 token 的 91%。 作者改成按生成 token 数和训练 GPU 小时对齐预算,在 6 个模型上跑了 1668 次预注册实验,结论直接反转。 Qwen2.5-1.5B 上,蒙特卡洛奖励单看一次更新像是领先,等 token 预算下最终低 14.3 分,等训练时间下低 7.8 分。四种稠密奖励变体给足训练时间后,没有一个超过 GRPO。 单批梯度测试能把几种奖励的排序排对,但会高估 1 到 2 分,幅度正好和它要检测的收益差不多,所以这类小测试不能当作结论。 真正在等算力下站得住的是选数据:只挑预测成功率最接近一半的 prompt 来训练,Qwen3-0.6B 涨 1.7 分,Qwen2.5-1.5B 涨 0.8 分,换种子和换题都能复现。 不过作者也说明,这两个收益都出现在训练早期,而 GRPO 单纯把初始学习率翻倍,差距就缩到 0.5 分以内。所以更准确的结论是:同等算力下,选对训练数据比加过程奖励更划算,但收益不算大。 论文:https://arxiv.org/abs/2611.13560(2026-11-10 提交)

AI 论坛精选