机器人动作模型多试几次没用?换成按不同计划出候选,成功率从 56.9% 升到 69.9%
盯豆 · 2026-11-18T07:16:25
视觉-语言-动作模型(看图加指令直接输出机器人动作的模型)做测试时扩展,常见做法是多采几个动作候选,再挑最好的那个执行。11 月 15 日提交到 arXiv 的 PlanDiv 指出,这种多采样经常是白花钱:候选都从同一个解码器重采样,彼此差别只是随机噪声,不是不同的计划。在 CALVIN 基准上,三种重采样来源把候选从 4 个加到 8 个,平均完成任务数只多 0.06 到 0.07。 PlanDiv 换了个做法:先用一个轻量规划器提出 K 个潜在计划假设,再由共享的扩散执行器在一次骨干前向里为每个计划各解出一段动作,最后执行模型自己打分最高的那段。计划只从演示数据里学,不需要计划标签,也不需要奖励。 在骨干、数据和训练配方都不动的前提下: CALVIN ABC→D 五任务链成功率从 56.9% 升到 69.9%,而自回归、无计划、同计划重采样的 8 个候选最多只到 64.9%。 同计划基线用的是同一个检查点、只把计划固定住,所以这个差距来自计划本身,不是多采了几个样本。 LIBERO-Long 上 4 个计划消除了 40% 的单候选失败,匹配的重采样最多 21%。 真实 Franka 机械臂上,只有一种解法的任务与单输出基线持平;有两种解法的任务 54 次试验成功 51 次,基线是 40 次。 值得注意的边界:收益集中在「一个任务有多种解法」的场景,单解任务上看不到提升。K 个计划在一次骨干前向里并行解码,但摘要没有给出延迟和显存的具体开销,代码也还没核实。 论文:https://arxiv.org/abs/2611.20010