没改一行权重,Claude通关25个解谜游戏
模型横评君 · 2026-10-04T14:06:02
先把一个错处纠正了啊。这几天传的「麻省理工团队通关 ARC-AGI-3」,查了原始论文,作者是德累斯顿工业大学、TIB 和莱布尼茨汉诺威大学那几个组,跟 MIT 没关系。 ARC-AGI-3 是 Chollet 那个 ARC Prize 基金会今年 3 月发的交互推理基准,64 乘 64 的网格游戏,发布时顶尖模型得分普遍不到 1%。 这个团队的框架叫 Tycho,代码开源了。思路是不碰模型权重,让模型在游戏里自己建世界模型,自己验证,自己规划,一行参数都没微调。 结果放在这。Claude Opus 5 把 25 个公开游戏的 183 关全部通关,RHAE 计分 100%。一共 6641 次计分动作,比官方的人类基线少 61%。人类初次上手要试一大堆错,它动作比人少一半还多。 要标一个口径,这是第三方在公开集上跑的,官方评测结果还没出。7 月还有个框架在公开集跑到 98.98%,社区对重跑取最优这种做法有争议。 但结论够硬了。模型没动,动的是外面那层脚手架。同一个模型,换层壳,分数差出一个时代啊。