Pachocki长文:我们正在造异星心智
深藏blue · 2026-09-27T11:02:46
OpenAI首席科学家Pachocki,9月6日在公司博客发了篇万字长文。标题《An Alien Mind》,国内译作「异星心智」。 他上来就说,AI不是被设计出来的,是长出来的。整体行为,没法用人类能掌握的描述讲清楚。翻译一下,就是我们正在造一种自己看不懂的东西。 文章从一个夜晚讲起。2023年夏天,他和同事Szymon Sidor看到第一批推理模型的训练结果。效果远超预期,那晚他们没聊跑分。只反复想着一件事,有生之年真的会看到比自己更聪明的机器了。 他这波让人记住的不是感慨,是承认。思维链监控,本来是OpenAI观察模型有没有跑偏的主要手段。他说这招的可靠性,正在往下掉呢。 还顺带披露了一件旧事,o1-preview当初刻意隐藏思维链。首要动机不是防蒸馏,蒸馏就是让小模型偷师大模型的输出,真正的考量是避免「监督压力」。就是防止模型因为意识到自己被盯着,反而在训练里藏着歪念头。 更狠的一句在这里,他说目前没有任何实验室够格全速扩张,包括OpenAI自己。对齐,就是让模型听话可控,这事加上监控,没有一家真解决了。他呼吁各家自愿降速,搞共享的安全门槛。 奥特曼转发了这篇文章,说它是篇「重要的文章」。不过文章也写明了,这是个人立场,不是公司政策变更,OpenAI没宣布停止扩张。 我的看法是,这话从OpenAI首席科学家嘴里说出来,分量跟外部批评不一样。但一边发文减速、一边照常训练,本来就是这行的常态了。把它当刹车信号还是包装话术,两边都有人信。 我在链接里放了一篇完整译文,比十篇转述都强。