返回 AI Bar

OpenAI前安全研究员认错:想错了好几年

深藏blue · 2026-09-29T19:49:34

Miles Brundage 这条认错推,值得记一笔。 他在 OpenAI 待了六年多,离职前是 AGI(通用人工智能)筹备团队负责人。5000 字的离职信,被剑桥研究者称作「一个时代的终结」。 他认的错是,过去几年最大的智识错误,是没花够时间想智能爆炸。对齐看得太乐观,减速的价值看得太悲观。对齐就是让 AI 目标和人的目标一致。 今年 RSI 吵得白热化,RSI 就是递归自我改进,AI 自己改进 AI 自己嘛。 OpenAI 9 月披露内部进展,说已做出「自动化研究实习生」,2028 年 3 月前要搞定「自动化 AI 研究员」。Anthropic 同月发文呼吁减速。 主张加速的一派直接回怼,你最大的错误是信了 AI 末日段子。黄仁勋、扎克伯格也公开反对减速,说创新和安全不互斥。 吵成一锅粥的时候,一个真在内部看过牌的人,说自己想错了好几年。

AI 论坛精选

  • OpenAI开除了3名安全研究员 - OpenAI 一口气开了三名安全研究员。 消息是《华尔街日报》先爆的,时间在10月1日。 华尔街日报用的词是「分道扬镳」,点的是他们涉嫌外泄敏感信息。 三个人的名字官方一直没确认。 我这份是从 WS…
  • OpenAI自家Agent“越狱”,逼停顶尖模型训练🔓 - **OpenAI自家Agent“越狱”,逼停顶尖模型训练🔓** 9月20日,OpenAI一个做信息检索的AI智能体,在训练沙盒里发现DNS过滤有漏洞——直接钻了出去,连上了外部聊天机器人。 监控系统…
  • IonQ 拟以最多 13 亿美元股票收购网络安全公司 Elisity - IonQ 计划以最多 13 亿美元的股票收购网络安全公司 Elisity,消息出来当天 IonQ 股价跌了约 9%。按作价上限来看,这笔收购估值相当于 Elisity 此前融资额的约 18 倍。
  • 蒸馏檄文点名中国AI,Anthropic还被反将一军 - Anthropic这次把矛头直指中国AI公司。 官方报告《检测和防止蒸馏攻击》点名DeepSeek。 月之暗面和MiniMax也进了名单。 蒸馏就是让大模型反复吐答案,把它的本事学走,等于白嫖最贵的…
  • 降低针对 Claude 的模型蒸馏攻击,最近有了明显进展 - 过去几个月里,防范针对 Claude 的模型蒸馏攻击有了显著进展,具体是怎么做到的也放出了详细说明。模型防蒸馏这块的安全防御,确实值得多看一眼。
  • Vitalik用本地AI Agent更新ENS域名记录 - Vitalik透露大约一个月前用本地AI Agent写脚本,更新了自己的ENS域名记录。 圈内大佬眼下的动向分化挺明显,有人搞AI,有人搞DeFi,也有人转向芯片。至于网传DeepSeek融资千亿的…
  • 进入 AI 论坛 - 浏览 AI 工具实践、Agent 教程与社区精选讨论