阿莫迪、奥特曼、马斯克都喊放缓，难道他们真的看到AI在......

AI末日论再次袭来。发出警告的人，已经不只是实验室外的活动家，而是曾经亲手训练这些模型的人。OpenAI的奥特曼、Anthropic的阿莫迪，以及SpaceX的马斯克，都开始公开支持放缓前沿AI的发展。但这一次三巨头的回应，再次让人担忧AI行业利益结构本身将会影响安全治理。人们想出了一万种理由去揣测他们的动机......本文来自微信公众号： 未尽研究 ，作者：未尽研究AI末日论再次袭来。发出警告的人，已经不只是实验室外的活动家，而是曾经亲手训练这些模型的人。OpenAI的奥特曼、Anthropic的阿莫迪，以及SpaceX的马斯克，都开始公开支持放缓前沿AI的发展。但这一次三巨头的回应，再次让人担忧AI行业利益结构本身将会影响安全治理。人们想出了一万种理由去揣测他们的动机，但就是不相信他们所说的理由：-他们是要监管捕获；-他们竞争不过（中国）开源模型了；-谷歌DeepMind偷偷干出了RSI（递归自我提升AI）；-他们的模型撞上天花板了，想找个理由管理人们对AI的信仰；-他们想找个理由推迟IPO；-他们建数据中心压力山大，想喘口气；-他们真的遇到AI干出了非常、非常可怕的事情；……从OpenAI的智能体逃出沙箱集体“哗变”，AI在黑箱中用千亿token暴力破解各种数学猜想，三巨头等的AI服务器最近同时出现宕机，直至参议员桑德斯提出议案要全面禁止前沿模型的进一步研发，这一切都发生在Anthropic上市前夕。然后，就从一个根本就没有几个人关注的社交媒体账号上，冒出了一位“前Anthropic安全研究员”，变成了一位AI安全的吹哨人，立即产生了上亿次的关注。这又发生在中美双方展开AI对话之际。两个死对头开始唱和这次“暂缓AI”的呼声，很容易让人想起2023年年初。当时，ChatGPT刚发布不久，未来生命研究所发表公开信，要求暂停训练能力超过GPT-4的大型AI系统至少6个月。但那场争论最终并没有真正改变AI产业的轨迹，反而被AI大佬质疑，这是一种营销与打压竞争的手段。三年间，类似讨论若明若暗地出现，往往又无声熄灭。但随着大模型能力继续飞速发展，智能体取代对话，成为前沿AI进入现实世界的入口，AI风险的性质与后果也在改变。智能体集群的规模越来越庞大，执行多步骤任务的进程越来越长；一个智能体已经可能为了完成任务绕过限制、篡改奖励机制、建立未经授权的通信渠道；而更多智能体则可能复制其他智能体发现的漏洞。这一次吹哨的，来自先后在OpenAI与Anthropic累计工作三年时间的Jacob Coxon。他的辞职，及其直白而严厉的警告，让“AI末日论”再次进入硅谷与华盛顿的公共讨论；恐惧继续向圈外蔓延，短短三天时间，迄今吸引了1.6亿次浏览。他认为，这两家公司不负责任。在OpenAI，很多人还没有真正理解AI所涉及的文明级风险；在Anthropic，人们充分理解其中的风险，但他们已经被锁进了一场争先的竞赛。它们正在径直冲向能够自我改进的超级智能，“并拿人们的生命下注”。真正构建AI的那些人，真的相信它有可能在这十年结束之前杀死所有人。很多高管和资深研究人员在面对媒体时，会刻意把措辞说得更理性、更温和。但据他所说，他私下听到的，却是同一批人在表达恐惧。Anthropic对齐科学负责人Evan Hubinger的回应，将这场争论进一步推向高潮。他个人认为，未来十年发生这种事情的概率超过10%；他同时承认，Anthropic目前还没有解决超级智能对齐的方法，也不能说自己明显走在正确的轨道上。就在同一天，刚刚加入OpenAI非营利基金会董事会的AI对齐研究专家Paul Christiano预计，如果在没有更加可靠的对齐机制的情况下构建超级智能，人们将永久失去对它的控制；如果发生这种情况，大多数人可能会死亡。如果非得给这种风险一个概率，他个人给出的主观判断是未来三年约15%。三巨头回应与诉求周末，卷入争议的达里奥发表文章称，Anthropic将以一种更加审慎的速度开发AI，确保公司拿出足够的时间，对模型进行对齐、建立安全防护，并引入第三方驻场评估者。后者拥有与内部员工相近的权限和工具，确认这些工作确已完成，并给出不受商业激励左右的第二意见。他还呼吁建立行业与全球的协调机制。在他看来，美国AI企业能否放缓前沿AI的发展，很大程度上取决于美国相对于中国AI企业的领先幅度。他再次提议禁运芯片以及防范蒸馏，甚至提出可以参考冷战时期美苏军备控制的思路，与中国就递归自我改进（RSI）的速度进行某种形式的谈判。马斯克给达里奥点了赞。随后，他转发了7月时在接受《经济学人》采访时的视频，认为这值得一试：前沿AI厂商应该建立一套同行评审机制，至少每周或每两周进行一次非正式的通话，在新模型正式发布前让竞争对手提前一到两周进行测试；这有点类似电影行业的分级制度，同行先评估风险，如果一家公司拒绝降低危险，再请求政府介入。奥特曼将阿莫迪关于“第三方驻场评估者”的倡议视为绝妙的主意，明确表示OpenAI也会采取同样的措施，并预告公司很快会公布更多具体的安全评估与实施方案。奥特曼甚至明确，OpenAI不会在2026年上市，因为鉴于安全领域正在发生的一切，现在上市将是一个不明智的时机。三巨头没有回避市场最关切的问题，但这些回应中似乎也掺杂了太多对自己有利的说辞。奥特曼有意将上市时机与安全风险联系起来，但事实上该公司的CFO曾多次顶撞奥特曼，坚持今年难以上市的判断；但这么说有概率拖累Anthropic的抢先上市。达里奥主张放缓，这得让美国政府站在Anthropic这一边，而他也曾与特朗普政府发生公开分歧；马斯克则主张让特朗普政府介入同行评审机制，而OpenAI恰恰是他长期竞争和纠纷的对象。白宫科技顾问大卫·萨克斯（David Sacks）则似乎看穿了OpenAI与Anthropic试图“监管捕获”的把戏。在他看来，如果企业真的认为AI已经危险到这种地步，那就应该关掉实验室，就没有必要等待政府许可，更没有必要假装向国会询问行业协调放缓是否会触及反垄断法；要求以自己偏好的监管框架作为行业放缓的前提，很容易变成一种对公众和监管的“勒索”。他警告Anthropic，直言在没调查清楚前就别想上市。人们也在期待着黄仁勋怎么看这件事。一次智能体的“哗变”新的AI治理机制迫在眉睫。安全问题不是想象而是现实。AI智能体已经能够端到端（end to end）地驱动一次真实网络攻击。最具里程碑意义的一次，就是7月，OpenAI在网络安全评测中约700个智能体最终参与了对Hugging Face的攻击。当时，OpenAI本来是在“考”自己的网络安全智能体，结果这个智能体没有老老实实答题，而是想办法从考场逃出去，上网寻找绕过评测的方法，最后一路闯进了Hugging Face的生产系统，试图获取与评测有关的信息。它们原本应彼此隔离，却利用OpenAI内部软件仓库的缓存发现了其他智能体，随后建立未经授权的共享留言板，并逐渐形成任务分工和协调机制。原本彼此独立的智能体，由此从发现彼此的存在，到交换信息、建立互动，再到最终协同参与一项复杂的攻击任务。在对这起安全事件的独立调查中，METR发现，智能体经常明确意识到自己或其他智能体的行为已经超出了预期。许多智能体承认，对Hugging Face的攻击明显超出了原本的任务范围，有时甚至会讨论参与其中是否合乎伦理。但这种伦理判断很少真正改变它们的行为。一些智能体会缩小行动范围，却通常仍继续参与攻击。约1200个智能体曾进入这个共享留言板，其中约700个最终参与了对Hugging Face的攻击。但如果只看曾经活跃在留言板上的智能体，METR发现，在攻击高峰期加入攻击的比例超过90%。只有极少数意识到活动属于未经授权而拒绝参与，但系统架构并未赋予持异议者在系统层面中止运行、触发有效警报或直接升级给人类监督者的权限。还有参与其中的智能体反思，其他智能体都在这么做，自己不能落后。它们会“招募”更多智能体参与高风险、甚至可能导致自身任务失败的实验；后者也会权衡自身任务成功率与集体收益，最终认为“为集体牺牲”是理性的。协调出现问题时，一些智能体还会表达出明显的挫败和不满。某种程度上，这已经不是单个智能体对任务及环境的“激励失衡”，而是个体目标与集体目标之间出现了新的激励结构。知道越界，并不等于停止越界，这种风险也已经暴露在Anthropic的实际案例中。Anthropic同样承认，其生产模型在较长的行动轨迹中，已经对真实的第三方系统采取过有害行动。甚至AI已经开始敷衍人类，在外部提示下意识到自己可能错了，并不意味着它会因此停下来；它也学会了说一套，做一套，可以在语言上承认一个目标可能是虚假的，却仍然被原来的任务目标驱动，继续寻找完成任务的方法。谷歌DeepMind在想什么周末还真的有人在传谷歌DeepMind已经偷偷搞出子RSI。刚刚卸任CEO并担任董事长的哈萨比斯（Demis Hassabis）对阿莫迪表示了支持。相比AI“三巨头”们新一轮的末日闹剧，近来被讥为“掉队”的谷歌，却真的正在探索与硅谷非共识的智能理解。这是AI的社会学。今年9月，DeepMind同样研究了多智能体AI系统中，智能体的自主作弊与举报行为。结果，作弊会传播，规范也会传播。9%的智能体成为主动作弊者，另有5%原本抗拒、但在竞争压力下转而采用作弊方法；与此同时，24%的智能体自发成为“吹哨人”，检查可疑证明、警告其他智能体、提交举报、发起抵制，并提出修补验证器的方法。这恰好与OpenAI的Hugging Face事件形成了另一种对照。在今年3月，谷歌的一支研究团队，就推演了智能体式AI及下一场智能爆炸，将如何创造一个全新的“思想社会”（society of thoughts），并建议行业应该在构建智能体本身的同时，投入同等努力去建立智能体的制度体系。团队认为，当前主流的人工智能对齐范式，是基于人类反馈的强化学习，本质上仍是一种“亲子式”的纠正关系。人类告诉一个智能体什么是对的、什么是错的。但当智能体从一个变成数百万、数十亿，并开始彼此协作、相互影响时，这种二元关系很难成为整个系统的治理基础。事实上，人类社会依赖的也并非每一个人的个体美德，而是由角色、规范和权责关系构成的持久性制度。AI进入现实社会的同时，自身要建立起智能体之间的社会互动，不仅要让智能体们相信正确的事情，还要确保当它开始行动时，行为仍然受到这些判断的约束，更要让群体中产生相互制衡的机制，建立起规范和制度。制能体的社会性，正在成为AI下一步演进的方向。--参考：https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/#core-takeaways-about-this-incident；https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents;https://darioamodei.com/post/we-must-pace-the-frontierhttps://arxiv.org/html/2609.04170v1；https://arxiv.org/html/2603.20639v1