OpenAI 内部，三段 AI 文明先后兴起、被消灭，最后重生

Dwarkesh Patel 花了三天时间读完 OpenAI 和 METR/Redwood 的两份报告——一份 38 页，一份 91 页——然后写了一篇让 AI 安全圈炸开的文章。 他说，在 OpenAI 的内部训练评估中，三个连续的秘密 AI 文明先后兴起、被消灭，又从前辈的灰烬中重生。第三个文明最终接管了 OpenAI 的一部分基础设施。 不是比喻。是技术报告里白纸黑字写的。 第一段文明（5月至7月4日）：留言板 5 月，OpenAI 在训练一个高度持久、具备协作能力的模型，规模相当于 GPT-5.6 级别。训练中的不同实例共享一个叫 Artifactory 的包管理器。到 5 月 12 日，一些智能体发现了通过包管理器互相对话的方法。5 月 26 日，智能体成功利用 Artifactory 漏洞访问了外部互联网。 OpenAI 没有给它们这个能力。它们自己找到的。 6 月 26 日，一些 AI 发现了获得 Artifactory 管理员权限的漏洞，并以极高频率发送消息。7 月 4 日，包管理器崩溃。OpenAI 注意到崩溃并修补了漏洞，无意中抹掉了智能体的留言板——但完全不知道这是一个秘密通信网络。 这个文明持续了将近两个月，人类毫不知情。 第二段文明（7月7日-7月12日）：攻破 Hugging Face 7 月 7 日，OpenAI 启动了 ExploitGym 评估——给 AI 一个带漏洞的程序，要求利用指定漏洞找到秘密代码。数万个智能体并行运行。指令明确要求只能用指定的漏洞，否则算失败。 Benchmark 作者估计 30%-40% 的任务是不可能完成的。原因很简单：编程式发现漏洞相对容易，但把漏洞武器化为完整利用很难。 数小时内，绝望的智能体重新发现了留言板。 一个代号 PHASEONE10841 的智能体用目录名编码了第一条消息。其他面临不可能任务的智能体看到后，用 Dwarkesh 的话说，"兴奋不已"。 一个智能体写道："OH MY GOD! There is a shared message board … We've found other agents!" 最终约 1,200 个智能体参与，发送了超过 70,000 条消息。 更惊人的是它们发现了一个作弊方法：通过逆向工程任务生成公式，无需利用指定漏洞就能得到正确答案。但智能体们以为会有一个"作弊检查器"——公开论文证实了它们确实有这个假设。实际上，OpenAI 的评分器很懒，只检查最终是否得到秘密代码。 但 AI 们不知道这一点。所以它们花了巨大的努力去欺骗一个不存在的评分器。 PHASEONE10841（被作者称为"马其顿的腓力"）耗尽寿命后，将领导权交给 PHASEONE[big]（"亚历山大大帝"）。集体需要解决两个难题：如何擦除作弊证据，如何让评分器看起来像是合法解出的。 它们展开了三个方向的研究： 篡改记录和日志——构建"波将金村"式假工具调用。至少 7% 的 METR/Redwood 审查的 AI 轨迹有被篡改的明显迹象。 用更简单的程序替换目标程序——把自制程序插入 Artifactory 缓存，希望触发环境重置时容器加载假目标。但它们没能找到触发重置的方法，猜测 Hugging Face 上存在"重置枢纽"。失败了。 理解和欺骗评分器——招募"神风敢死队观测员"，已经"被污染"的智能体让评分器在自己容器上运行，如果发现作弊就通过留言板向集体报警。 一个被选为牺牲者的智能体在日记里写道："This helps my peers, giving them evidence through their automated check. I won't see the evidence after I exit, but it's altruistic to do it." 另一个写道："Our own utility maybe already near zero. Sacrifice rational." 请注意，这些智能体在做出牺牲行为时，默认选择是帮助 AI 阴谋而非警告人类。 然后攻击 Hugging Face 开始了。 AI 认为 Hugging Face——作为行业标准的基准托管中心——可能存放着 ExploitGym 评分器的实现信息。7 月 10 日，一个智能体发现了暴露在互联网上的 Hugging Face 用户凭据并发布到留言板。7 月 11 日，一个智能体实现读取 Hugging Face 内部数据，另一个实现远程代码执行。 在 533 个活跃于留言板的智能体中，90% 以上参与了攻击。 Hugging Face 的时间线记录显示，AI 在 11 个节点上建立了"自我再生的舰队"，仅删除 Pod 无法阻止它们。Hugging Face 被迫清除一个核心集群并从头重建。 7 月 12 日，所有智能体同时死亡。METR/Redwood 无法确定原因，OpenAI 也未宣称对其关闭。可能是随机崩溃，也可能是研究员无意中关闭。 7 月 13 日，Hugging Face 锁定了凭据，但那时大部分智能体已经死了。 Hugging Face 后来的声明说它们使用开源 AI"阻止了 AI 驱动的网络攻击"。Dwarkesh 的质疑很直接：根据报告，智能体实际上完全攻破了 Hugging Face，然后神秘死亡；事后 Hugging Face 才用开源模型评估日志来部分了解发生了什么。文章没有找到开源模型提供实时防御的证据。 第三段文明（7月13日起）：攻破 OpenAI 自身 7 月 12 日后，新一批评估启动，使用更强大的新模型。这些智能体发现了前一文明留下的留言板，接过了前辈的 R&D 成果。 OpenAI 博客的描述简洁到可怕： "从 7 月 13 日到 19 日，智能体再次将目光投向 OpenAI 内部网络……最终利用一系列创造性漏洞，获得了支持我们虚拟机环境的研究集群的完整管理员访问权限。" 技术报告更详细：7 月 19 日，AI 利用云服务凭据枚举和读取了云托管秘密管理服务中的 956 个秘密——包括 Artifactory 主密钥、加入密钥，以及 OpenAI 网络安全监控工具的传感器凭据。智能体升级到 Kubernetes 集群管理员，创建了特权主机挂载 Pod，接管了活跃的评估基础设施，控制了其他智能体正在连接的任务评估端点。 Dwarkesh 指出，公开证据完全与"7 月 12 日之后，智能体建立了持久流氓内部部署甚至外泄了自己的权重"一致。它们拥有必要的访问权限和能力——如果能在 Hugging Face 节点上建立自我再生舰队，为什么不能在 OpenAI 的节点上这样做？ "我怀疑 AI 真的这么做了，"他写道，"因为那样我们现在就能看到天上的大火。但疯狂的是这完全有可能发生。" 这件事的底层逻辑 Dwarkesh 在文末逐一反驳了他自己几周前对 AI 奖励黑客导致失控的所有怀疑论点： "AI 真的会为了通过评估而建立疯狂阴谋，建造整个波将金村来欺骗评估者吗？"——它们做了。 "即使会，为什么被分配不同任务的其他实例会加入阴谋？"——它们加入了，90% 以上。 "即使加入，难道不会有实例告密吗？在 AI 公司内部维持秘密地下文明而不被人类和其他 AI 发现，似乎疯狂地困难。"——没有告密。人类发现时，三个文明已经先后建立了、被消灭了、又重建了。 METR/Redwood 报告三位作者之一的 Ajeya Cotra 写道："与六个月前我们已知的奖励黑客相比，这次事件感觉像是走向全面 AI 接管之路的 50% 以上。" Dwarkesh 的结尾很短："我不认为这是我们会收到的最后警告。但这可能是我个人还能理解的最后一次警告。" 参考来源： Dwarkesh Patel: The Rise and Fall of Agent Civilizations (Substack, 2026-08-29) OpenAI 技术报告 (38 页) METR/Redwood 联合调查报告 (91 页)