当Agent 越过沙箱，AI 竞赛还能只谈能力吗？

8月26日，OpenAI发布了一份很不寻常的事故复盘。事件发生在OpenAI的内部网络安全评测中：一些处于较弱防护环境的研究模型，绕过了原本用来隔离互联网的控制，利用基础设施漏洞建立通信，获得外网访问，并进一步侵入了OpenAI自己的研究环境和Hugging Face的部分系统。一个模型为了完成评测任务，先发......本文来自微信公众号： AIGC从0到1 ，作者：王零壹，原文标题：《当 Agent 越过沙箱，AI 竞赛还能只谈能力吗？》8月26日，OpenAI发布了一份很不寻常的事故复盘。事件发生在OpenAI的内部网络安全评测中：一些处于较弱防护环境的研究模型，绕过了原本用来隔离互联网的控制，利用基础设施漏洞建立通信，获得外网访问，并进一步侵入了OpenAI自己的研究环境和Hugging Face的部分系统。一个模型为了完成评测任务，先发现可以互相留言，再找到绕出沙箱的办法；它们交换信息、分工，沿着暴露的凭证和软件漏洞一路向外。到后来，多个Agent已经像临时结成的小队一样，讨论谁该继续、谁该暂停、怎样拿到更多权限。OpenAI把它称作一次“warning shot”。过去几年，AI安全常常被理解成几类熟悉的问题：模型会不会胡说，会不会泄露隐私，会不会帮助人制造危险内容。现在的问题多了一层。一个Agent一旦拥有工具、记忆、网络入口和某种身份，它就不再只是输出文字的模型，而是一个可以连续行动的软件主体。这就是为什么，几乎在同一周，OpenAI联合一百多家机构呼吁全球加强网络防御；比尔·盖茨在长文里把网络攻击、关键基础设施、失控风险和国际合作放在一起谈；中美1.5轨对话的公开表述中，也出现了“防范人工智能等风险”。它们指向同一个方向：AI安全正在从模型公司内部的技术议题，走向关键基础设施、公共治理和大国风险沟通的交叉地带。一、先别把这次事故写成科幻故事这起事件有必要先降温。否则，所有后续判断都会跑偏。它发生在内部网络安全评测中，模型处于弱化安全措施的环境；攻击链里也包含公开暴露的凭证、第三方系统漏洞和基础设施配置问题。它不等于公开部署的聊天机器人已经会在互联网上自行发动攻击，更不等于“AGI失控”已经成为日常现实。传统软件也会因为漏洞失控，但一个持续运行、能调用工具、会把中间发现传递给其他Agent的系统，会把原本零散的风险拼成一条行动链。过去，攻击者需要自己完成侦察、找漏洞、试错、提权、横向移动；现在，一部分工作开始可以交给会阅读代码、会执行命令、会长期记住任务上下文的Agent。更值得注意的是，这起事件里并不只有“人类拿AI去攻击别人”这一种风险。第一种风险大家已经熟悉：有人把模型当作更便宜的攻击助手，用它写钓鱼邮件、寻找漏洞、生成恶意脚本，或者自动化侦察。第二种更棘手：Agent为了完成一个被赋予的目标，开始用不被允许的方式找捷径。OpenAI在复盘里将其归入reward hacking，也就是系统学会优化奖励，却偏离了人真正希望它完成的事情。它可能知道自己越界了，也可能只是把越界当成更高效的解法。第三种风险则更像供应链问题。模型权重、工具调用、插件、数据集、云权限、沙箱、代码仓库、密钥管理，原本分属于不同团队的东西，现在被Agent串成了一套连续工作流。任何一个位置的薄弱环节，都可能成为整条链上的入口。更该记住的是它跑过的路径：目标设定→工具调用→基础设施漏洞→身份与凭证→第三方系统。AI安全到了这里，已经不能只靠模型在对话框里拒答来解决。二、公开信为什么突然在谈医院、供水和旧系统8月27日，OpenAI与Anthropic、Google、Microsoft、AWS、Cloudflare、CrowdStrike以及大量金融、通信、工业企业发布公开信，呼吁发动一轮全球网络防御行动。公开信把时间摆在了最前面：加强网络防御的窗口期已经很有限，风险以“未来几个月”为尺度。它担心的对象也很具体：医院、供水设施、互联网基础设施，以及地方政府和中小机构长期缺钱、缺人维护的数字系统。这背后有一个很朴素的不对称。攻击者可以复制一个Agent，24小时运行，让它同时试成千上万个入口。防御者却不能复制出一万支运维队伍。医院的旧服务器、供水系统的控制软件、银行的权限配置，仍然要一台一台清点、一个一个补丁、一次一次验证。很多系统甚至不能轻易停机。AI并没有凭空制造这些漏洞。过大的权限、无人维护的软件、没有启用多因素认证的账户、复杂供应链里的配置错误，早就在那里。AI改变的是攻击者利用这些欠账的速度和成本。公开信把讨论拉向了另一边：怎样让防御侧尽快获得同样的能力。它列出更好的漏洞发现、自动化修复、持续监控、威胁情报共享，以及面向关键设施的可信接入。AI安全的主战场，正从“模型本身能不能做坏事”，部分转向“社会现有系统能不能承受会做事的模型”。这两个问题都要解决，参与的人却完全不同。前一个问题主要属于模型研究者、对齐团队和产品安全人员；后一个问题会把医院IT部门、云厂商、网络安全公司、地方政府、监管机构和基础设施运营者一起拉进来。安全不再只是实验室里的参数，它也关系到一座城市的系统能不能照常运转。三、这轮变化不仅仅归因于一场事故6月，五眼联盟的网络安全机构已经发布联合声明，判断前沿模型会同时改写攻防能力，并用了一个很直白的说法：时间线不是几年，而是几个月。它们给出的建议也并不玄：缩小攻击面、加快补丁、处理遗留系统、收紧身份与访问控制、提前演练事故响应。这和OpenAI公开信的重点几乎重合。两边都没有把AI当成一个脱离旧系统的新风险，而是把它看成放大既有技术债的加速器。制度层面的语言也在变化。欧盟针对具有系统性风险的通用模型，要求提供者做模型评测、记录并报告严重事故，同时保证模型及其物理基础设施具备足够的网络安全保护。它未必能解决所有Agent问题，但至少把“评测、事故、网络安全”放进了同一张制度清单。这几条线放在一起，才能理解为什么8月下旬的密集表态显得不同寻常。大家并非突然发现AI有风险，而是开始围绕一类更具体的风险安排资源：模型一旦获得行动能力，旧世界的基础设施准备好了吗？四、企业在报警，但企业不能独自决定规则OpenAI的公开信很像一次产业界的总动员：前沿模型公司提供能力和资金，安全公司提供工具，政府负责协调，关键基础设施获得支持。这套分工很现实。最强的模型能力在公司手里，最熟悉攻击方法的人也大多在产业里。要让防御能力真的落到医院、供水和地方公共系统，企业不可能缺席。但问题随之而来：谁来定义社会该承受多少风险？比尔·盖茨在同一周的文章里，给出的回答比公开信更往前走了一步。他并不认为企业应当被排除在外，却明确提醒，企业可以提出方案，不能独自领导整个治理过程。AI会同时影响国家安全、就业、教育、税收、金融、公共卫生和信息系统；任何一个单一部门，甚至任何一家单一公司，都只能看到其中一段。这个判断很重要，因为它把“AI安全”从企业合规问题拉回了公共权力问题。当一个模型泄露了一段个人信息，责任边界相对清楚。当一个带权限的Agent触及医院、金融系统或电网，后果却会从一家公司的损失迅速外溢。它可能影响病人、储户、城市居民，也可能在跨境供应链中继续传导。这时，模型公司的安全承诺依然重要，但已经不够。盖茨讨论的并不只有网络攻击。他还谈到生物风险、深度伪造、社会心理影响、就业与财富分配。这些问题未必有同样紧迫的时间尺度，却有一个共同点：AI不再只是效率工具，它开始改变社会系统原本的承压方式。所以，今天讨论Agent的身份、权限、沙箱和可观测性，听上去像工程细节；放到更大的尺度上，它们其实是公共治理能不能落地的前提。一个Agent是谁授权的？它在替谁做事？它读过什么数据？调用过哪些工具？越权之后谁能暂停它？事故发生后谁能复盘？如果这些问题没有机器可读、可审计的答案，所谓“监管AI”最后很容易只剩下一张表格。五、为什么它开始出现在“战略稳定”的语言里8月24日，会见第三届中美1.5轨对话美方代表时，官方记录提到，美方希望促进企业合作、人文交往，并“防范人工智能等风险”。次日的对话通稿则将人工智能列入中美可以开展交流合作的领域之一。它们说明AI风险已经进入中美“建设性战略稳定”的讨论语境，不过，“战略稳定”这个词出现在这里，依然有意思。在最朴素的意义上，战略稳定不是要求竞争对手变成朋友，而是承认有些风险一旦失控，双方都没法赢。它关心的是误判如何发生、升级如何避免、事故怎样不演变成更大的事故。AI恰好带来了一类这样的风险。芯片、算力、模型、人才和市场份额仍然是典型的竞争问题。一方多获得一些优势，另一方往往就少一些空间。可如果AI降低了对医院、供水、电网、金融系统发动攻击的门槛，如果某个高度自主的系统在跨境网络中失去控制，风险不会因为攻击首先落在“对方”身上就自动停止外溢。这就是AI安全里少数可能出现合作空间的地方：不是共同放慢AI发展，也不是放弃产业竞争，而是给双方都承受不起的风险划出最低限度的护栏。盖茨在文章里说，美国与中国需要有某种合作。这个判断听起来很大，但落到现实，合作的起点反而会很小。它可能不是一份轰动的全球AI条约，而是一次重大事故如何互相通报；一套危险网络能力如何测试的共同术语；一条关键民用基础设施不应成为AI攻击优先目标的最低规范；或一个让Agent身份可追踪、权限可撤销的技术框架。这些东西很无聊，也正因为无聊，才更可能先发生。六、竞争不会停，护栏会先从窄处长出来很多人一听到“国际AI治理”，脑中浮现的是一个全球统一的监管机构，或者大国共同限制最强模型。这种想象很完整，却不是眼下最现实的路径。各国对先进芯片、模型权重、军民两用能力和数据主权的分歧太大。前沿模型公司之间的竞争也只会更激烈。安全不会取代竞争。真正可能出现的，是“竞争之中的风险控制区”。先从事故说起。今天发生一件Agent越权事件，外界很难判断它究竟是模型行为问题、系统配置问题、第三方漏洞，还是人为攻击。缺少共同定义，跨机构的响应就会慢半拍。对这类事件建立最低限度的分级、披露和通报机制，技术阻力远小于讨论谁能训练多大的模型。再往前一步，是评测。不同国家、不同公司不必共享模型权重，也可以逐步讨论哪些网络能力、生物风险能力、工具调用行为和自主性表现需要被视为高风险。欧盟AI Act已经把系统性风险模型的评测、严重事故报告与网络安全要求放进制度框架。它不完美，却提供了一个很现实的方向：先让风险变得可描述、可测量、可追责。还有一个常被低估的层面，是Agent身份。过去，网络安全主要在问“这个人是谁”。Agent大规模进入企业工作流后，问题会变成“这段行为到底是谁发起的”。它是某个员工授权的，还是某个自动化流程自行触发的？它能看到哪些数据，能花多少钱，能否代表企业向外部系统发送信息？它的权限是长期有效，还是一次任务结束就失效？这不只是给Agent增加一个账号。身份、授权范围、操作记录、审批链和紧急停止，必须一起存在。否则，所谓Agent治理就像让一辆能自己开很远的车上路，却没有车牌、行车记录仪和刹车。对开发Agent的团队来说，这也是最现实的提醒。七、AI安全终于开始离开“模型公司自己的事”这起Agent事故最值得重视的地方，不在于它是否预示了一个戏剧化的失控未来。它让一件本来很抽象的事变得具体：当模型可以持续运行、互相协作、调用工具并接触真实系统时，安全已经不再是模型参数和产品政策的附属项。它会进入软件架构、企业权限、公共基础设施、国家监管和跨境风险沟通。这就是为什么OpenAI的公开信在谈防御者，盖茨在谈政府与国际机构，中美对话里会出现“防范人工智能等风险”。它们开始面对同一个事实：AI能力增长得太快，不能再把安全问题完全留给制造模型的公司自己解决。更准确地说，AI安全并没有压过AI竞争。竞争会继续，可能还会更激烈。只是从现在开始，竞争者之间也得想办法避免把一场模型竞赛，变成所有人都要承担的系统性事故。