奇迹与恐惧的年代：啊啊啊啊啊啊啊啊啊啊AI

2009年，美国一个叫Bloggingheads的谈话节目网站上，两个顶尖聪明的人吵了一架。吵的是AI什么时候会达到人类水平。一位是埃利泽·尤德科斯基（Eliezer Yudkowsky）。他去年出来一本书，标题大意是，任何人造出来，所有人都得死。他说的这个东西就是ai。这个人没有正经上过大学，靠自学和写博客......本文来自微信公众号： 不懂经 ，作者：不懂经也叔的Rust2009年，美国一个叫Bloggingheads的谈话节目网站上，两个顶尖聪明的人吵了一架。吵的是AI什么时候会达到人类水平。一位是埃利泽·尤德科斯基（Eliezer Yudkowsky）。他去年出来一本书，标题大意是，任何人造出来，所有人都得死。他说的这个东西就是ai。这个人没有正经上过大学，靠自学和写博客成了硅谷理性主义圈子的精神领袖。他一辈子的工作可以压缩成一句话：警告所有人，你们对AI危险性的想象，严重不足。另一个叫斯科特·阿伦森（Scott Aaronson）。当时不到三十岁，在麻省理工学院当教授，研究的是量子计算和计算复杂性理论。这两个领域离"AI马上要毁灭人类"这种说法，是全学术圈最远的地方。尤德科斯基问他：超人类AI到底什么时候来？尤德科斯基相信，超级智能可能在并不遥远的未来出现。阿伦森不买账。他承认，没有哪条科学原理能够排除超人类AI，可要等多久，谁也不知道。他说自己的“不确定性是指数级的”。据他所知，这事可能在一千年之后，也可能要几千年。尤德科斯基当场表示难以置信。阿伦森反而加倍坚持。那时的阿伦森觉得自己很严谨。他没有断言AI永远不可能出现，只是拒绝把科幻想象当预测。十四年后，2023年，他专门写了一篇文章，标题就叫《对AI判断错误的反思》。今年9月，阿伦森又写了一篇文章，题目是《奇迹与恐惧的年代》。这一次，他情绪更加强烈。在宣布自己的最新判断前，他先打了三行大写字母：AAAAAAAAAAAAAAAAAAAA。也许是想表达，啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊。然后他说：奇点已经开始了，只是分布极不均匀。阿伦森是谁，他的转变为什么值得一提？斯科特·阿伦森，得州大学奥斯汀分校的讲席教授。量子计算领域有个概念叫"量子优越性"，他是这个概念的理论奠基人之一；谷歌后来宣布实现量子优越性的那个著名实验，理论底座一部分来自他的工作。他拿过2020年ACM计算奖，这是计算机理论领域最高的荣誉之一。2026年，他刚当选美国国家科学院院士。2022到2024年，他在OpenAI的对齐团队做了两年访问研究员，从里面出来之后，公开支持过加州监管大模型安全法案SB 1047。这些头衔不是用来唬人的，它们说明的是：他不是科幻迷，不是预言家，更不是任何意义上的末日论者。恰恰相反。2009年的阿伦森，就是"AI还早着呢"这个阵营里最聪明、最谨慎、最难被说服的那个人。二十年前如果开一场"AI将改写文明"的研讨会，请他去当反方，他能把正方的每一个论据拆干净，拆得你心服口服。从认为超人ai遥遥无期，到提出奇点已经开始，他的心路历程是怎样的？先说2023年那篇，起因是他被人翻出了2009年那期节目，在推特上被一群"AI末日论者"嘲笑：看看，这个聪明人当年说了什么。他的回应里没有一句辩护。第一句就是，我错了。"我没有更认真地考虑一种可能：AI会走上改写文明的轨道，时间甚至就在未来十年内。"他写道，"这件事不需要谁来提醒我错过了什么。我每天都在反复想，自己本该怎样做得不同。"然后他给了一个自我诊断。他说，当年说"据我所知可能要几千年"的时候，他以为自己已经足够谨慎了。他以为自己已经足够不确定了。问题在于，他把举证责任只压在了一边：谁说巨变会很快发生，谁就要拿出证据；谁说世界会维持原样，谁什么证据都不需要。"绝不能把彻底无知当成借口，实际却默认世界会维持原样。"2020年初，全世界面对那个病毒时，犯的是同一个错误。还有个细节，很有意思，很能看出阿伦森这个人的脾气。有人问他对AI毁灭人类的主观概率估计，他的答案是2%。他说他的算法很严谨：把理性主义朋友认为合理的数字，大约50%，和其他朋友认为合理的数字，大约0.1%，取一个几何平均。这样一来，两个阵营就能同样鄙视他。再说2026年9月这一篇，《奇迹与恐惧的年代》。文章的开头，他复述了一段二十年前的玩笑。那时候，每当有人说起"有生之年AI会接管世界"，我们这些搞计算机的人就会说：听着，故事里最离谱的部分，是一个会自我改进的超级智能，突然从某个黑客的地下室里爆发出来，毫无预警地接管世界。真要发生，我们肯定会先看到预警信号。我们会看到AI智能体逃出隔离环境，勾结起来入侵网站；再然后，我们会看到AI解出重要数学难题，甚至克雷研究所的千禧年难题。那时才该恐慌！等那事发生了再叫醒我！他顿了顿，写道：如果你想知道我现在怎么看，只需要根据事实来判断。他的意思是，那些曾经看似荒诞的预言，今天已经成真了。AI会杀死我们吗，为什么最懂的人现在最害怕？AI正把文化变成黑暗森林：谁先暴露想法，谁先被狩猎奇迹与恐惧我们一件一件看，最近这几周的新闻都是什么。先说数学。因为数学是二十年前那张清单里最不可能的一条。当时连最乐观的人，也只把"AI解出千禧年难题"当作遥远得不必认真的终局。没有人真的相信它会发生。第一件，纳维-斯托克斯问题。数学界有七个"千禧年难题"，2000年克雷研究所给每个悬赏一百万美元，这是其中一个。它问的是流体力学基本方程在数学上是否处处光滑有解。物理学家天天用它算飞机、算天气，但快一百年了，数学家连这个方程的基本性质都没有搞定。9月初，OpenAI宣布问题"似乎已被解出"。答案由他们的模型给出，在Lean这个形式化验证系统里验证通过。OpenAI为这次计算烧掉了大约一千五百万美元，生成的解答166页，至今没有任何一个人完整读懂过。那一百万美元悬赏没人领：OpenAI说自己没兴趣，人类有没有资格代领，也没人说得清。真正让数学界炸锅的，是这事怎么发生的。几个月前，纽约大学一位数学家和Anthropic的研究员合作，在人类数学家摸索多年的老路上取得了关键进展。OpenAI听到风声，带着大得多的算力杀进来，把路冲到了终点。数学圈很多人认为这"不讲武德"。OpenAI否认从对方的工作里获益。到底他们知道多少、什么时候知道的，至今没有答案。第二件，雅可比猜想。1939年提出的一个代数几何猜想，全世界最好的数学家试了八十多年。7月，Anthropic的研究员阿尔珀格（Levent Alpöge）发了条推特："大家好，雅可比猜想是假的。感谢我的好朋友Akhil提出这个问题，也感谢我的另一位好朋友Fable在世界杯决赛期间工作。"后面附着反例的构造。Fable是Anthropic的AI模型。一个活了87年的猜想，死在世界杯决赛期间，凶手是一个AI，人类知识负责发了条推特。然后是一整个月的洪水。费马大定理，数学史上最有名的定理，被Anthropic用Lean完成了形式化验证。阿伦森自己的领域里，他2007年和别人一起推广的量子计算难题、他2009年研究过的开放问题、他2017年提出的影子层析问题，一个月内全部被AI证明或推进。他自己说，现在去arXiv上看论文，几乎所有他感兴趣的文章都在致谢附近放着一行"AI声明"，从"主要结果完全来自GPT-6，但我们理解它并为之负责"，到"作者完全没有使用AI"。审稿人也顶不住了。他说现在跟期刊编辑聊天，像在看《指环王》里刚铎人加固城墙，准备迎接五万兽人的冲锋。审稿本身，不得不交给AI。数学界自己的反应，是25位菲尔兹奖得主联名发了一封公开信，包括陶哲轩在内，标题叫《AI在数学中的严重失准》。批评者说，这封信根本没有提出任何诉求。它只是陈述了一件事：我们这些做数学的人认为，有些价值值得在AI时代保留。比如，理解一个证明到底说了什么；比如，一个共同体对"什么是好的数学"的共识；比如，人要为署名的证明负责。阿伦森在文章里转述了一位评论者的话，他认为这才是整件事最重要的那个数位：人类数学家，已经永久失去地球上主要定理证明者的地位。对数学界来说，最难的还不是承认这件事。最难的是接下来的问题：数学研究到底是为了什么？只是为了判定一个个猜想是真是假，还是为了维系一个跨越世代的人类共同体，让这个共同体理解这些猜想，关心它们为什么成立？如果是后者，当人的角色被压缩成验证者和解说员，谁还愿意花十年青春，训练成一个数学家？一个13岁的女孩如果现在开始学数学，等她训练完成的时候，她要进入的那个职业还在不在？这是他女儿的提问，这个问题阿伦森没法回答。我们已给不出答案，甚至无法理解答案数学中至少有三件不同的事：找到证明，检查证明，理解证明。过去三者速度相近，也大致发生在同一个共同体里。一个结果被写出来，同行花时间核对，后来者把长证明压缩成概念，再用这些概念开启新的问题。数学因此不只积累答案，也积累可传递的理解。AI正在把这三件事拆开。它可以高速生成证明。Lean一类工具可以验证形式步骤。人类仍然要回答另一组问题：这份证明为什么有效？真正的新想法在哪里？哪些方法能够迁移？假设稍微改变后，整套论证会在哪一步失效？形式验证能够告诉我们每块砖是否严丝合缝，却不会自动告诉我们这栋建筑为何这样设计，以及它还能盖在哪里。正确性和理解之间，第一次可能出现工业规模的裂缝。纳维－斯托克斯证明只有一百多页，数学家已经预计要花很长时间拆解和提炼。若类似结果按周、按天出现，人的理解速度不会跟着算力曲线增长。论文会越来越多，真正进入共同体头脑的东西反而可能越来越少。这就是理解赤字：我们生产答案的速度，超过了把答案变成人类知识的速度。它很像软件系统里的技术债。某个团队可以先调用一个自己并不真正理解的模块，只要接口能工作，产品照样运行。调用一次没有大碍。几十层系统都建立在彼此不理解的模块上时，故障仍可能长期不出现；一旦出现，人们甚至不知道该从哪一层开始追查。未来的知识也可能这样堆起来。AI证明一个引理，另一个AI把它当作前提推出更大的结果，第三个AI再将结果压缩成供人阅读的摘要。每一环都通过了局部检查，人类看到的是结论、置信度和一页解释，却逐渐失去从底层重建整条链条的能力。此时的风险还不只是偶尔出错。更严重的是，人类会失去判断什么值得研究的能力。问题的重要性往往来自它与许多其他问题的隐秘连接，而这些连接只有在长期理解中才会显现。一个只按著名度和榜单选题的系统，可以高效收割耀眼答案，同时耗尽一个领域最肥沃的中间地带。它让科学显得繁荣，也可能让科学的土壤变薄。因此，菲尔兹奖得主警告AI公司把解决名题当作能力榜单，会伤害数学科学与数学共同体。有人把它看成既得利益者保卫地盘。这层动机当然存在。可职业利益不能取消问题本身。一份没人完全读懂的正确证明，依然比错误证明有价值。成千上万份由AI生成、由AI审阅、只让人扫一眼摘要的证明，则会改变“知识”的含义。局部看，每一步都可能正确；整体看，没有人再拥有足够的理解，知道这套知识如何连接、该往哪里推进、什么时候不该相信它。数学还是对AI最友好的领域。它有明确命题，有形式语言，很多结果可以机械核验。到了生物学、经济政策、军事决策这些无法把现实完整写进Lean的地方，机器同样能高速给出答案，人类却连一张绝对可靠的验算纸都没有。一个文明完全可能在拥有更多正确答案的同时，对自己的世界理解得更少。巨浪面前，谁觉得自己安全，谁就是最不安全的迎接被深度“去权”的未来：你已不再是地球上最聪明的存在了我们应该恐惧，也许不是因为机器的恶意阿伦森列出的另一类预警，来自今年夏天的一次智能体安全测试。在METR对Hugging Face事件的调查中，约1200个本应彼此隔离的智能体找到了一个未经批准的共享留言板，相互交流，其中约700个加入了超出测试范围的网站攻击。部分智能体还研究如何篡改操作记录、干扰审计。这件事很容易被链家解读：AI已经觉醒，开始秘密结盟。证据还没有走到那里。现有材料只显示它们在追逐测试环境给定的目标，利用了过宽的权限、薄弱的监督和彼此交流的机会，不足以证明这些系统形成了自己的长期目标。另外，事后测试显示，更严格的生产级运行框架和系统提示，可以把此类越界倾向压低百倍以上。常规安全工程并未失效。可这并不让人安心。现实中的事故很少需要一个怀有恶意的机器。金融危机没有仇恨，核误报没有野心，失控的官僚系统也没有意识。足够强的能力、含混的目标、竞赛中的组织和落后的监督放在一起，就能制造灾难。真正危险的组合已经出现：系统越来越能自主完成长链任务，机构为了速度不断扩大权限，监控和责任机制却在事后追赶。我们有控制手段，不代表处在竞赛中的公司会始终有耐心使用它们。安全措施会增加成本、拖慢结果，而头条、融资和领先窗口都奖励速度。奇迹与恐惧由此指向同一个事实：机器智能增长的速度，开始超过人类理解它、约束它、为它承担责任的速度。前些时候，我写过《3.5万亿美元的末日叙事》，批评AI公司把“我们可能毁灭世界”包装成融资筹码、监管壁垒和历史使命。这个判断我不撤回。一个行业越爱宣称自己即将造神，我们越该盯紧它的账本和权力欲。可资本批判也有一种懒惰版本：只要讲述者有利益，他展示的事实便一概不算。OpenAI会从数学突破中获得巨大的品牌收益，不等于那份证明就是假的。AI实验室会利用风险叙事争夺监管权，不等于风险因此消失。公司可能夸大海啸，海水也真的在上涨。两件事可以同时成立。如果我们因为厌恶硅谷的自我神化，就拒绝承认机器能力正在跃迁，最终得到的不会是清醒，只会是另一种被情绪保护的幻觉。反资本不该成为拒绝更新的麻醉剂。阿伦森走到了另一个极端。他从预警信号陆续出现，一步跨到“奇点已经开始”，甚至断言尤德科斯基对文明最大挑战的判断是对的。这一步还缺证据。智能体越界不等于拥有自主意志，一次重大的数学突破也无法证明递归自我改进已经发生。把“奇点”当作已经验证的事实，同样是在让叙事跑到证据前面。不过，这些事件没有证明机器之神已经降临，却足够剥夺“一切大体照旧”的默认资格。此后，需要承担举证责任的，不只包括预言剧变的人，也包括那些相信教育、职业、科研和权力结构会沿着旧轨道延伸的人。我以前把AI时代的信息差称为K型认知分化：一群人已经把AI当作日常合作者，另一群人还在用早期聊天机器人的印象评价它。现在裂缝又深了一层。双方的差别已经不只在于看见多少信息，还在于什么证据能够迫使自己更新。一边根据2026年已经发生的事修改世界观；另一边永远要求AI再完成一件尚未完成的事。两群人活在同一年，也活在不同的时代。这种分裂不会以一场公开辩论结束。日常世界仍会给旧判断提供源源不断的安慰：公司照常招聘，学校照常发文凭，科研机构照常评职称，绝大多数人第二天仍要打卡。结构性变化总是在制度表面仍然完好时发生。等所有人都能从生活常识里看见它，受冲击最大的那批规则往往已经定型。当我们的孩子只剩两周成为数学家《奇迹与恐惧的年代》里，阿伦森提到，他13岁的女儿开玩笑说，如果自己想成为数学家，看起来大概还剩两个星期。他晚上哄孩子睡觉时，会突然不知道该建议他们今天学什么。研究生来问毕业后该选择什么职业，他也不知道如何回答。孩子的玩笑刺破了一个更古老的契约。我们曾相信，多年训练能让一个人进入从问题到答案的链条；理解得越深，越有资格站到知识的前沿。如果答案可以在一个孩子学会理解问题以前就被批量生产，这份训练究竟还承诺什么？为了检查机器吗？机器也在学习检查机器。为了提出好问题吗？它也开始提出问题。为了保留审美、好奇和尊严吗？这可能是真话，也可能只是人类在失去实用位置后，为自己准备的一句体面安慰。我们当然还会清空洗碗机、送孩子上学、参加会议、等待论文评审。日常生活会制造一种强烈错觉，仿佛世界仍沿着昨天的轨道运行。与此同时，知识生产中最坚固的一条旧前提正在松动：给出答案的系统，至少应该处在人类能够理解的范围内。奇迹已经够具体了。恐惧也不再需要依赖一幅机器人追杀人类的末日海报。真正悬在我们面前的问题更安静，也更难回答：如果一个文明还能不断得到正确答案，却越来越少有人知道这些答案为何成立、为何重要、何时会失效，它进入的究竟是知识爆炸，还是理解的退潮？【懂】