世界不再预制，下一代模型往哪走？

世界模型正在成为一个越来越宽泛的词。生成视频的人用它预测下一帧，无人驾驶团队用它推演道路变化，机器人研究者则希望它理解动作、接触与反馈。在不同的研究路径里，人们谈论的似乎是同一个未来，手中拿着的却不是同一张地图。8月21日，火山引擎V-START创业加速器、Aseed+Lab、深圳河套学院在深圳南山联合举办「......本文来自微信公众号： 动察Beating ，作者：动察Beating，原文标题：《世界不再预制，下一代模型往哪走？｜AI 开放世界圆桌对话》世界模型正在成为一个越来越宽泛的词。生成视频的人用它预测下一帧，无人驾驶团队用它推演道路变化，机器人研究者则希望它理解动作、接触与反馈。在不同的研究路径里，人们谈论的似乎是同一个未来，手中拿着的却不是同一张地图。8月21日，火山引擎V-START创业加速器、Aseed+Lab、深圳河套学院在深圳南山联合举办「AI开放世界」活动。活动由NVIDIA赞助，动察Beating协办，出海同学会Seamate支持。火山引擎V-START创业加速器希望能聚集一批来自学术界、产业与创业一线的思考者和实践者，从不同视角留下一些可被追溯的讨论。圆桌「当世界不再预制：下一代模型往哪走？」由Aseed+Lab的Thomas Tang主持。参与讨论的嘉宾包括香港中文大学助理教授刘桂良、香港大学助理教授李弘扬、香港科技大学（广州）助理教授许人镜，以及香港大学在读博士生吴成岳、任旭滨。他们从视频生成、空间智能、多模态模型、具身智能和Agent出发，讨论了几个仍然没有标准答案的问题——世界模型究竟应该预测什么？互联网视频能否替代真机数据？一个大脑能不能适配不同的身体？如果小时数不再有效，具身数据又该用什么单位衡量？以下为现场对话实录。先别急着下定义什么才算真正的世界模型？能够生成连续视频的模型被称为世界模型，能够预测机器人下一步状态的模型也被称为世界模型。但生成一段符合视觉经验的画面，与理解一个主体在世界中如何行动，仍然是两件不同的事。Thomas Tang：如果三年或五年后出现一个模型，让你真切地认为它是一个世界模型，它需要具备什么能力？刘桂良：在我看来，现在以视频生成为基础的世界模型还不完整。视觉可以表达连续的二维信息，但到了三维空间，以及重力、摩擦、触觉和其他传感信号，问题会困难很多。一个更完善的世界模型，应该把人作为世界中的主体，预测人能够接收到的多模态信号，也理解主体采取行动之后，环境会发生什么变化。当然，这需要非常大的数据支撑。但世界模型不会一步到位。我们不可能先把世界上所有物理规律、所有状态变化都打包装进一个模型，再开始解决任务。更现实的路径是循序渐进吧。先利用数量最多的二维数据，再进入三维和空间智能，之后继续加入重力、摩擦等物理信息。每个阶段都要先回答，在现有数据和任务下，模型真正需要学会什么。Thomas Tang：理解和生成会自然通向同一个世界模型吗？吴成岳：从我们的实验来看，理解和生成目前仍然是比较割裂的任务。直接把两类数据放在一起训练，并不一定会让它们自然地相互促进；经过监督微调之后，二者会出现一些迁移，但任务本身仍然不同。它们可以共享一部分表征。比如，把理解模型的中间信号用于监督生成，通常会带来帮助。但共享表征，不等于理解和生成已经合并成了同一种能力。模型能够生成正确的画面，也不代表它真正理解了画面为什么会这样变化。任旭滨：世界模型这个词确实很抽象，但最基本的能力，还是帮助智能体预测未来。不管是现实里的机器人，还是数字世界中的Agent，它都要能够预测一个动作之后会发生什么，而且不只是预测一步，还能连续推演多步行动。如果它还能生成质量足够高的数据，把行动结果重新送回训练过程，就可能形成一个预测、行动、观察的正向循环，再用新的数据改进下一代模型。这是我对世界模型比较核心的期待。许人镜：其实人一直都有自己的内部模型。我们看到一个杯子的正面，即使没有看见背面，也知道它大概是什么样子。这不是简单的下一步预测，而是头脑中保存了一个相对完整的物体。所以世界模型不应该只关注未来一帧会出现什么。它还要知道，没有被当前视角直接看见的部分依然存在；一个物体是什么，它与周围空间有什么关系，以及它可能怎样被使用。从像素进入物理世界如果模型试图保留每个像素、每一种传感信号和每一次细微变化，模拟世界本身，可能比完成具体任务更困难。但如果过早压缩，模型又可能把真正重要的物理信息一同丢掉。问题来了，哪些细节应该保留，哪些信息可以被抽象？Thomas Tang：预测世界时，模型最后应该回到像素层面，还是在潜空间里预测？它需要保留什么，又可以忽略什么？吴成岳：无论直接预测像素，还是预测经过VAE压缩后的潜变量，视频生成提供的监督信号都比较全面。它的优势正是足够通用，模型可以从大量数据里学习规律。潜表征预测很有吸引力，因为它看起来可以忽略不重要的细节，只预测关键信息。但实际训练时，模型也可能找到捷径，或者学到人没有预期的模式。目前还不能仅凭形式判断哪条路线一定更接近理解，最终还是要看它在具体任务中的表现。许人镜：JEPA这类方法的设想很有意思，不要预测每一个像素，而是预测更高层的抽象表征。但我会保持谨慎。现在还没有充分证据证明，它真的像最初设想的那样，只关注重要信息、自动忽略无关细节。世界模型至少应该是准确并且好用的。至于最后采用像素、潜表征，还是其他形式，仍然需要更多实验来回答。刘桂良：我更愿意把它理解为一个逐步推进的过程。二维互联网数据最丰富，所以行业先从二维开始；进入三维之后，真实数据变少，大家开始建设数据工厂、使用仿真；空间关系稳定下来以后，再往更复杂的物理规律推进。我们不需要一开始就追求一个无所不包的终极模拟器。模型怎样表征世界，要取决于当下希望它完成什么任务。互联网看过的，不一定是机器人需要的语言模型的能力，很大程度上来自互联网规模的数据。具身智能也希望复用同一条路径，与其依靠昂贵的数据工厂采集每一条真机轨迹，不如让模型先从公开视频、人类第一视角视频和其他被动观察数据中学习。问题在于，互联网记录了大量世界上正在发生的情景，却鲜少有关于一个机器人如何与世界发生接触的痕迹。Thomas Tang：互联网视频看起来是被动观察（Passive Observation），但里面也有人与物体发生交互。这些数据能否像语言语料一样，成为具身智能规模化训练的路径？吴成岳：我觉得它不完全是被动的。很多视频里都有人类动作，也能看到人如何干预环境、如何与物体交互。模型可以从这些变化里学习一些规律。真正的问题是，数据能否覆盖足够广泛的人类行为。机器人数据通常存在专家偏差，采集到的往往是成功轨迹，但失败有时更宝贵。很多物理规律只有接近边界条件时才会暴露出来，比如摩擦不足、抓取不稳，或者动作没有按照计划完成。如果数据只记录「做对了什么」，模型就很难知道世界在什么条件下会出错。要获得像语言模型那样的泛化能力，除了规模，还需要足够广的行为分布，以及失败和纠正的数据。Thomas Tang：对于具身智能，应该依赖数据工厂中的高精度真机数据，还是可以主要使用互联网和人类第一视角数据？李弘扬：最理想的情况当然是有大量真机数据，但真机部署和采集都很困难，所以大家才会转向常识、互联网视频和人类数据。这些数据更容易获得，潜在价值也很大。不过，互联网里真正与机器人操作有关的数据没有想象中那么多。一个人戴着GoPro滑翔、运动或完成日常活动，和机器人需要学习的操作任务并不完全相同。数据量很大，不代表对具体本体都有效。在人类上半身操作和机械臂任务中，大规模人类数据已经显示出潜力。在一些实验里，经过大规模预训练的模型进入新场景后，仅凭指令或少量示范就能获得一定的任务能力，再经过短时间适配，表现还可以继续提升。这说明规模化训练至少在这一部分出现了积极迹象。但全身人形机器人要困难得多。全身动作空间更大，采集时需要更多Tracker，本体映射也更复杂。机器人跌倒以后怎样停下来、怎样恢复，同样很难被人类视频完整覆盖。所以我相信人类第一视角数据有价值，但它在全身任务中还不能直接代替真机交互。「ChatGPT时刻」到来了吗？当模型可以根据一条指令或几次示范完成新任务，人们很容易把它称作具身智能的「ChatGPT时刻」。但Prompting只改变了模型接收任务的方式。它能否稳定完成任务、能否进入生产与生活，才决定技术是否真的跨过了那道门槛。Thomas Tang：当Physical AI从每个任务都要重新训练，变成可以通过In-context Learning、Few-shot甚至Zero-shot完成任务，是否就意味着具身智能的ChatGPT时刻到了？许人镜：这里其实有两个问题。第一，什么叫ChatGPT时刻；第二，能够接收Prompt的通用模型是否已经足够。我认为，只有模型在某些场景中达到真正可用的性能，才算出现了关键时刻。不管它叫世界模型、世界动作模型，还是带有多么新颖的Prompt、Zero-shot能力，如果成功率不够高，就还没有实际意义。具身智能很可能先在受限的工业场景里产生真实价值，再逐步进入更多环境，最后走到普通人的日常生活。它更像是一个从B端走向C端的过程，而不是先靠一场面向所有人的demo突然爆发。李弘扬：Prompting有一个重要前提：它不是让机器人现场学会一个从来没有掌握过的新技能。示范真正做的，是告诉模型现在要调用哪一种已有能力、完成哪一个任务。在此之前，机器人仍然需要学习大量基础能力，包括理解物体的可供性（Affordance）、掌握基本操作方式，以及建立动作与结果之间的关系。Prompt可以帮助模型选择技能，但不能替代这些技能本身。任旭滨：当一个通用模型出现以后，后面的关键可能是数据飞轮。模型先去执行任务，发现自己的失败案例和边界情况，再把这些数据收集起来，训练下一代模型。过程中会有噪声，也会有高质量数据，需要不断提纯。从Agent的发展也能看到类似路径，最初是外部框架承担规划和工具调用，之后很多能力通过SFT或其他训练方式逐渐进入模型本身。具身大模型可能也会经历这样的过程。一个大脑，适配n种身体人的身体发生变化时，大脑通常不需要重新训练。戴上一副限制手指活动的手套，拿起一件从没用过的工具，或者坐进一台陌生设备，人仍然可以通过少量尝试调整动作。机器人却往往与本体绑定。机械臂长度、关节数量或自由度发生变化，控制策略就可能需要重新适配。Thomas Tang：如果一个具身大脑要控制不同本体，它真正需要抽象出来的是什么？刘桂良：未来的具身大脑首先要理解自己正在控制什么。现在很多视觉语言模型能够理解指令，却不真正理解本体的形态和能力边界。如果它有四只手，或者手臂更长，它能够完成的任务就不同；如果身体结构发生变化，动作范围和限制也会变化。模型需要从本体形态中推断能力上限，而不是把每一种身体都当成完全独立的问题。这件事目前很难，一个重要原因还是数据不够。现实里可供训练的机器人形态有限，很难只靠现有数据总结出形态与任务之间的完整关系。未来可以通过仿真、真实测试和自我反思，让模型在不同本体上不断尝试，再理解自己的结构和能力边界。许人镜：我认为一个足够强的大脑应该可以做到「一脑多形」。如果换一个本体就完全不能迁移，说明算法本身还不够强。人的迁移能力非常强。即使通过手套或设备改变了身体的自由度，通常也能在很短时间里适应。动作会变化，但人仍然知道应该怎样施力，以及一次接触会让物体发生什么变化。这里至少有两类东西需要被抽象出来。第一类是物体动力学和交互动力学，也就是物体怎样运动、人与物体怎样相互作用。第二类是视觉与动作之间的反馈。人的动作并不总是精确，却能借助持续反馈完成很多精细任务。模型不只要输出动作，还要根据动作造成的变化不断修正。小时不是一个Learning Unit具身智能公司经常用「十万小时」「百万条轨迹」描述数据规模。这些数字便于传播，却很难说明模型究竟经历了多少种变化。机器人静止一小时、重复同一动作一小时，与一分钟内经历关键接触、失败和纠正，学习价值可能完全不同。Thomas Tang：如果要为物理交互数据找到一个类似Token的计量单位，它应该是小时、轨迹，还是别的东西？李弘扬：行业现在很习惯比较十万小时、一百万小时，但小时数更多是一种统计惯性。它很容易计算，却不是一个Learning Unit。我更关心Action Transition。一个关键动作发生以后，机器人是否接触了物体，世界状态是否改变，物体是否发生位移或形变，这些才构成真正有信息量的数据。如果机器人在一个小时里只是平稳地重复相同动作，信息量可能还不如一分钟内经历关键接触、失败和纠正。未来更有意义的单位，可能接近Intervention或State Transition，而不是简单的时长。人既从做对的事情里学习，也从做错后的修正里学习，后者往往包含更多信息。许人镜：我基本同意。机器人领域常用两种数字，一个是数据条数，一个是原始小时数，但这两个指标都比较粗糙。真正重要的不是数量，而是质量。还有一个重要维度是多样性，也就是数据究竟覆盖了多少种动作和状态。几百小时的数据和上千小时的数据，在降维后可能覆盖几乎相同的范围。如果只是重复已经出现过的动作，增加时长并不会增加多少新信息。比起单纯追求小时数，我们更需要知道，数据是否覆盖了足够多样的动作、接触和反馈。继续学习圆桌最后，Thomas Tang向每位嘉宾提出了一个脱离现实约束的问题，「如果拥有无限的数据和资源，未来的模型会是什么样子？」答案仍然分散。许人镜：我现在仍然支持Scaling Law，因为暂时还没有一条被充分证明、明显更好的路线。但我也非常期待出现超越现有规模化训练方式的方法。人一生真正用于学习新技能的时间并没有想象中那么多，一个很小的孩子也可以从极少经验中学会新的操作，而且能迁移到不同物体和环境。今天的机器人还做不到这一点。这说明人的学习效率里，一定还有很多没有被当前方法捕捉到的东西。任旭滨：我最期待的是测试时训练（Test-time Training）。模型部署以后不应该停止学习，而要在环境里持续自我迭代。它先预测环境，获得状态反馈，再把新的经历变成下一轮学习的材料。模型不是训练完就固定下来，而是在使用过程中继续进化。对具身智能和Agent来说，这可能都是很重要的一步。李弘扬：未来，模型内部的很多表征可能会越来越统一，但我不太相信具身系统会变成一个完全没有层次的整体。感知、推理、控制可能仍然需要某种分层结构，在不同层级上完成不同任务。如果只能选一个最重要的方向，我还是会选高质量数据，尤其是包含Intervention的数据。对训练和真实反馈来说，这类数据比单纯扩大时长更关键。Thomas Tang：通往AGI的讨论常常会落到两个问题：持续学习和机器人技术。一个智能体要进入真实世界，不仅需要行动，也要在真实世界里积累经验、建立自己的「错题本」。现在仍然是一个很好的时代。路线还没有收敛，世界模型也并非只有少数大公司才能参与的资本游戏。研究者和创业者仍然可以从不同数据、不同本体和不同架构出发，寻找自己的答案。所谓「开放世界」之开放，亦有此层含义。1966年，美国斯坦福研究院开始研制移动机器人Shakey。它装有摄像头和触觉传感器，动作迟缓，计算依赖远处的大型计算机，却成为第一台能够感知周围环境并推理自身动作的移动机器人。它需要规划路线、移动简单物体，研究者也在尝试让它从执行错误中恢复。两年后，《2001：太空漫游》把更进一步的机器智能送上银幕。HAL 9000不只与人交谈，它还控制「发现号」飞船、观察船员、判断设备状态，并把判断变成行动。当它对世界的判断与人的目标发生偏离时，它依然拥有改变现实的能力。Shakey与HAL几乎出现在同一个时代，一个是实验室里行动笨拙的真实机器，一个是银幕上近乎全能的虚构智能。它们从两个方向提出了同一个问题——当机器不再只处理符号，而开始进入环境，它怎样知道自己看见了什么、应该做什么，又怎样面对行动造成的结果？半个多世纪后，模型已经可以生成逼真的视频，也可以根据语言指令控制机械臂。计算规模变了，数据规模变了，问题却没有消失。世界不可能在行动之前被完整建模，智能体只能带着有限的理解进入其中，再让接触、失败和反馈改写下一次判断。这或许也是世界模型真正需要补上的缺口。现实总是无法如预设中那般完美无瑕，关键是在预测出现偏差以后，仍然知道下一步如何重新开始。对于人类而言，道理也是相通的。