Chelsea Finn: This is the State of the Art in Robotics

编者按：本文是斯坦福大学计算机科学副教授、Physical Intelligence 联合创始人 Chelsea Finn 的一场公开演讲。她以元学习算法 MAML 与机器人模仿学习方面的研究闻名，两年前创办 Physical Intelligence，致力于让任何机器人都能在真实世界里完成任何任务。演讲回顾了公司一年来的进展，从高可靠性的强化学习配方、多尺度记忆，一路讲到通用模型 π0.7 的开箱即用能力与组合泛化证据，并在问答环节回应了机器人的「ChatGPT 时刻」、开源前景、动作表示、速度瓶颈与入行路径等问题。本文依据现场录音编译整理，仅删去口语枝节。

一年来的进展与真正的问题

今天我要讲的是物理智能（physical intelligence）的最新进展。两年前我创办了一家公司，就叫 Physical Intelligence，我们真正关心的问题是：怎样让任何一台机器人，在真实世界里完成任何一项任务。

一年前我在这个活动上也讲过一次，分享了公司当时的进展：机器人能做一些相当复杂的事，比如从洗衣机里取出衣物并叠好。我还讲到，我们第一次让机器人在从未去过的房间里完成有用的工作。

从那以后，机器人又学会了很多很酷的事情。比如，它可以刷干净一口油腻的平底锅，可以削胡萝卜，可以做烤芝士三明治，可以切西葫芦，诸如此类。但我今天真正想聚焦的，不是机器人做各种事情的炫酷视频，而是：要让机器人在真实世界里真正有用，到底需要什么？

具体说，就是怎样开发出在真实世界里有用的通用机器人。这里有两层意思。第一层是「通用」，我们怎样开发通用模型；第二层是把这些模型真正带进真实世界，让它们产生影响，对人有用。前半部分，我先讲「在真实世界里有用」。

AI 落地史：人做最后决定

要把一项技术真正带进真实世界，我觉得回顾一下前人是怎样把 AI 落地的，会很有帮助。如果把那些依托机器学习技术的重大产品发布排成一条时间线，大致是这样的。

最早把机器学习真正用到现实里的例子，是商品推荐和广告排序这类应用。五年之后，同样的应用场景开始用上深度学习。这是一个令人振奋的进步，因为深度学习这种算法差不多可以开箱即用，能直接套到输入输出都很复杂的场景上，也更容易迁移到其他应用。

再往后，机器学习与 AI 走进生产环境的更激动人心的一刻，是 2022 年 ChatGPT 的发布。这是我们第一次看到一个通用模型真正被现实世界里各式各样的人使用。ChatGPT 在五天之内就达到了一百万用户。当然，最近我们又看到 Claude Code 这类编程智能体，希望它对在座各位也确实有用。

回顾 AI 在现实世界里的应用史，我觉得可以得出几点结论。第一，通用模型（generalist models）正越来越多地用于解决现实问题。我们确实看到，能做很多很多不同事情的通用 AI 模型，正在真实世界里被使用，这就是时间线从左到右的转变。

但我认为还有一个更细微的观察。看看这些应用，所有那些机器学习真正派上用场、真正盈利的应用，在每一个里面，最终都是顾客根据 AI 模型的推荐来做决定。这意味着，既然最后拍板的是人，那么系统犯了错也没关系，人通常能看出来，或者即便有这个错误也能决定该怎么做。所以这些系统即便不完美，对不同的人依然极其有用，它们也没有那么大的压力非要做到完美。

而我认为，物理 AI 和机器人学与此截然不同。真正在物理世界里运行的物理 AI，必须直接做出影响物理世界的决定。这意味着，只有完全自主运行时，它们才会有用得多。

物理 AI 必须完全自主

由此带来的要求是：我们开发的物理 AI 系统，犯错必须比迄今为止部署过的所有机器学习系统少得多。

最近有一件特别值得一提的振奋人心的事：一年前，Waymo 的每周自动驾驶乘车次数突破了二十五万。这说明，开发一个基于机器学习、能在物理世界里直接以可信赖的方式自主运行的系统，是确实可能的。我觉得这给「把 AI 的其余部分也带进物理世界」带来了很多希望和乐观。

所以，如果我们想在真实世界里开发通用机器人，就必须思考怎样让它们长时间自主运行，这样它们才真正有用，而不是靠人根据模型的预测来做决定。

以做咖啡为例谈高可靠性

要谈长时段自主，我想落到一个具体例子上。假设我们想让机器人做意式浓缩咖啡。它要真对我们有用，就得可靠地做出咖啡，我们不必老是盯着它，它才能帮忙出饮品。

这个任务本身就已经很难了。操作手柄（portafilter）需要非常精确而有力的控制，才能把它正确地插进去。它还得平稳地拿起装有液体的杯子而不洒出来。它还需要准确的时间感，而这在机器学习的其他领域通常都不是问题。我们不仅要完成这个颇具挑战的任务，还要以 90% 以上的可靠性完成。怎么做到？

机器学习的第一步永远是：收集一个数据集，训练一个模型，评估模型有多好。遗憾的是，第一次尝试很少能可靠地成功。

实践中，更好的做法是在已有模型的基础上迭代：收集更多数据，或提高数据集里标注的质量，或让标注更详细，针对边缘情况和表现不佳的场景多收集数据，调整数据集的配比，等等。这通常能提升模型的可靠性，但人终究会累，靠人工调参很难达到非常高的可靠性。

更好的办法是，让 AI 系统自己针对你希望它更可靠的场景进行迭代：它自己主动去寻找需要更多数据、需要更多监督的地方。因为这是自动的，不需要人手动做，我们就可以迭代多得多的轮次。这也许就是让物理 AI 系统达到 99% 以上可靠性的路径。这就是我们采取的方法。它看起来很像一个强化学习算法：尝试任务，从失败中学习，自己越做越好。

把语言模型 RL 搬到机器人

那么，怎样为机器人开发一套可扩展的强化学习配方？在语言模型那边，有 PPO、GRPO 这类算法，它们已经扩展到了大语言模型上，带来了非常复杂的推理能力。

但要把它们用到机器人上，有一个难题。这些算法训练时用了数百万次、有时甚至数千万次尝试，靠的是堆算力，因为每一次尝试不过是在数据中心里跑一遍语言模型，只消耗算力。如果我们非常粗略地把这换算到机器人上，假设不是数百万或数千万次，就只是一百万条轨迹，每条是一分钟的机器人任务（这比我刚才说的浓缩咖啡任务还短），那么要让这个任务达到高可靠性，相当于 700 个机器人工作日。这或许不是完全做不到，但会相当困难，因为这里的账算法不一样：我们不只是烧算力去优化一个用例，而是真的在真实世界里跑机器人，用硬件，在真实世界里尝试任务。所以我们希望有一个迭代效率高得多的算法。

事实上，确实有办法让这些算法高效得多。语言模型的强化学习算法里有几处很大的低效之处。

两处改进：人工介入与价值函数

第一处低效是，它们把大量时间花在了死胡同轨迹上。如果你只是消耗算力，这或许没关系，但在物理世界里代价就很高了。举个具体例子：假设我们想让机器人组装纸箱并把它们摞起来。在这条轨迹里，机器人不小心抓起了两个紧贴在一起的纸箱。如果任由它继续，它会一直试图折那个纸箱，而不是把两个纸箱分开。把两个纸箱一起折，这不是能教模型把任务做得更好的有用数据。于是机器人会在错误的解题路线上浪费大量时间。

所以，与其让它花大量时间干这个，我们会让人介入，向机器人演示该怎么做、怎样从这种局面里恢复。你可以看到，一个人在遥操作介入，向机器人演示：要从这种局面恢复，本质上要把两个纸箱分开。然后它把夹爪伸进去，看机器人能不能自主恢复。它没能自主恢复，于是人再次介入，帮它回到正轨。这样我们就高效地利用了机器人上的数据。

这是我们能做的第一件事：向机器人演示怎样恢复，或者尽早演示怎样恢复，这样就不会在死胡同轨迹上浪费时间；至少也要提前终止这一回合。

第二件能做的事与 PPO、GRPO 这类算法的另一个特点有关：它们对同一个提示词做很多次尝试。取决于具体算法，它们本质上是在为这些不同的回应估计哪个好、哪个坏。所以即便是单个提示词，它们也要跑上十次、五十次。这样做是为了估计这些不同尝试的价值，然后提高好的做法的概率、降低坏的做法的概率。但我们其实可以把这个成本摊薄：不必为单个提示词收集大量尝试，而是把它摊到不同的提示词上，学出一个更通用的价值估计，判断什么好、什么坏，再用它来从自主经验中改进。

具体说，我们可以在大量机器人经验的视频上训练一个通用价值函数。它能学到这样的东西：如果机器人本想叠衬衫却不小心把它抖开了，那是坏的，是负向进展，用红色标出；如果在向前推进，它也能识别出来。同一个价值函数还能在完全不同的场景里估计好坏，比如从冰箱里取东西。这种通用价值模型本质上是在预测「距离成功还需要多长时间」，它能大幅减少从经验中学习改进所需的尝试次数。

有了这两处对强化学习系统的改进，我们就有了一套通用的改进算法：在多样化数据上训练一个基础模型；用它收集经验，必要时由人介入以防止死胡同轨迹；训练一个判断好坏的通用估计器，也就是价值函数；再用它改进模型。有了这种改进，我们就能把一个基础模型微调到更高的性能水平。

拿铁、纸箱、叠衣的实测结果

拿做拿铁这个任务来说。这里是机器人和人协作做拿铁：机器人负责做浓缩咖啡，人负责打奶泡。模型的样子是这样的：它以机器人摄像头的图像为输入，直接控制机器人的关节。可以看到，模型能够完成相当有挑战的动作：插入手柄，等待恰当的时间让咖啡萃取出来，再把打好的奶泡倒进杯子。

这个任务的最后一步其实最难：它需要端起一杯满满的拿铁，转移到杯垫上。这里是机器人直接看到的画面，你能看到策略极其细腻，能恰当而平稳地端住杯子，拿铁不会洒出来。这大概能让你感受到这类任务的难度。

回到可靠性的问题。我们拿这个策略，不是只跑一次，而是连续跑了 13 个小时。我们想评估的是：这个策略不只是做一次拿铁做得好，而是能否可靠到在真实世界里真正有用的程度。这里是那个过程的延时视频。我们确实发现，机器人的可靠性足以支撑长时间的有用工作，不会频繁出错。

同一个算法当然不是只针对做拿铁的，我们也把它用到了别的应用上。Dandelion 巧克力工厂离我们办公室只有几个街区。我们拿了他们通常由人来做的一道工序：组装纸箱、贴标签、摞起来。我们训练机器人完全照他们真实的工作流程去做，用我刚才讲的强化学习算法训练，得到了一个在组装、贴标、码放纸箱上可靠得多的策略。

我们还把这个算法用到了叠衣服上。这一次我们不只想测试模型在一个环境里做一个任务做得多好，而是要在很多环境里做。所以视频里是机器人从未见过的衣物，在一个从未去过的家里。它能够做到，并且长时间自主工作。

视频不总能说明一切，所以我们也定量测了这些模型的可靠性。我们既关心可靠性，也关心速度，比如每小时能组装多少个纸箱。所以我们测的是吞吐量（throughput），它把成功率和速度结合在一起。我们发现，从预训练，到类似 SFT 的阶段，再到类似 RL 后训练的阶段，成功率乃至吞吐量都大幅上升，单是 RL 阶段就带来了大约 2 倍的吞吐量提升，这说明强化学习能带来高得多的可靠性。至于浓缩咖啡任务，单看成功率，我们达到了 90% 以上。

这部分的结论是：我们可以为复杂的机器人操作任务开发一套可扩展的高可靠性配方。利用经验与人工介入，我们看到吞吐量提高了 2 倍。但最重要的是，我们看到了怎样在人们真正关心的真实工作流程中实现长时段自主。我认为，这正是机器人要在真实世界里有用所必须具备的。

当然还有很多工作要做，也有很多机会。这个算法我们其实只跑了几轮改进，再多迭代几轮，应该能看到更大的提升、更高的可靠性。而且即便有了这些改进，机器人仍然会犯错，仍然比人慢。所以要开发更强大的配方，还有巨大的空间。

缺失的要素：多尺度记忆

我们已经看到了不同工作流程里的长时段自主。但要让机器人长时间自主而有用，我还想谈一个要素：记忆。

你可能会惊讶：大多数最先进的机器人基础模型没有记忆，也没有上下文。它们只根据当前的传感器观测、当前的摄像头画面来预测动作。没有记忆，你确实可以做短的运动技能，可以做重复性任务；我前面放的那些视频也都没有上下文。但如果你想做一个由多个步骤按顺序组成的长任务，记忆就至关重要，因为你得追踪已经完成了哪些步骤。

既然它对这类长程任务如此关键，为什么这些模型没有上下文、没有记忆？原因有几个技术上的，我讲其中一个。如果你天真地处理记忆，直接把上下文（比如视频）喂给机器人基础模型，假设只喂 10 秒视频，采样率 50 赫兹（这是机器人学里常见的控制频率），四路摄像头全部喂进去，每张图大约 256 个 token，这相当于往模型里塞了 50 万个 token，太多了。要实时把这些喂进模型，眼下相当困难。即便降采样到每秒一帧，你仍然要塞进 1 万个 token，至少现在对这些模型来说代价高得难以承受，而这才只有 10 秒的记忆。

我没有时间细讲技术细节，但我们也为这个上下文问题开发了一套解决方案，具体说是一个具有多时间尺度记忆的系统。

第一层是短期视频记忆，大约 10 秒的视频，但计算方式比直接喂给模型高效得多。对于更长的记忆，跨越几分钟、几小时的记忆，我们并不一定需要过去到底发生了什么的视频。于是这部分记忆我们用文本表示：把发生过的事用文本总结，再把过去十到十五分钟的这份压缩得多的文字摘要也纳入模型。有了这种多时间尺度的记忆，机器人就能完全自主地连续工作 10 到 15 分钟。

和我前面展示的不同之处在于，这个任务不是重复性的。这是一个 10 到 15 分钟的清理厨房任务，机器人不是一遍又一遍地做浓缩咖啡。它要用海绵擦台面，然后用纸巾擦干台面，把纸巾扔掉；接着把芥末酱放回冰箱；然后把餐具收进橱柜，在水槽里洗几件脏餐具，等等。有了记忆，它就能完成这样一个需要追踪所有这些清理步骤的任务，完全自主地成功运行 10 到 15 分钟。

通用 AI 十五年与机器人的位置

以上是长时段自主的几个要素。接下来我想在此基础上更进一步，把这些要素放进一个通用模型里，它能做我前面展示的一切，而且是在单个模型里完成，此外还能做别的事。

要思考怎样开发这样的通用模型，我觉得把机器人学放到通用 AI 其他领域发展的时间线上来定位，会非常有帮助。回顾过去大约十五年通用 AI 系统的演进，我认为第一个重大里程碑是 2012 年：一个从零训练的深度学习系统第一次登顶了一个外部基准测试，而此前该基准上的所有方法都是专为这项应用设计的。具体说是 ImageNet 基准，之前所有方法都是专为图像分类设计的，而这是深度学习系统第一次胜过那些专用系统。它是一种通用得多的算法，并非专为图像识别设计。

仅仅两年之后，我们发现不只是从零训练算法，还可以得到预训练模型，用于微调到下游任务。于是「拿一个在 ImageNet 上预训练的模型，再在下游任务上微调」成了惯例，用 BERT 或 ImageNet 预训练模型，性能确实更好。

再往后，通用 AI 模型的下一个重大转变不是使用预训练模型，而是从「预训练加微调」的范式转向直接开箱即用通用模型。这从 GPT-2 之类的模型开始，当然，今天我们打交道的几乎所有模型都是开箱即用、无需微调的，至少大多数面向消费者的模型如此，也有些模型仍然大量依赖微调。

我还想强调 2021 年的另一个里程碑：我们第一次看到这些模型出现组合泛化（compositional generalization）的迹象，一个具体的例子是 DALL·E，后面我会再多讲一点。

这就是通用 AI 过去十五年的演进。与此同时，看看物理 AI，哪怕就在三年前，2023 年，做机器人的人为单个项目从零收集一个专属数据集、再在上面从零训练，还是极其普遍的做法。这相当于从零收集 ImageNet 再在上面训练，或者在你刚收集的数据集上从零训练。如果你想开发通用模型，却每个项目都得从零收集数据集，那你多半不会有多大进展。

所以直到几年前，我认为我们还处在这条时间线相当靠左的位置。而直到最近，我觉得我们大致处在 2014 年那个阶段：有了一些不错的预训练模型，但还没有真正进入右边那个范式。怎样才能到达右边？具体说，怎样开发一个开箱即用、同时表现出组合泛化的单一通用模型？

这里有两个目标。第一是开箱即用的模型，相当于从 BERT 走到 GPT。眼下，要让模型在某个任务上发挥最佳表现，最好的机器人性能总是需要微调。我开头放的一些视频，比如开锁，就是微调过的模型；我们在衡量人到机器人迁移方面做的其他工作，也需要微调才能得到最佳性能；当然，我展示的所有 RL 后训练的视频，也都是针对单个任务微调的，才在做浓缩咖啡之类的事上达到最佳性能。但如果你必须微调模型，你就并没有得到一个针对你想做的事的通用模型，因为每件事都得单独微调。所以我们的第一个目标，是走向一个真正能做你想做的所有事情的单一通用模型。

第二个目标是组合泛化。这受 2021 年 DALL·E 结果的启发。我认为那是一个非常重要、非常令人兴奋的里程碑，正是因为它实现了组合泛化。具体说，当你拥有组合泛化，当你能把「牛油果」和「椅子」两个概念连起来、展示二者可以结合时，就意味着模型至少对牛油果是什么、椅子是什么有了某种概念性的理解，以至于能把它们合成一个同时体现两种概念的东西。其次，这意味着你有了某种程度的数据效率：你的数据不需要覆盖数据中所有概念的全部可能组合。你的数据集里不需要有牛油果椅子的图片，就能生成这样的东西；同样，模型部署时你可能要求它做的其他组合，也不需要在数据里出现过。即便在 2021 年它也并不完美，但这些组合泛化的迹象展示了模型的这两种属性，非常令人振奋。

π0.7：异质数据加详细提示

于是我们有了两个目标：开箱即用的模型，以及组合泛化。开发这种模型的成熟配方是：第一，拿一个足够大、足够多样的数据集；第二，训练一个容量足够的模型。我们要做的就是这个。

我们要用上手头所有的数据。这包括非常多样的机器人演示数据，也包括质量非常低的演示数据。还包括策略执行数据，也就是机器人尝试完成任务的记录，前面那些任务的强化学习所用的全部训练数据都会纳入训练配方。我们还会加入人类的视频，还有来自网络的数据。基本上是我们拥有的一切数据。

至于训练容量足够的模型，我们当然会把模型做得足够大，但要拟合如此异质的数据，我们还发现一件事特别重要：用它预测动作所需的全部上下文来提示（prompt）模型。我们发现这个想法正是用好这种数据、这种程度的异质数据的关键突破口。

具体来说，我们要训练一个基础模型，它的输入包括我前面提到的记忆、一条「做什么」的指令，还包括一条子任务指令，说明下一步要立即做的事。它还会以元数据（metadata）为输入，标明数据的质量、回合的长度等等。这些元数据给了它多得多的信息，告诉它该如何预测下一个动作。

此外，我们还可以选择用一张子目标图像（subgoal image）作为提示来训练模型，意思大致是「几秒钟之后，你应当努力达到看起来像这张图的状态」。有了这种详细的提示，我们发现模型确实能利用异质得多的数据，稍后我会给出对比，说明这有多重要。

要真正部署这个模型，我们就得提供子任务指令和子目标图像这些东西。于是我们可以训练一个高层策略，预测子任务指令，也就是接下来做什么、清理厨房任务的下一个子任务是什么。我们还会额外训练一个世界模型，生成机器人下一步该做什么的图像，作为子目标图像条件。

这样，我们就在所有可用的多样化数据上，训练出一个具备这些属性的单一模型。这里是这个单一模型能做的一些例子。所有这些视频都出自同一个模型，我们叫它 π0.7。左边是它在叠一件有领衬衫；右上是一个非常精细的装配步骤，需要把一颗螺丝插进机器人手臂并拧紧；右下是机器人在给垃圾桶换垃圾袋。

开箱即用与组合泛化的证据

我们一开始有两个目标。第一个是走向开箱即用的模型，刚才的视频已经表明，模型开箱即用就能做不少事。但真正关键的问题是：这个预训练模型，和前面专门为做咖啡、专门为装纸箱训练的专用模型相比如何？我们测了单一 π0.7 模型和微调过的 π0.6 模型的吞吐量与成功率，发现单一的预训练 π0.7 模型全面持平或超过了那些为下游任务用强化学习后训练开发的微调专用模型。也就是说，它能追平专用模型的表现。对 SFT 专用模型也同样成立，不只是 RL 后训练的模型。这说明我们确实有了一个单一模型，能开箱即用地以非常高的水准完成许多不同任务。

这是第一个目标。第二个目标是组合泛化。衡量它的方式有好几种，机器人学里可以尝试组合概念的方式也有很多。

我们想做的第一个测试，是看机器人能否操作一件相当罕见的电器，比如空气炸锅。我们想看它能不能打开空气炸锅，把一个红薯放进去，再关上。选它是因为我们以为数据集里没有空气炸锅，我们从未有意收集过带空气炸锅的训练数据。后来对数据集做了分析，发现我们的数据太多样了，居然有三个回合里出现了空气炸锅。我们估计它们大概没什么影响，就算去掉这三个回合，多半照样能成。总的来说我们发现，机器人能够操作一件在训练数据里几乎没有出现过的电器，把「和它互动」的技能（打开、关闭等等）与这个没见过的物体组合起来。在像 Lucy 那样给出指令之后，我们还可以训练一个高层策略，完全自主地完成这项任务，视频里就是机器人在做这件事。这是组合泛化的第一种形式。

第二个组合泛化测试，是看能否在任务与机器人平台之间做组合泛化。我们拿了一个叫 Barm 的机器人平台，它其实是一个非常大的工业机器人平台。我们想看它能不能叠衣服，尽管我们在这个平台上没收集过任何叠衣数据。具体说，我们有在左边这个平台上叠衣服、叠衬衫的数据；我们想看，不在右边这个截然不同的平台上收集任何叠衣数据，开箱即用，机器人能否成功完成任务。

视频里可以看到，它确实以这种方式做到了组合泛化。第一次看到机器人做这件事时，我们都惊呆了，因为这个任务完全没有训练数据。而且这台机器人和另一台差别很大，不只是尺寸，连杆的长度、关节的配置等等都不同。这是 1 倍速视频，所以不算快。显然，如果没见过任何相关训练数据，如果这真的是机器人第一次叠衬衫，它可能要多试几次，但最终会叠好。你还能在左上角看到生成的子目标图像，那是模型在尝试生成能推进叠衣任务的图像，然后把它们作为输入传给模型。然后我们看到了叠好的衬衫。它最后大概还会做几处小修正，让衬衫更平整些。

结论是：无论是语言与物体的组合，还是任务与机器人的组合，我们都在这个模型里看到了组合泛化的强烈迹象。定量上我们也看到，随着模型进步到 π0.7 这样更先进的版本，在这个没见过的平台上叠毛巾、叠衬衫的性能急剧上升，甚至逼近人类遥操作的水平，尽管我们没有任何针对该机器人的叠衣训练数据。

最后一个实验，我觉得或许是最有意思的。我们想测试我提到的两个要素究竟有多重要：多样化数据有多重要，容量或者说详细提示有多重要。如果我们从模型训练中去掉最多样的那部分数据（灰色所示），发现在留出任务上的性能急剧下降；而如果只是随机去掉 20% 不那么多样的数据，性能只下降一点点。这说明真正多样的数据在泛化到新任务上确实扮演着重要角色。

我们还做了元数据提示的消融。这个实验对比了用元数据提示和不用：用提示的是黄色，不用的是灰色。用提示带来了显著的帮助。但最有意思的是，这张图展示的是随着加入越来越多数据、尤其是越来越多低质量数据，性能如何变化。不用元数据提示时，当你把低质量数据从 80% 加到 100%，性能反而下降，这或许不太意外，因为你在往数据配比里加低质量数据；而用元数据提示时，加入这些低质量数据后性能反而上升。这说明有了这种提示，模型连低质量数据也能榨出多得多的价值。

这部分的结论是：我们能训练一个控制机器人的单一模型，持平或超过专门后训练的专用模型，就像从 BERT 那样的预训练模型走到 GPT 那样真正开箱即用的模型。我们还看到了 DALL·E 式组合泛化的强烈迹象，比如把技能组合到电器上、组合到新机器人上，这些组合在训练数据里都没出现过。我展示的所有视频和实验，都只是对模型开箱即用的评估，没有任何后训练。线上的论文与技术报告有更多实验和细节。

现状总结与真实部署

我们谈了长时段自主，又展示了怎样把它做进一个单一通用模型。那我们现在到了哪里？

第一，回到通用 AI 的时间线，我认为物理智能现在已经稳稳地站到了这条线的右侧。就机器人学和物理智能而言，我们已经进入了 GPT 与 DALL·E 那样的时代，这非常令人振奋，而且我们只用了几年就走到了这里。

最后，这些模型也已经真正部署在现实场景中。上面两个视频是两家 YC 公司，Ultra 和 Weave，它们拿 PI 的模型做后训练，部署去做叠衣服和仓库打包这样的任务。左下是我前面放过的视频。这种模型适用于非常多样的机器人形态：上面和左边是比较标准的双臂平台，但它也能适配无人机、四旋翼、手术机器人，以及右下的拖拉机。这真正表明，物理智能不只是在演示和研究里产生影响，而是在真实部署中产生影响。

我认为随着这几年的种种进展，我们会看到越来越多的机器人真正在物理世界里投入使用。

最后厚着脸皮说一句：Physical Intelligence 正在招人。如果你对我讲的东西感到兴奋，欢迎看看我们开放的职位来申请。接下来是提问时间。

问答：ChatGPT 时刻与开源

第一个问题是：我们离机器人的 ChatGPT 时刻还有多远？它会是什么样子？

我先答后半个问题。我不确定它真的会像我们在语言模型上看到的 ChatGPT 时刻那样。ChatGPT 五天就突破了一百万新用户，而物理模型的分发渠道会慢一些，很遗憾，因为你得真的有一台机器人在那里。看看 Waymo，它的推广确实令人惊叹，但把东西部署到物理设备上仍然需要时间。所以我不知道会不会有一个像 ChatGPT 那样传播的单一时刻。与此同时，就模型能力而言，我认为这些模型确实已经开始在真实世界里有用了，达到 ChatGPT 那种程度的能力，我认为在未来几年内是很有希望的。

第二个问题：小团队什么时候该从扩展单点模型转向通用策略？这个转变实际是什么样？什么信号说明时机到了？

这是个好问题。至少我认为，一开始就直接用通用策略然后微调，甚至从第一天就这么做，会非常有效。幸运的是，有很多非常强大的通用策略是开源的，比如 π0 和 π0.5 模型就是开源的，我们已经看到很多人从这些模型里获益。我们也在和很多合作伙伴合作，比如那家拖拉机公司、Ultra、Weave，拿我们最新的模型为他们自己的应用榨出更多价值、开发更强的模型。所以我认为从一开始就可以用。

我唯一不会用它们的场景，是环境真的极为受限。我和一些做手术机器人的人聊过，他们的手术室在地下室，没有网络，GPU 也很差，有时候用大模型就是很难。不过你仍然可以在工作站上对这些模型做本地推理。所以我认为，直接拿 π0.5 或你喜欢的模型来微调就是正路。我相信会出现很多这样的小公司，要让这些机器人凭这项技术在真实世界里跑起来，还有太多事可做。

下一个问题：鉴于工业界的机器人进展如此之快，今天读博士的真实好处与坏处是什么，尤其是对之后想去工业界的人？

我原本没打算读博士，一直打算直接去工业界。我父母都是工程师，在工业界工作，我当时觉得产生影响的方式就是进公司。我父亲甚至跟我说，他不会雇有博士学位的人。于是我想，要是找不到工作，也许就不该读博。当然他在另一个领域，土木工程。

但与此同时，我认为博士是一个绝佳的机会，我很喜欢我的博士阶段。显然这很大程度上取决于导师，取决于你会做什么等等。但我认为博士是一个绝佳的机会，首先让你学会怎样应对不确定性，怎样挑选值得做的问题。做研究时没有人会把问题交给你，你得自己选问题，而对你选的问题，你并不知道六个月、两年还是十年之内能不能取得进展。你就在这个过程里学会应对这种不确定性。这非常有用。其次，它也是做出色研究的机会，很多情况下你有很大的自由，去做你觉得最令人兴奋的研究。所以我认为，今天它仍然是一个绝佳的机会，去做研究、去学习面对不确定性。我认为学会应对不确定性在创业环境里、在 AI 前沿都非常有用，因为现在没有人知道让这些模型越来越强的最佳路线是什么。

与此同时，工业界也有大量绝佳的机会。首先，我展示的一切，背后不只是研究：有一整套软件栈要在机器人上跑，而且要跑得可靠；硬件那边的一切当然也在其中；还有机器学习基础设施、数据基础设施等等。做这些工程工作，你不一定需要博士学位。研究那边也常常有参与的机会，而且如今很多研究本身就是工程。所以这很大程度上是个非常个人的决定，取决于你想要什么。即便是今天，回头看，我大概仍然会想读博士，就为了学会应对不确定性、学会做研究，因为我真的热爱站在前沿思考困难的问题。但两条路上都有非常出色的机会。

下一个问题：大语言模型从互联网学习，但机器人并没有互联网规模的物理经验数据集。机器人学的对应物是什么？怎么得到它？

先从语言模型说起。网络上的数据是语言数据，并非全部高质量，但其中一些信息量很大、很有用，而且这些数据大体反映了你想让模型做的事：你想让它预测文本、补全文本、回答问题等等，而互联网上有大量正在被回答的问题、正在被补全的文本。机器学习的一般原则是训练要匹配测试，你训练模型用的东西，应当反映你之后要求它做的事。所以我认为机器人学的对应物，就是机器人在真实世界环境里工作的数据。

Physical Intelligence 的做法是收集机器人经验，机器人做各种各样任务的经验。你可以用遥操作收集，作为机器人做有用事情的初始数据。但长远来看，我认为它也会包含大量部署中的机器人自主尝试的经验。就像我们在语言模型里看到的，现在很多时间其实花在生成数据上，通过跑模型、让它思考来生成合成数据。我认为机器人学未来的很多数据，将是机器人在大量真实场景里尝试大量任务。这大概就是它的样子。

我也认为还有其他对模型训练非常有用的信息来源，比如人做事的视频，像 YouTube，还有网络数据和带说明的图片，它们会告诉你「这是一个厨房，冰箱在水槽右边」之类的事。所有这些数据，我认为都能用来开发一个前沿的多模态模型，它既能控制机器人做事，能推理怎样完成一个长任务，也能控制机器人去执行。

但我认为机器人自身的经验无可替代。看别人做一件事并不等于你能做：我看费德勒打网球，可惜并不意味着我能打得跟他一样好。同样，机器人也不能看着人做一件事，就直接弄明白自己怎么做。它们真的需要在自己的平台上积累经验，才能有效学习。我认为我们会需要大数据集。这不是说人类视频没用，看费德勒打球是有用的。但机器人平台上的真实经验，将是构建机器人学对应数据集的关键组成部分。

下一个问题：通用机器人模型有可能像大语言模型那样通过开源实现普及吗？还是说具身数据和硬件的成本会让最好的模型集中在少数资源雄厚的实验室手里？

这是个好问题。我确实认为具身数据和硬件的成本很可能让局面看起来不同，因为数据更难获取，比如不能像在互联网上那样轻易拿到数据去蒸馏一个模型。我也认为我们已经看到相当大的数据集被开源，相当强的模型也被开源。究竟会怎样，真的很难说，所以我不知道。

我想说的一点是，语言模型那边，先不说 DeepSeek、Kimi 这些真正做到最先进水平的开源模型，就连主要做闭源模型的公司也在做大量开源，比如 Gemma，比如 GPT 的开源权重版本。这些公司愿意支持开源，是因为这确实有助于围绕它们的产品建立生态。所以我想象，无论如何都会有一个强大的开源社区，我对此是乐观的。但我不知道它是否会完全按语言模型的剧本上演。

问答：动作表示、想象与速度

下一个问题：模型是直接输出原始电机指令，还是输出目标手部位置、再让控制器求解关节角度？为什么那是合适的学习层级？

我展示的所有模型输出的都是目标关节位置：这个关节的角度是多少，那个关节的角度是多少，你想达到的目标是什么。然后有一个控制器，比如 PD 控制器，去努力让这些关节达到目标位置。模型其实也被训练来预测目标夹爪位置，也就是我的夹爪应该在三维空间的什么地方。你也可以用这个，再反推出关节位置。另一种做法是直接输出电机力矩，或者电压、出力。不同选项各有利弊。我们发现控制关节和在夹爪的三维空间里控制都很好用。

直接输出电压有一个好处：你还能得到更硬或更软的输出。而如果你用一个固定的控制器，就没让模型控制这方面。所以确实各有利弊。我觉得我们现在的做法似乎是管用的，它看起来不是瓶颈。我通常喜欢把精力放在看起来是瓶颈的事上，而不是那些看起来不是瓶颈的事。

下一个问题：机器人需要某种想象力吗？就是在真正有用之前，先能设想接下来该发生什么？

我展示的 π0.7 模型就有类似的东西，它可以想象未来的图像应该是什么样，然后努力去实现。我们发现这带来了提升，在叠衬衫的例子里，用这种想象比不用有一个定量的提升。与此同时，我认为模型不用它也表现得出奇地好。

我们本来打算就这项能力写一整篇论文、一整份技术报告。但没有它的模型太好了，我们觉得需要让「没有它也很强」这一点在故事里占更大的分量，因为那才是真正带来强结果的东西。所以它看起来是一种设计选择。它会不会成为关键组成部分，我觉得很难说。这类模型的好消息是，如果你建了一个好的数据集，你就可以用手头的数据集跑实验、持续测试各种东西，效率相当高。

我也认为，相比预测未来的动作，预测未来看起来是一个非常相关的目标，所以我猜想它有助于从你手头的全部数据中学习。所以，它是否必然成为关键组成部分，很难说。从经验上看，目前它似乎有帮助，尽管也许没有你预期的那么大；而且即便没有这种想象，机器人也能做出相当了不起的事。

下一个问题：现在机器人似乎能完成惊人的任务，但速度非常慢。要提升速度需要什么？

我对提升速度非常兴奋。我们确实从强化学习中看到了速度提升。我们还有另一项发布，叫 RL token，展示了更快的速度，甚至快过人类遥操作。我认为瓶颈之一在于，遥操作机器人做事是教机器人最简单的方式，可人遥操作机器人时是比较慢的。我们有几个项目在推进中，在获得快速策略方面已经有非常有前景的结果，后续还会有更多。总之，要么想办法让数据更快，要么想办法比数据更快。我们已经看到了能比数据稍快一点的证据。至于下一步，要么在这个方向上走得更远，要么让数据更快。

问答：涌现的左右手迁移与入行建议

下一个问题：你最近见过机器人完成的最令人惊讶的任务是什么？接下来想看到它做什么？

最令人惊讶的其实不是一项任务。做 π0.7 的时候，我亲自训练了一个策略，用于组装风车的一些初步测试。在训练它组装风车时，有一件事真的让我很惊讶。所有数据里，我们都仔细控制了组装风车的策略：拿起预先裁好的纸片，拿一根小别针，把别针插进纸上的孔里。所有数据里都是右手拿别针、左手拿纸再插进去。机器人一开始也这么做，然后它犯了一个错，纸跑到了右边，别针跑到了左边。机器人接下来做的是：它用左手夹爪拿起别针，用右手拿起纸，用左手把别针插进了右手的纸里。它从来没见过用左手夹爪插别针的数据。这说明，即便这不在后训练数据里，甚至也不在预训练数据里，机器人本质上学到了左手和右手之间的某种等变性（equivariance），从而能把行为从一只手迁移到另一只手，尽管数据里从未出现过。那是一个非常酷的时刻。我把它分享给一些人的时候，感觉别人好像没有我这么兴奋。但它展示了这些模型里一种我以前没见过的涌现能力。

至于我想看到什么，我不知道。我喜欢看机器人做任何事。我觉得在可靠性上还有很长的路要走，让机器人能真正长时间地完成任务。我不太去想单个任务，更多是想能力，想怎样从这些模型里拿到下一项能力。所以任何事都行，机器人做任何事都让我兴奋，尤其是以前没做过的事。我们最近在做的一件事是让机器人用刀切蔬菜。一旦真正能安全地用刀，能做的事就很多了，这是我们最近做到的一件事。

最后一个问题：软件工程背景的人怎样进入机器人领域？

首先，机器人学里有大量软件工程工作，所以你可以试着以软件工程师的身份加入一家机器人公司。另外我想说一条路，我确实见过有人这样走。现在在 Physical Intelligence 工作的一位同事，名叫 Jenny。她做过一阵算法交易，然后在 Harvey 做法律方面的工作。她对机器人非常感兴趣，于是买了一台便宜的机器人，在自己卧室里摆弄，试着微调一个开源模型，让它做点什么。然后她把自己做的东西分享出来，给我发了一封陌生邮件，说「我想到你的实验室工作」。她的履历看起来很有希望，因为她真的动手去做了，而且对此真的很热情。现在她就在 Physical Intelligence 工作。

所以我认为，先下水，动手试，从这些经历中学习，再用这些经历去和人交流、写进简历等等，是一条很好的路。幸运的是，外面有大量开源的东西，能让你在这类事情上起步。

这是最后一个问题了。感谢大家。