The Debate Over “Understanding” in AI’s Large Language Models

编者按：本文是圣塔菲研究所教授梅拉妮·米切尔（Melanie Mitchell）在麻省理工学院脑与认知科学系所作的一场讲演，由该系教授约书亚·特南鲍姆（Joshua Tenenbaum）主持。米切尔围绕她与同事戴维·克拉考尔（David Krakauer）发表于《美国国家科学院院刊》（PNAS）的文章，讨论大语言模型究竟是否「理解」它所处理的数据。本文依据现场录音编译整理，仅删去寒暄、口误与口语枝节，全部论证与实例均予保留。

主持人引言

特南鲍姆： 今天能请到梅拉妮·米切尔来和我们交流，我们非常高兴，也非常幸运。看看今天到场的人数就知道，她大概不需要什么介绍了。在当下的人工智能领域，她是最重要的公共专家之一，长于解释今天的 AI 世界究竟在发生什么，各种不同的路径、不同的时代、看待 AI 的不同方式。我想这也正是她今天要讲的内容。她是圣塔菲研究所（Santa Fe Institute）的教授，在那里主持着若干项目，既涉及 AI，也涉及其他极为有趣的复杂现象。

她的工作不限于 AI，还涵盖认知科学和一系列相关领域。我记得第一次见到梅拉妮，是 1991 年我在圣塔菲研究所参加暑期学校的时候，她当时在讲授遗传算法。碰巧今天我还跟人提起，我在这里读研究生时听过她的一场讲座，讲的是元胞自动机和各种涌现出来的对象，滑翔机枪之类的东西。所以，无论是考察智能的涌现，还是今天的大语言模型里那些或许像、或许不像智能的东西，抑或元胞自动机（它可以看作神经计算的一种极简模型）中涌现出来的对象与概念，再或者演化过程中算法和其他智能行为的涌现，梅拉妮一直着迷于一个总的问题：结构与功能如何在许多不同的系统和尺度上涌现，其条件是什么，现象又是什么。她对这些问题的研究和阐述，长期以来启发了我和许多人。

所以，我们能请到她是幸运的，整个领域和公众能有她也是幸运的。她写科普书，发推文，上电视，我在电视上见过她。但与此同时，她也实实在在地做着科学研究，并把研究与公共传播连接起来。长期以来，这是最重要的工作之一。今天能请到她，我们真的很幸运。下面把时间交给梅拉妮。

根本性的不确定

米切尔： 谢谢，谢谢约书亚。约书亚说我试图解释 AI 领域正在发生什么。而 AI 领域正在发生的，当然就是争论。人们几乎是在互相扼住喉咙，争着弄清眼下究竟是怎么回事。有位记者把这个时期形容为「根本性的不确定」（radical uncertainty），我想我们都有同感。今天我要谈的是「理解」这个观念与大语言模型的关系：人们认为它意味着什么，我们又可能用它来指什么。这些内容来自我和圣塔菲研究所的同事戴维·克拉考尔发表在《美国国家科学院院刊》上的一篇文章。

AI 系统理解它处理的数据吗？这当然取决于你怎么定义「理解」。

前生成式时代的失败

米切尔： 可以肯定的是，在生成式 AI 之前的年代，理解上的失败比比皆是。这很要紧，因为它会导致各种各样的错误，而这些错误，我想我们都会称之为理解的错误。举个例子。2018 年有一篇论文表明，一个在 ImageNet 数据集上训练出来的深度卷积神经网络，能以百分之百的置信度识别出校车，可一旦你用 Photoshop 把这辆校车摆成一个古怪的姿态，网络就以 99% 的置信度断定它是垃圾车、沙袋或者扫雪车。这些是在以类人的方式理解视觉数据这件事上出的问题。这些系统会犯极不像人的错误。

还有常识层面的问题。比如为自动驾驶训练系统去识别路上可能出现的各种物体，结果系统分不清某样东西究竟是现实世界中的实物，还是一辆面包车车尾电动自行车广告上印着的自行车图片。人类很擅长把握语境，知道什么是贴在车上的图片，什么是真实世界，这些系统却在这上面栽跟头。另一个例子也是同类的：有人在推特上说，他开着装有自动驾驶软件的特斯拉，车子在某个路段总是猛踩刹车，他想不明白为什么，后来才注意到路边的广告牌，那是一幅画着停车标志的广告，车子看见它就紧急制动。这显然是个边缘案例，不是天天会发生的事。但总有某个边缘案例在某个地方发生着。要想训练出一个系统，让它理解世界上正在发生什么这种常识性的表征，是很难的。

我们还见过大量机器学习系统根本不明白我们想教它什么的例子。有一篇论文里，一个团队想训练神经网络来判断皮肤图片是不是恶性病变。系统学到的是：如果图里有一把尺子，那就很可能是皮肤癌，因为医生要量它的尺寸。于是系统学会的是「尺子是皮肤癌的良好预测因子」。

自然语言处理系统同样有问题。以谷歌翻译为例，这其实就是几周前的事。我让它把这句话译成法语：「那位议员不小心把他正在起草的重要法案（bill）的副本落在了出租车上。」「bill」这个词或许有歧义。在座有人懂法语吗？有。它给出的是错误的译法，用了「facture」，那指的是水管工开给你的账单，不是议员起草的法案。事实上，翻译错误已经造成了真实世界的后果，因为有人过于信任这些翻译程序，比如用它们把庇护申请从阿富汗语言译成英语。

新时代与两极分化

米切尔： 但现在我们进入了 AI 的新时代。我们有了大语言模型，它们的训练数据量远远超过早先任何系统，而且看起来获得了更丰富、更类人的理解。比如，我让 ChatGPT 翻译同一句话，它给出了正确的译法。我甚至可以问它，你是怎么知道该这样翻译的？它会给我一段非常冗长的解释，告诉我它知道这里涉及一位议员和一份法律文件，等等。

特里·谢诺夫斯基（Terry Sejnowski），在座多数人大概都听说过，他是神经科学家，也是上世纪八十年代神经网络的先驱之一。他最近写了一篇文章，同样在努力弄清 AI 领域正在发生什么。他说，这些东西不是人，但它们提取信息的能力是超人的，它们行为的某些方面看起来是智能的。可如果这不是人类智能，那它们的智能本质是什么？我想这正是我们所有人都在苦苦思索、为之着迷的问题：这些系统的智能本质是什么，我们又该如何弄清楚？

有些人认为它们在某些方面是智能的，拥有真正的理解。布莱斯·阿圭拉·伊·阿卡斯（Blaise Agüera y Arcas）是谷歌的高管，也是 AI 研究者。他写过一篇文章，说这些模型在非常真实的意义上理解范围广泛的概念，尽管它们只靠文本获得信息。他甚至还写过另一篇文章，说它们正在越来越接近拥有意识。这一点我今天不谈。而在另一边，哲学家杰克·布朗宁（Jake Browning）和杨立昆（Yann LeCun）写道：一个仅靠语言训练的系统永远不可能逼近人类智能，哪怕从现在一直训练到宇宙热寂。所以人们在这个话题上持有极端对立的观点。也许他们对「智能」或「理解」这两个词的用法本就不同，我不知道，这很难说。

有一个团队，大约一两年前，对自然语言处理学界做了一次调查，请在 NLP 会议上发表过论文的人对下面这句话表示同意或不同意：「某些仅在文本上训练的生成模型，只要给予足够的数据和计算资源，就能在某种非平凡的意义上理解自然语言。」结果正好从中间劈开，五五开，分得干干净净。这就是根本性的不确定，大量的两极分化与分歧。

世界模型假说与奥赛罗证据

米切尔： 那么「理解」到底意味着什么？OpenAI 的联合创始人伊利亚·苏茨克维（Ilya Sutskever）提出过一个假说，说明理解意味着什么，以及大语言模型如何理解。他说，当我们训练这些系统去预测海量文本中的下一个词时，系统学到的不只是预测文本，它学到了一个世界的模型。他说得颇有诗意：它学到了关于人、关于人类处境、关于人的希望、梦想和动机的知识，学到了一种压缩的、抽象的、可用的表征。

好，这是个假说。证据呢？他没有给出任何证据。但确实有人尝试在训练好的大语言模型里寻找所谓「世界模型」的证据。有两篇论文研究了一个玩具问题，用的是黑白棋（Othello）。在座有些人大概见过这项工作：他们训练一个 Transformer，只用代表棋步的符号序列，让它预测合法的走法。然后他们查看 Transformer 的内部表征，发现这些表征似乎编码了棋盘的状态，而这个东西从未被训练去学棋盘，却不知怎么涌现出来了。这非常有趣，也很有启发性，但它并不是真正的大语言模型，而是一个相当小的语言模型，处理的是一个相当简单的封闭世界。所以它能否推广到 ChatGPT 之类的东西上，并不清楚。

可人们拿着这个结果大加外推。比如 Anthropic 的克里斯·奥拉（Chris Olah）说，他认为这是语言模型形成内部世界模型的明确证据。吴恩达（Andrew Ng）走得更远，说 Othello-GPT 项目表明它们会构建世界的模型，「这让我可以放心地说，它们确实理解」。他们是从一个相当有限的实验里外推出了相当多的东西。

另一边呢，还是杨立昆在问：这些模型真的在构建抽象并用于推理吗？还是说它们在做人们所谓的「近似检索」（approximate retrieval）？我理解这个词的意思大致是：拿到一个问题，跟记住的训练数据做某种模式匹配，然后用训练数据来解题，并没有真正形成一般性的抽象或世界模型。他说这两者之间是一个连续统，而他认为大语言模型基本落在检索、记忆那一端。亚利桑那州立大学的拉奥·坎巴姆帕蒂（Rao Kambhampati），如果你们用推特，应该关注他，他非常好笑，对这一切都极尽挖苦。他说：「涌现能力，名词：当『近似检索』听起来太不性感时，人们用来称呼你的大语言模型所做之事的首选委婉语。」这是篱笆另一边的看法。

行为测试与基准的捷径

米切尔： 那么我们该怎样评估这个理解的问题？我认为这很难。一种方式显然是老办法：只看行为，做图灵测试，宣布这个问题本身提得不好，干脆定义为「它们看起来理解，就算理解」。但我们知道，人类极易把理解投射到任何用自然语言和我们交流的东西上。早在上世纪六十年代的 Eliza 身上我们就看到了这一点，此后的聊天机器人莫不如此。所以我们可能被误导。

更客观一点的办法，是在自然语言理解基准上测试这些系统。人们一直在这么做。但基准可能允许捷径，就像皮肤癌图片里的那把尺子。几年前最流行的自然语言理解基准之一叫「通用语言理解评估」（GLUE），是一组不同的语言理解测试，还有它的后继者 SuperGLUE。这是 SuperGLUE 最近的排行榜。我们测的是通用语言理解，排行榜前七名都是大语言模型，人类排在后面。这就是我们在通用语言理解上的现状。好吧，也许这并不是对通用语言理解的真正检验，因为我认为在这方面人类大概仍然强过绝大多数语言模型。事实证明，这里面可以有捷径，也就是这些基准里词或符号之间微妙的统计相关性，它们可以预测答案，或者说神经网络可以学会借此预测答案，而不必做任何类似人类理解的事情。

我们已经看到很多论文说，自然语言理解的基准测试已经坏掉了，到处都是人为痕迹。这些系统做的事有点像「聪明的汉斯」（Clever Hans），那匹据说会算术的马，其实是在回应训练师身体语言里的细微暗示。这一直是自然语言处理基准的一个问题。

标准化考试为何靠不住

米切尔： 最近人们又开始给这些语言模型做标准化考试。你们都见过那些标题：「ChatGPT 拿到 MBA」，通过了沃顿商学院的 MBA 考试，比很多学生考得还好；它可能聪明到足以从法学院毕业；它没有临时抱佛脚就通过了医师执照考试。我不确定把整个互联网背下来算不算临时抱佛脚。

不过现在已经有一些研究对此提出质疑：是否存在数据污染，也就是有些考题其实就在系统的训练数据里；而且即便没有，这些考试上的成绩也未必与真实世界里实际任务的表现有良好的相关。我为此写过一篇文章，《ChatGPT 真的通过了研究生水平的考试吗》，在其中展示了这里面夸大宣传的几个方面。就在前几天，有个人，我想是哈佛的，写了一篇文章重新评估律师资格考试的成绩，表明此前的说法严重夸大。还有一个团队在博客上写道，这些是「对错误问题给出的错误答案」，不是评估这些系统的恰当方式。

反事实任务：推理还是背诵

米切尔： 评估理解的另一条路是：如果我们把理解看成建立抽象能力、建立抽象的世界模型，那就在需要抽象与推理的任务上评估它们。但接下来我们得问，如果它们能完成这些任务，它们的抽象有多真实、多稳固？有一篇论文，作者有几位在这里，还有几位在波士顿大学，题目叫《推理还是背诵？》（Reasoning or Reciting?）。他们取了若干推理任务，GPT-4 在这些任务上表现很好，图上蓝色柱子就是准确率。然后他们说：如果我们设计一些「反事实任务」会怎样？也就是这些任务的变体，需要的推理能力完全相同，只是内容不同，因而不太可能与训练数据相似。

举个例子，他们的一项任务是代码执行。GPT-4 很擅长读一小段 Python 代码，说出它会打印什么。顺便说一句，前几天我听了一场关于提示工程的报告，讲者说你得先给大语言模型打气，得对它说「你是个天才」，或者「你是专家级程序员」，「你是诺贝尔物理学奖得主」之类的，然后再提问。总之，它回答这些 Python 小片段的问题非常在行。这个团队做的是：现在设计一个反事实版本，告诉模型它能轻松适应新的编程语言，并且有一种假想的编程语言叫 ThonPy，它的索引从 1 开始而不是从 0 开始。你可以看到，GPT-4 的表现，也就是红色柱子，一落千丈。他们没有做人类实验，但你会预期一个人类程序员能相当轻松地适应这种变化。

另一个团队做了类似的研究。不知道你们有没有看过微软那篇《通用人工智能的火花》（Sparks of AGI），这一篇的题目叫《自回归的余烬》（Embers of Autoregression）。他们的论点是，由于这些语言模型采用自回归训练，它们会具有某些特定的性质和局限。他们做了类似的研究，考察几类不同的推理任务，比较任务内容在训练数据中很可能常见时的表现，与很可能罕见时的表现。你可以看到，尽管每类任务所需的推理能力相同，表现却随之下滑。当然，人类对推理任务的内容也很敏感。他们并没有真正研究人类，但他们的假设，或者说人们可以猜想，人类至少在某些情况下能够适应不那么常见的内容。

字母串类比：人稳机降

米切尔： 我和一位合作者在类比推理的语境下研究了这个问题。去年加州大学洛杉矶分校的泰勒·韦布（Taylor Webb）等人发表了一篇论文，《大语言模型中涌现的类比推理》，表明 GPT-3 能够做类比推理，而且成绩超过了很多 UCLA 本科生。这引起了大量报道：「GPT-3 在推理测试中大获全胜，本科生在那些帮他们考上大学的题目上被击败」。

他们考察的任务之一是所谓的字母串类比问题。比如：如果字符串 abcd 变成 abce，那么对 ijkl 做同样的变换会得到什么？再比如：有两个 b，把它缩减成一个 b，那么对另一个串该怎么做？还有一个：给你 agcd 和 abcd，也就是把序列修正过来。他们出了一批这样的题，然后比较 GPT-3 和 UCLA 本科生，结果 UCLA 本科生在准确率上不太光彩。

于是我们做了这样的事，这是我和合作者玛莎·刘易斯（Martha Lewis）最近的一篇论文：我们采用反事实任务的范式。首先我们试图复现他们的结果，没有复现出来。我们用的是众包平台 Prolific，而不是 UCLA 本科生，我们的受试者实际上表现更好，谁知道为什么。当然，我们的受试者是拿报酬的，而他们的本科生只是为心理学课程挣学分，随便吧。

然后我们说，好，怎样做一个反事实版本？一种办法是：不用常规字母表，而是把它打乱一点，交换一些字母。我们告诉受试者：字母表可能是按不熟悉的顺序排列的，请用这个顺序完成模式。比如 m 现在处在一个特定的位置，你看一眼就能明白。人类在这些题上做得相当好。我们还给了他们一种不同的字母表，由符号而非字母组成。这些其实是完全相同的类比问题，只是编码方式不同。我们问：人类做得怎么样？图上蓝点是人类，带误差条，横轴是字母表中被置换的字母数；旁边是符号字母表的结果。其他的点是各种语言模型。我们发现，人类能很好地适应这些反事实字母表，表现基本不变。而语言模型则大幅下降。

所以这里的要点是：这些系统在解决与训练数据相似的推理任务时表现更好，常常是好得多。而我敢说，在许多情况下，人类更能适应变化。这反映出抽象理解上的某些失败。

人类概念：组合、因果与隐喻

米切尔： 那么，我们怎样才能让机器学会并使用人类的概念和抽象？人类的概念又是什么？很多人把概念看作关于类别的心智模型。我想到「讲演厅」这个概念，我就拥有关于这个类别的一个心智模型，可以用来推理和预测，比如预测有时会有人中途离场。每次都会发生。情境、事件，我们都有这样的心智模型。

举个例子，「在某物之上」（on top of）这个心智模型，一个简单的空间概念。我们知道概念是可组合的。如果你理解一样东西在另一样东西之上，你就能把东西一层层叠上去，把概念组合起来。如果你理解「一只猫在电视机上」，你也能理解「一台电视机在猫身上」。我真的试过让 DALL-E 画一台电视机压在猫身上，它坚决不肯，每次画的都是猫蹲在电视机上。但人类做得到。

概念还具有因果结构。我认为这一点极其重要，它让我们能够做预测、检验假设、推理，并拥有常识。人类在很小的年纪就能推断：东西叠在一起时，如果做某种干预会发生什么。他们也能推断怎样才能爬到别的东西上面去，这是小孩子很早就学会的，早得过了头，可能会惹出麻烦。他们还学会某种三维拓扑，比如鞋子套在袜子外面，所以得先穿袜子。都是些非常常识性的东西。

概念还能通过隐喻和类比抽象到新的情境。继续用「在……之上」的例子：我们把这个空间概念用于隐喻，说「我站在世界之巅」、「扯着嗓门喊」（at the top of one's voice）、「位于社会等级的顶端」等等。研究概念的认知心理学家劳伦斯·巴萨卢（Lawrence Barsalou）把概念定义为「为某一类别生成无限多种概念化的能力或倾向」。注意，他区分了「概念」（concept）和「类别」（category），这两个词在不那么正式的场合常被混用。他的意思是，我们通常把类别看成要去区分的东西：女人与男人、狗与猫、在上面与在下面，等等。而概念更具有生成性。我们的模型能够生成概念的实例，事实上是无限多种概念化。

莱考夫（Lakoff）和约翰逊（Johnson）等人有一个著名的论述：抽象概念是通过涉及核心概念的隐喻学会的。比如他指出，人们用物理语言来描述社会概念：「她热情地（warm）跟我打招呼」，那并非字面意义上的温暖，但我们就是那样去构想它。或者，地位被隐喻性地理解为物理位置：「在公司的阶梯上她比我高两级」，诸如此类。还有一个许多人提出的假说：我们的心智模型让我们能够模拟概念。概念实际上就是模拟情境的能力，甚至抽象概念也是对情境的一种可模拟的、置身其中的理解。约书亚和他的合著者长期以来一直主张，理解是通过基本的心智模拟来实现的。

核心知识与 ARC 抽象测试

米切尔： 斯佩尔克（Spelke）等发展心理学家提出，概念建立在她所说的先天「核心知识」（core knowledge）系统之上。这些系统包括：世界被划分为物体，我们理解物体如何相互作用、可能如何行为；数量感，我们理解一样东西比另一样多、比另一样高，理解三、二、一这样的小数目；基本的几何与拓扑，比如东西装在别的东西里面，或者围绕着别的东西；主体与目标导向的行为，世界上有些东西受目标驱使，有些则不然。她和其他人主张，这些核心知识系统是我们一切概念的基础，而且是婴儿与生俱来的。先天到什么程度是个有争议的话题，但我想认知科学界的多数人都同意，这些东西很重要，要么是先天的，要么是很早就学会的。

谷歌的弗朗索瓦·肖莱（François Chollet）采纳了这个想法，说：让我们用这些核心概念来设计一种评估理解的方法。他构建了他所谓的「抽象与推理语料库」（Abstraction and Reasoning Corpus，ARC），这是一个既能测人也能测机器的领域，通过抽象能力来考察理解程度。这是该领域里一道题的例子。每道题包含少量演示，可以把它们看作训练样例。这里有三个训练样例：一个网格变成另一个网格，第二个例子，第三个例子。我相信你们看得出其中的共同概念，并且大概能回答该对测试输入做什么，才能在这个语境中实现该概念。你只看了三个训练样例，却很容易看出发生了什么，底层规则是什么。用语言表述可能有点难，大致是：有某个物体指向某个方向，从它那里射出一条线，沿着那个方向一直延伸到边界。我们是在依靠自己关于物体、空间等等的全部核心知识来解这道题。

再看一个例子。你大概很容易看出，不同种类的形状被涂上了不同颜色，与形状的朝向或大小无关，这是一种拓扑性质，保持不变。肖莱出的就是这类题。他创建了一千道这样的题，公开了八百道，留下两百道作为隐藏测试集，放到 Kaggle 平台上作为对 AI 的挑战。Kaggle 是发布机器学习挑战赛的平台，解出题目可以拿奖金。最后大约有九百支队伍提交了程序，这些程序在隐藏测试集上接受测试，获胜的程序准确率约为 20%。每道题每个程序可以猜三次，只要有一次猜对，这道题就算对。前两名程序的集成表现稍好，达到 31%。他们没有对人类做正式研究，但假定人类在这些小题目上能做得相当好。

现在有更多的奖金在等着，你们要是想参赛的话：一家瑞士实验室出价，你的程序每比 31% 高出一个百分点，就给一千瑞士法郎。一千瑞士法郎按今天的汇率大约是一千美元。听起来不该太难吧？2023 年他们又办了一届比赛，没人赢，没人超过那条线。问题出在哪儿？这些是简单的题目。嗯，我想其中不少题对人类其实也挺难的。

ConceptARC：系统性检验理解

米切尔： 我们团队对此产生了兴趣。但我们把所有题目过了一遍，注意到有些题看起来相当难。而且我们认为，这些题并没有系统地检验对概念的理解。假设机器能解出我刚才展示的那道题，这是否意味着它理解了不变性，理解了形状不变性以及所有相关概念？不见得，它可能用了某种捷径。于是我们构建了一个小基准，叫 ConceptARC，仍在这个领域里，但用的是新问题、新任务。这是我在那项工作上的两位合作者。这些任务旨在更系统地检验理解。如果有「在……之上」这样一个概念，就用许多不同的方式、许多不同的概念化来检验它，而不只是一种。我们考察了 16 个概念，为每个概念设计了 30 道题，都设计成对人类来说很容易。这些是我们考察的概念，都是基本的空间与语义概念。总共大约 480 道题。

这是一个例子，希望很容易：删除底部的物体。我们在 Prolific 上测了人，也用 Kaggle 挑战赛的获胜程序测了这些题，还测了 GPT-4。测 GPT-4 用的是网格的文本版本，用数字表示每个像素的颜色。它们全都答对了。那么这些程序都理解「顶部」和「底部」的概念了？不。我们得继续测试，确保它们没有用某种捷径。

再看一个例子。有意思的是，我们设计这些题目时，要让我的合作者去设计对人类来说容易的题，还挺费劲。他们总想设计对人类来说难的题，因为他们觉得，这些题太容易了，简直容易得可笑。结果证明它们并不容易：对人类容易，对机器可不容易。这一道，把物体的顶行涂成红色，所有程序都答对了。但另一道，删除顶部和底部的物体，人类仍然是百分之百，这几个程序却答错了。Kaggle 的获胜程序是专为 ARC 任务设计的；GPT-4 显然不是为它设计的，虽然谁知道它的训练数据里有什么，但这些题肯定不在它的训练数据里，因为是我们自己设计的，测试之前从未公开。

再举几个例子，比如「在……的中心」这个概念。取这些东西中心的像素，大家都答对了。另一道「在……的中心」，提取网格中央的物体，人类百分之百。再一道，把像素移动到与水平线中心对齐，这几个程序答错了。

还有一篇后续论文，我们用 GPT-4 和带视觉的 GPT-4 测了视觉版本。这是所有概念上的结果：人类、Kaggle 第一名、纯文本的 GPT-4。看最下面一行，那是平均值。如果你在众包网站上做过人类实验，你就知道 91% 差不多等于 100%，因为很多人根本没认真做，这是一个非常嘈杂的测量。但即便如此，人类仍然远远好过这两个程序。很多人说，这是纯文本版本，不公平，你给人类的是视觉输入，给 GPT-4 的是纯文本输入，等 GPT-4 的多模态版本出来，它就能解出来了。我们试了多模态版本。做完前面的实验我们没剩多少钱了，所以只测了最容易的那些题，我们称之为「极简任务」，在这些题上纯文本版本能答对将近 70%。结果视觉版本做得差得多。视觉版本在抽象视觉推理上真的相当糟糕。

结论：具身与可信赖的开放问题

米切尔： 那么，AI 能理解世界吗？我想答案是：原则上能。我看不出有什么理由说不能。但到目前为止，它在理解上有过许多失败，至今仍未达到类人的抽象理解。要以类人的方式理解世界，系统或许需要类似人类的核心知识系统，以及由此而来的概念。我不知道这个问题的答案，但它们能否在不具备某种具身性（embodiment）、不与真实世界主动互动的情况下做到这一点？我认为这是一个重要的问题，而我们确实不知道答案。

注意我说的是「类人的」。很多人会说，它就不能以某种非人的方式理解吗？就不能是另一种理解吗？我可以接受这种说法。但问题在于，如果它的理解与人类的理解不同，那么要让这些系统在我们的世界里、在人类的世界里与我们协作，可能会很困难。那就意味着我们不会拥有可信赖的 AI 系统。我把这些问题留在这里，就讲到这儿，很乐意展开讨论。谢谢大家。