Josh Tenenbaum | How to grow a mind from a brain: From guessing and betting to thinking and talking

编者按：本文为约书亚·特南鲍姆（Josh Tenenbaum）在哈佛大学数学科学与应用中心（CMSA）叶氏讲座（Yip Lectures）第四讲上的演讲实录，由中心主任丹·弗里德（Dan Freed）主持。特南鲍姆是麻省理工学院计算认知科学教授，贝叶斯认知科学与概率程序学习的代表人物，2019年麦克阿瑟奖得主。演讲从ChatGPT出发，追问语言与思维的关系，提出「大脑是猜测与下注的机器」这一核心命题，并展示了「脑中的游戏引擎」与概率程序如何刻画直觉物理、直觉心理，以及语言如何在此之上接入。本文依据现场录音编译整理，仅删去口语枝节。

开场：讲者介绍与研究定位

弗里德： 我是丹·弗里德，哈佛大学数学科学与应用中心主任。很高兴欢迎各位来到叶氏讲座（Yip Lectures）的第四讲，这个系列涵盖数学、物理、生理学与心理学。感谢叶氏家族捐资设立这一讲座系列。下面请HT介绍今天的讲者。

主持人： 很高兴特南鲍姆教授答应来做这场讲座。他是麻省理工学院的计算认知科学教授，1993年在耶鲁大学获物理学学士学位，1999年在麻省理工学院获博士学位。他现在领导麻省理工学院的计算认知科学实验室，同时参与该校的「智能探索」（Quest for Intelligence）项目。

特南鲍姆教授以其在数理心理学和贝叶斯认知科学方面的奠基性贡献而闻名，获得过众多奖项与荣誉，我只提其中几项。第一，他的贝叶斯程序学习研究入选《科学美国人》2016年「十大改变世界的想法」。第二，2018年《研发》杂志评选他为年度创新者。第三，他于2019年获得麦克阿瑟奖，表彰他开创性地发展并运用概率与统计建模来研究人类的学习、推理与知觉。让我们欢迎特南鲍姆教授。

特南鲍姆： 谢谢。房间里的各位和楼上的各位都能听到吗？好。能来到这里，我深感荣幸，也感谢各位的到来。今天我要讲的是：如何从一个大脑中生长出一个心智。

各位从刚才的介绍大概已经能猜到，我的研究横跨好几个领域。我首先把自己看作认知科学家，但也做神经科学和人工智能。我们的目标，说到底，是理解智能如何在人类的心智与大脑中产生。但我们采用的做法，有时称为「逆向工程」（reverse engineering）：我们要的是模型和理论，但这些理论要以计算模型的形式表达，并且带有工程的形态。它们有数学，但同时也是工程风格的模型。至少在我们这门科学里，「理解」就是这个意思。这样做还可能带来一种回报，也许会改变世界，也许不会，我们拭目以待：那就是造出以更接近人类的方式实现智能的人工智能系统，让它们能在人类建造的这个世界里，以更有价值、更高效、更安全、总体上更正面的方式存在。

我要讲的是我们做的一些工作，开头先要感谢一批合作者。名单里加粗的，是工作在今天讲座中占有重要位置的人；特别加粗的几位学生，梁力昂（Lionel Wong，又称Leo）、加布里埃尔·格兰德（Gabriel Grand）、亚历克斯·卢（Alex Lew）和泰勒·布鲁克-威尔逊（Tyler Brooke-Wilson），对这场讲座的材料和构想，甚至许多幻灯片，都有重大贡献。我要特别向他们致意。

对于在这个领域工作的人，甚至只是与之相邻的人，眼下是一个格外令人兴奋的时刻，一个令人激动的时刻，有时也是一个令人害怕的时刻。人工智能无处不在。这个领域本身很老了，但就在过去一两年间，它成了每个人谈论的头等话题。

在科学这一侧，随着神经科学和认知科学的进展，我们开始能够研究多种不同大脑中的智能。我们着迷于这样的问题：它们的共同点是什么？大脑究竟有什么一般性的东西定义了智能？当然，我们也看到物种之间的差异，看到人类智能显然有其独特之处。人类是特殊的。我们今天能坐在这个房间里，是有原因的。作为神经科学家和认知科学家，我们研究许多其他动物：小鼠、果蝇、斑马鱼、鸟类、猕猴、黑猩猩。但人类坐在这个房间里，而小鼠和果蝇在田野里，或者躲在角落里，黑猩猩则在某处令人痛心地走向灭绝，这是有原因的。

所以我想用计算的语言来理解，人类智能到底独特在哪里、特殊在哪里。而在人工智能这一侧，面对如此迅猛的进展，我们许多人都在问：它要往哪里去？会不会有一天，人工智能不只是和我们聊天，而是也在追问这些同样的问题，也许和我们一起，也许自己去问？如果是它自己去问，那我们算什么？我们是小鼠，还是黑猩猩？我们心里装着很多事。

规模路线：从神经元到ChatGPT

特南鲍姆： 关于如何从更简单、更基本的大脑走到人类智能，有一种思路，我先从它讲起。这不是我要主张的那一种，但在某种意义上，它是公共讨论的主要话题。而在认知科学内部，大家相当公认还有另一幅图景，那才是我这场讲座的重点。不过先说前一种。

一个想法是，看看能从单个神经元里抽象出什么。这张图来自休伯尔（Hubel）和维泽尔（Wiesel）研究初级视皮层细胞的经典论文。它的思路是，存在某种基本的计算单元：输入与权重做内积，再经过一个非线性变换，然后有一个学习单元，即某种学习规则，通过调整神经元的权重来最小化某个代价函数或目标函数。这是一个非常基本的想法，也非常强大。把它扩展到非常大、非常深的神经网络，比如著名的AlexNet深度卷积网络，再在李飞飞等人建立的ImageNet那样的大数据集上训练，就能做出惊人的事情。十多年前，当足够深、足够大的网络在ImageNet这样足够大的数据集上训练时，计算机视觉经历了深度学习革命。接着，把这类架构稍加变化，比如变成Transformer，再用互联网上能找到的全部文本来训练，实际上就是人类有史以来公开发表的几乎全部语言，你就得到了这样的东西。这个符号我甚至不必解释它代表什么，因为它无处不在，大概就在你们许多人的手机和笔记本电脑里。但我还是说出来：ChatGPT。正是它让人工智能天天登上《纽约时报》和我们所有人的新闻推送。它显然正在从许多方面改变世界。

这种改变之大，以至于许多人在问：这会不会就是那条路，或者至少是一条路，通向真正的通用人工智能？可以肯定的是，ChatGPT和类似的大语言模型呈现给公众的样子，正是人工智能一直以来「应该」呈现的样子：一种能做计算机能做的几乎一切事情的计算机，但你是用说话的方式使用它，你请它替你做事，而不必为它编程。每一部科幻电影都是这样的，不管是C-3PO，还是《星际迷航》里的计算机，或者别的什么例子。我就不提哈尔（HAL）了，好吧，我刚才已经提了。所以我们现在有了以它本该有的方式出现的人工智能。而且这些系统显然是通用的，因为它们能做许多不同的事。

于是很多人在问：在人工智能这一侧，如果我们真要拥有类人的通用人工智能，思维会不会就从这里产生？还有许多人在猜测：也许生物学里发生的正是这回事？只要规模够大，大脑越来越大，思维就出现了。演化中确实发生了这件事：我们的脑是最大的，黑猩猩基本上排第二。大脑袋是有用的。但这只是规模的问题吗？规模就够了吗？

流畅却脆弱：叠塔难题的失败

特南鲍姆： 我不打算就ChatGPT做整场讲座，只举一个例子来说明一种现象。只要稍加留意这些系统，我们都熟悉它：它们能做出一些了不起的事，看上去像思维，某种意义上也确实是某种思维；然而它们又惊人地脆弱。

这个例子来自我在麻省理工学院的前同事、现在斯坦福的埃里克·布林约尔松（Erik Brynjolfsson），他发在推特上，说这件事让他觉得有点毛骨悚然。他向ChatGPT提了一个直觉物理式的问题，而各位稍后会看到，直觉物理正是我在认知科学里喜欢研究的领域之一。他问：怎样用一本书、四个网球、一枚钉子、一个酒杯、一团嚼过的口香糖和五根生意面，搭出一个稳定的堆叠？很疯狂的题目，各位可以自己先想想。ChatGPT的回答是一套系统的操作流程。第一步，把四个网球在平面上摆成正方形，每个球是一个角；然后把书放在四个网球上，确保书的每个角都压在一个网球上，这样书就成了一个平台，形成稳定的底座。它接着往下说了很长。这太厉害了，不是吗？如果你逐条去看，它看上去确实拥有，而且某种意义上我也承认它确实拥有，对物理世界、对物体、对特定摆放下会发生什么以及能拿它们做什么的某种理解。

我们可以再往前走一步。这个例子来自我提到的学生之一泰勒·布鲁克-威尔逊，他刚从麻省理工学院哲学系毕业，现在纽约大学做博士后。泰勒请ChatGPT自己出一系列类似的叠塔挑战题。可以看到它出了「办公用品摩天楼」「园艺塔」「艺术家的攀登」之类的题目，然后再请ChatGPT自己解答。它很有创意，能把这些想法以各种有趣的方式重新组合，从那一个例子和它训练过的其他材料中就学到了这种题目的「体裁」。

但如果你真去看解答，就开始出现令人困惑的东西，能看出它的智能在哪些方面是脆弱的。随便挑一道放大看，它们都差不多。就看「艺术家的攀登」。题目是这样的：用一支画笔、一块不超过8乘10英寸的小画布、一管丙烯颜料、一块调色板和一杯水，搭一座至少12英寸高的塔，结构必须自己站立至少45秒。怎么解？答案是：打开颜料管，用一些颜料把画笔粘到画布上，做成底座；把调色板竖起来靠在画笔上；把水杯平衡在调色板上，必要时用剩下的颜料做粘合剂。

听起来还挺像回事。英语非常流畅，也确实利用了这些物体的一些真实的物理属性和可供性（affordance）。但如果你把它当作一个能真正站住的稳定堆叠来想，这完全是胡说八道。还要说明的是，泰勒在提示语里，也参照了我做过的一些事，明确写道：解不出来没关系，可以表示不确定，或者说你解不了；与其给出一个行不通的方案，不如承认不确定或者承认解不了。但这并没有阻止ChatGPT极富创意地提出一大堆根本行不通的方案。

那么这里到底发生了什么？这些现象，还有许多人写过的其他类似现象，应该促使我们认真追问：语言和思维究竟是什么关系？许多人，包括史蒂文·平克（Steven Pinker），包括今天在座的许多人，多年来尤其是在哈佛，就这个问题写过非常有洞见的东西。从计算的角度看，如果我们设想一种支持语言的认知架构，语言和思维在这个架构里各自扮演什么角色、相互是什么关系？这实际上就是我们这个研究项目要做的事。

「ChatGPT或者大语言模型涌现出了某种思维能力」这个说法里，暗含着这样一幅图景。某种意义上，它是个老想法，可以追溯到信息论的创始人、第一批统计语言模型的建立者香农（Shannon）：预测语言的任务，也就是预测下一个词或下一个字符，或者接下来的一串字符或词，在某种意义上是「智能完备」的。无论是人工智能还是认知，思维实际上都可以被操作化为「前文与后文之间存在的那种潜在的预测结构」。确实有一些任务，比如这里列出的这些，你要补全模式，就必须动用各种常识和关于世界的知识。但语言的表层形式里也有相当明显的规律。所以，光凭句子的前半部分或前面的句子，在语境中预测任何一句话的后续，似乎有可能成为部署甚至训练一个通用智能架构的途径。

然而，一旦落实到任何一个具体的计算系统，比如任何一个具体的Transformer，它是一个有限的架构，在一个有限的数据集上训练，哪怕这个数据集非常大；而且大语言模型或者任何预测序列模型的工作方式，是自回归预测，也就是根据前面所有元素预测下一个元素、词元或词，然后不断向前重复。这样的系统没有任何特别的理由能解决任意问题、执行任意一种思维，哪怕它的潜在结构里储存了大量有意思的知识和理解。这里有几个问题，答案是明确的，也能算出来，但一个自回归语言模型不大可能算出来。人工智能界确实在尝试扩展这些模型，比如所谓「思维链」（chain of thought）或「思维树」（tree of thought）：训练模型一步一步地想，也就是不直接生成答案，不只是把空填上，而是生成中间的计算步骤，这是有帮助的。这些都是移动的靶子，但目前来看，它对上面那道题有帮助，对下面那道题没有。这是大语言模型社区为了让语言模型变成更通用的思维系统而正在做的事情之一。ChatGPT和同类模型里还有另一些非常重要的东西，比如所谓「基于人类反馈的强化学习」（RLHF），把模型调校得不仅能预测语言中的下一个词元，还能预测人们倾向于点赞而不是点踩的那类回答。

这条以规模通向智能的路线，表达的愿景仍然是把语言放在中心，说「语言里的全部模式就足够了」；从架构上讲，就是说语言是思维的基底。正如平克和其他许多人写过的，这里面有真实的问题。我不展开，只推荐各位去读平克的著作，比如《思想本质》（The Stuff of Thought），那是一本很好的经典入门书。

脑科学证据：语言与思维分离

特南鲍姆： 我再从认知科学和神经科学给几个视角。比如我在麻省理工学院的同事伊芙琳娜·费多连科（Ev Fedorenko）的工作，下面几张幻灯片是从她那里借来的。她和其他许多人用功能磁共振成像及其他神经影像手段，加上人类神经电记录、神经心理学和行为学方法，研究人脑中的语言网络。这个系统人们已经研究了一百多年，用过各种方法。它是一组脑区构成的网络，特异地参与语言的使用，既包括说，就像我现在做的，也包括理解，我希望各位正在做的；还包括读和写。用什么形式都无所谓：盲人可以学盲文，语言就是语言。

你从小说哪种语言也无所谓，哪怕你学的是人造语言，比如克林贡语或《权力的游戏》里的多斯拉克语。只要你是流利的使用者，费多连科和同事们发现，你的语言网络会以基本相同的方式激活。至于大语言模型，也就是这些预测型Transformer，我和马丁·施林普夫（Martin Schrimpf）、费多连科等同事做过一点工作，我在其中角色很小：按今天的标准算是小型语言模型的GPT-2，能为人脑语言区在语言加工任务中的反应提供一个相当不错、至少是最先进的定量预测模型。

这很有意思。我并不是要说语言模型没有告诉我们关于语言的任何东西。费多连科和同事凯尔·马霍瓦尔德（Kyle Mahowald）、安娜·伊万诺娃（Anna Ivanova），还有我们一群人，合写了一篇即将发表在《认知科学趋势》（Trends in Cognitive Sciences）上的文章，试图阐述当代计算与认知神经科学对语言与思维关系的看法。我也推荐各位去读，里面有很多好的视角。这个团队参与了最早一批把大语言模型（今天我们可能会叫它们小语言模型）应用于脑科学的研究。这些模型所用的训练数据，其实更接近一个人可能得到的训练数据。它们表现不差，至少是我们目前对人脑反应最好的定量预测模型，而且远好于更简单的语言模型。

但请记住，没有人认为GPT-2是通用智能模型。它开始捕捉到大量句法，以及一些句法与语义的接口，很有意思，但肯定没有捕捉到通用智能，也没有捕捉到全部语义。而费多连科和同事们还证明了另一件事：语言网络，也就是能被中小型神经语言模型建模的那一部分，真的只管语言。当人们做其他任务时，包括某些方面与语言相似的任务，比如解代数方程、理解代码、做其他类型的逻辑推理，只要你知道怎样仔细地看，就会发现语言网络并不参与。同样，脑损伤可以选择性地只损害语言，而不损害其他形式的、比如说符号性的思维。结论就是：在大脑里，语言和思维是两回事。

发展与演化：思维先于语言

特南鲍姆： 但我认为更有说服力的视角来自发展的角度：儿童是怎样成长出智能的？从图灵开始，人工智能研究者，当然也包括我自己的人工智能研究，一直深受「儿童如何成长出智能」这个问题的启发。想一想就会明白：正如人类智能是独一无二的，人类作为学习机器也是独一无二的。人类儿童是已知宇宙中唯一一种能可靠地从少得多的起点成长为完整人类智能的学习机器。所以我们来看看他们如何学会思考、如何学会语言。

再引用一位杰出的哈佛同事、心理学系的伊丽莎白·斯佩尔克（Elizabeth Spelke），这是她最近出版的书。她和婴儿认知领域的许多人已经详细阐明，人类婴儿在学会语言之前很久，就已经拥有各种思维系统：思考物理对象的系统，思考其他主体及其目标和计划、他们如何与物理世界和彼此互动的系统，等等。所以从发展上看，思维显然在先。而且我们这个领域的理解，或者说信念（它介于信念和一组有充分支持的事实之间，仍有争论），是这一点至关重要：人类在学语言之前就拥有的知识，正是我们能够用比大语言模型少得多的数据学会语言的关键。最新的模型可能用一万亿个词训练，而一个人类儿童，据估计每年大约听到五百万个词，头二十年加起来大概一亿个词。按今天人工智能的标准，这是一个非常非常小的语料库。

发展领域最有意思的，也许是苏珊·戈尔丁-梅多（Susan Goldin-Meadow）的工作。每次讲到她的工作，我都觉得深受鼓舞。她和同事、学生长期研究「家庭手语」（home sign），以及相关现象，比如尼加拉瓜手语。家庭手语指的是这样一种现象：先天失聪的孩子如果得不到手语输入，也就是基本得不到任何语言输入，他们仍然会可靠地构建出自己的交流系统，类似于原始语言。它们还不是语言，但已经是表达思想、并且确实能与周围人交流的系统，具备语言的许多特征。这说明人类心智里有某种东西，是语言的创造者，而不是反过来。不是靠大量语言训练出来的；语言来自心智，而且哪怕是单个的人，在得不到语言输入的情况下，也能开始创造自己的语言。

尼加拉瓜手语是一个著名案例：一所孤儿院把一批家庭手语者聚在一起，这些孩子成长中基本没有任何标准自然语言的输入，各有各的家庭手语。但他们摸索出了彼此交流的办法，形成了一些人所说的皮钦语，然后是克里奥尔语，基本上是在短短几代人之间从零创造出一门全新的语言。所以当你思考语言与思维的关系时，这在我看来是非常了不起的事：一个没有语言输入的人会开始寻找符号化的方式来表达自己的思想；把几个这样的人放在一起，几乎转眼之间，用极少的数据和经验（相比造就了整个互联网的人类文化而言），他们就创造出一门全新的语言，而文化随即围绕它演化起来。这是在告诉我们一些东西。

也许最引人注目的，还不只是发展的角度，而是演化的角度。果蝇或斑马鱼这类生物只有十万个神经元，蜜蜂大约一百万，小鼠几千万；传统上被认为聪明的动物，比如大猿或乌鸦，它们会使用工具。它们都没有语言，却都以某种形式思考。没有人会否认，黑猩猩或乌鸦解决工具使用和物理问题时，当然是在思考。我对斑马鱼有一份特别的喜爱，因为我以很小的合作者身份参与过哈佛弗洛里安·恩格特（Florian Engert）实验室的一项工作，由安德鲁·博尔顿（Andrew Bolton）主持。恩格特等人长期研究斑马鱼，研究能从它的大脑里得到什么；在博尔顿的这个项目里，研究的是行为。他做了三维心理物理学实验，看斑马鱼如何捕食。各位如果不了解，幼体斑马鱼非常小，要用显微镜研究；而它们捕食的东西更小，是单细胞生物草履虫。

草履虫的运动是半随机的，但不完全随机，斑马鱼试图捕捉它们。博尔顿和同事们证明，斑马鱼对草履虫有一种预测模型。某种意义上，它能猜测草履虫要去哪里，并对怎样到达那里下注。你之所以能看出它在猜测，是因为它的动作是一组离散的动作：它会转动身体，有点像各位玩过的电子游戏的手柄；它有小小的鳍可以拍打，有尾巴可以摆动，基本上就是一连串多少有些离散的动作，一阵一阵地前进和转向。它会可靠地跟踪和追捕一只草履虫，但关键在于，它不是游向草履虫现在的位置，而是游向一个简单但近乎最优的统计预测器所预测的、草履虫将要到达的位置。如果草履虫继续按原来的方向运动，斑马鱼就抓住它；如果它稍微偏离，斑马鱼可能就放弃，去别处。这就是博尔顿等人研究的基本心理物理学。可以看到，在一个几乎没有学习、只有十万个神经元的大脑里，你已经能看到我们所谓智能的雏形。然后，随着我们大得多、也更有人类特色、更聪明的大脑，它以各种方式扩展开来。

和黑猩猩、乌鸦一样，我们是顶尖的物理问题解决者。比如这个一岁的孩子，他在解决一个大概从没见人示范过的问题：叠杯子，但不是用孩子们通常的叠法，而是把杯子叠在一只猫的背上。他好像给自己定了目标，要像中世纪修士那样看看一只猫背上能放几个杯子。他发现大概是四个，然后换了个更容易的目标：把杯子弄到猫的另一边去。视频里我最喜欢的部分是刚才那一幕，他伸手向后去拿那个紫色的杯子，这是一岁孩子身上非常突出的客体永久性（object permanence）：他至少有一分钟、甚至更久没有看到也没有碰到那个杯子。孩子大一些之后会做更复杂的事，比如这个孩子用乐高搭一座大塔。还有一个很好的物理问题解决的例子，来自我的同事凯尔西·艾伦（Kelsey Allen），她现在在DeepMind，明年将去温哥华的不列颠哥伦比亚大学任教，稍后我会展示她的一些工作。这个例子是她研究的那类情形：这个孩子在玩复活节找彩蛋，彩蛋在左上角，他够不着，于是想到也许可以用那把铲子去够。这大概不是他见过示范的铲子用法，他就是自己想出来的。当然，发现不行之后，他换了模式，改抓铲子的另一头，把铲子头当把手，也许这样行。你们觉得呢？他没来得及弄清楚，因为他姐姐来了。不过最终也还好。这些孩子可爱又贴心，至少有些是，但每一个都聪明得惊人。

这种对物理世界的常识性理解，以及在物理世界中聪明地行动和规划的能力，是我们从演化中继承来的，但也能看出，它在人类身上通过生物演化和文化演化共同发展出了独特的形态。接着，如果要谈人类特有的规模扩展方式，那就是语言进入图景的时候：当孩子大到能学会口语，尤其是能阅读的时候，那才是真正的奇点。在这个意义上，人工智能里的语言模型确实抓住了人类通向智能的规模化路径中某种重要的东西。人类智能的那项独一无二的成就，是文化以社会的方式、并且跨代地集体建立起来的知识；我们通过书面语言以及其他持久的载体，还有口头传统，接入这些知识，再为之添砖加瓦。我们为什么要来大学？我们为什么要建大学？我们今天坐在这里，基本上就是为了这个目的。讲课、交谈、研讨、写论文、读论文，我们之所以认定这些活动是共享和共建知识的独一无二的好办法，是有原因的。但我们能走到这一步，是建立在前面各位看到的那一切之上的。

核心命题：大脑是猜测与下注机器

特南鲍姆： 所以我们这个领域要理解的是，如何用计算的语言把这些想法表达出来。我要说，这里反映的是我个人的观点，但也是计算认知科学以及人工智能其他分支里许多人的共识，这些分支你在新闻里听得不多，原因可以理解，但你应该多听听。

我们的理解是这样的，这个看法带点主观，但我认为也有事实根据：大脑身上那个在人类身上得到扩展、又被语言进一步放大的根本之物，不是学习。人类大脑是了不起的学习机器，但你在简单得多的大脑里看到的那种智能，在语言之前就存在，甚至在任何显著的学习之前就存在。大脑的根本计算功能，是做出好的猜测和好的下注，并且借助某种世界模型来做这件事。连那条斑马鱼都有一个简单的世界模型。它很简单，比你我或者黑猩猩、乌鸦的模型受限得多，也远没有那么灵活。但核心想法是：大脑做的事，实际上是在多个粒度、多个抽象和一般性的层次上建立世界模型，用这些模型弄清楚外面有什么，把感官数据理解为关于世界、关于自身在世界中的位置的信息，对许多动物来说，还包括其他主体，无论是同类、捕食者还是猎物。然后用这些模型对如何花费时间、能量和其他资源做出好的下注：下一步做什么，或者下一步想什么。

这个方程来自马克斯·克莱曼-韦纳（Max Kleiman-Weiner）的一张幻灯片，灵感来自彼得·诺维格（Peter Norvig）。诺维格和斯图尔特·罗素（Stuart Russell）合写了人工智能领域大概最经典的教科书《人工智能：一种现代方法》。这个书名有点怪，因为书最初写于上世纪九十年代中期，而「现代」这个词的含义大家都知道一直在被重新定义。我想问一下，读过或者至少翻开过这本书的请举手。好。如果你在这里，又对人工智能有任何兴趣，都应该去找这本书来读。它有很多版，最新一版几年前刚出。我之所以推荐这本书，是因为当前围绕人工智能的讨论，绝大部分其实只是在谈ChatGPT和相关的大语言模型，而把这个领域的大量基础都撇在一边，这很惊人。很多人，尤其是这几年入行的学生，可以在不学这个领域大部分基础的情况下，成功而高效地做我们称为人工智能的事。但当你翻开这本书，会看到一套几十年发展起来的工具，它们大致都可以用这个基本方程来表达。某种意义上，它回到了理性的经典观念，各位在经济学或任何研究理性决策的学科里都熟悉：一个理性主体（rational agent）选择行动以最大化期望效用。这作为理性的一种形式化，已有几百年历史。

人工智能和计算认知科学做的事，是试图刻画心智的不同方面、不同组件、不同的表征和算法，说明它们各自如何把这个想法兑现。令人兴奋的是，现代语言模型和其他技术还让我们看到语言可能在哪里进入图景。如果大脑从根本上是为做这类事情而演化的，然后语言进来了，那么我们学习语言，基本上就是把语言翻译成或关联到那些用于理性推断和决策的表征；但语言同时也大大地放大和扩展了它们，因为语言使得新的世界建模、新的推断和规划成为可能，那些是没有语言时我们根本无法设想的。这就是我和其他许多人一直在做的事情的路线图，从高层次讲。

你可能会问：在这张路线图上，我们走了多远？和大规模神经计算取得的成果相比，我们接近了吗？显然还没到，否则你在新闻里读到的就是这些，而不是ChatGPT。这条路线之所以没有更广为人知，某种程度上是因为走这条路的人虽然已经取得了不少进展，但前面的路还很长。我们写了大量论文，但除非你读文献，否则很难了解。为了弥补这一点，我和几位同事，特别是汤姆·格里菲思（Tom Griffiths）和尼克·查特（Nick Chater），还有许多贡献了章节的作者，合作了一本即将出版的书。幻灯片上那个日期只是我编译LaTeX文件的日期，书今年晚些时候出版。恕我自夸，我觉得这是一本很好的书，我可以这么说，一部分是因为我参与了这本书的构想并做了不少工作，但真正领头的是格里菲思，还有查特，以及许多贡献章节的作者。它介于教科书和研究专著之间，不是通俗读物，但在座任何人都能读，可以从中了解这套理性推断与决策的工具包，某种意义上就是最大化期望效用式的思维，如何被用来理解并且真正逆向工程人类认知的方方面面。

我只展示其中的一两个方面，然后回到语言。因为虽然我从语言讲起，人人都在谈语言模型，语言也确实是人类的奇点，但这条路线的核心，是语言建立在那些古老得多的常识表征之上。

脑中的游戏引擎与概率程序

特南鲍姆： 为了思考直觉物理，以及因果推理和直觉心理学里的相关问题，我们和其他人发展了两个想法。第一个，我们有时概括为「脑中的游戏引擎」（the game engine in your head）。想法是，电子游戏产业开发的那套工具，各位可能因为玩游戏或编写游戏而熟悉，统称为「游戏引擎」的那些东西，也许正是用工程语言来思考斯佩尔克所说的「核心知识」（core knowledge）的一种方式，也就是思考那些内置于我们大脑、也许与许多动物共享的表征、算法和程序。

游戏引擎，如果各位不熟悉，是一种非常快速（至少设计目标是非常快速）但近似地创建和模拟交互式世界的方法。它包括图形、物理，也许还有对其他主体的建模，总之是让玩家沉浸在一个也许陌生、却又奇怪地熟悉的世界里所需的一切。这是《塞尔达》系列的一款游戏。这个世界里有各种魔法和物理挑战，玩家在解决一个物理问题，有点像那个用铲子的孩子想拿到复活节彩蛋，但在这里玩家得传送，得扔东西，东西会神奇地粘在别的东西上，是一种奇怪的物理变体。它在物理上不可能，你却能一下子看懂。软件让这种高度交互、高度灵活的物理问题解决成为可能。

这类游戏式物理引擎不一定按物理学家的方式建模物理，虽然它们借鉴物理学，但为了高效地处理各种各样的物理场景，它们做了各种近似和权宜之计。物理引擎不需要正确，只需要看上去像样，或者在短时间尺度上看上去足够像样。在这个意义上，它们也符合我们认为大脑所看重的许多性能特征。这张幻灯片和这些图像稍加修改自哈佛另一位杰出同事托默·乌尔曼（Tomer Ullman）的幻灯片。想了解这个想法，可以读乌尔曼几年前发表在《认知科学趋势》上的论文《心智游戏》（Mind Games），那大概是这个想法最好的书面入门。另一张图也来自乌尔曼，它说明了我们说「脑中的游戏引擎」时指什么：我们指的不是一个用来训练某个机器学习算法的模拟训练场，那也是一种可能的用法，游戏引擎在人工智能里确实经常这么用；我们指的是用工程语言刻画这个孩子看到积木和上面的鸟时脑子里发生的事。这很像我们刚才把GPT放进去的那种情境，但这个孩子会想象：它稳不稳？如果我把这个球滚过去会怎样？他在心里模拟碰撞和后果，然后想：这是我想要的吗？这就是这种工程框架如何用来刻画早期常识性世界建模的某些方面。

但它要真正成为一个智能的框架，在做出好的猜测和下注、做最大化期望效用的事情这个意义上，就必须是概率性的，而且不只是概率性的。我们这个研究项目的另一个关键技术思想，叫做「概率程序」（probabilistic programs）。和神经网络类似，这是一个笼统的说法，涵盖多年甚至几十年间演化出来的一组思想。可以把它看作从工程角度把几种理解智能的计算范式中最好的特性结合起来。它包括概率推断或贝叶斯推断，也就是从观察到的结果反推可能的原因；但也包括符号程序，比如根据程序的输出对其输入做概率推断。这很重要，因为如果你想刻画直觉物理这样的东西，只说「有某个高维高斯分布」或者「有某种弱非线性的东西」是不够的。你需要拿一个物理引擎模拟器，把它当作概率模型的核心。它描述世界中的因果过程，于是你可以做概率推断：如果我这么做，可能发生什么？我看到那个结果时，输入大概是什么？这东西有多重？施加了什么力？现代概率编程语言还整合了神经网络。我固然在论证，我们所说的神经网络，也就是人工神经网络里那种试图把单个神经元或一个神经元网络的功能规模化的计算抽象，不是理解人类智能来源的最佳工程方式；但它仍然很有价值，可微系统、用向量做分布式表征、联想记忆，这些都是非常强大的思想。现代概率编程语言让你把这三种母题结合起来，这非常有力量。

直觉物理实验：积木塔到台球

特南鲍姆： 下面举几个例子，说明我们如何用这套东西刻画语言之前就存在的常识智能，然后再简单说说语言如何在此之上建立。

和乌尔曼以及其他一些同事一起，我们建立了一些模型，有时统称为「直觉物理引擎」（intuitive physics engine）。它取游戏引擎中的物理引擎部分，包裹在一个概率推断与近似模拟的框架里，用来建模人们对这类积木塔场景做出的各种常识判断。所以不难理解我为什么会对那些用语言模型探索叠塔的事情感兴趣。比如给出左边这些堆叠，你可以问：这座塔有多稳？倒的可能性多大？如果倒，会往哪边倒？积木会掉多远？如果部分积木换了颜色，而不同颜色的积木重量不同，会怎样？

比如，如果我告诉你灰色积木比绿色积木重十倍，那么对于上面和左边这两座塔，你对倒向哪边的预测就会不同。积木的几何形状完全一样，我只是重新上了色，但你脑中的物理引擎，或者不管你有什么样的心理物理模拟器，会做出不同的预测。这说明它既对质量敏感，又可以被我用一句话「编程」：灰的比绿的重十倍。或者，看到这些出人意料地稳定的场景，你能推断出哪些积木可能比另一些重得多，从而解释它们为什么不倒吗？在每一种情形下，我们都能基于这个想法建立定量预测模型。我不讲细节，但稍后会给各位看一眼模拟器。我们的实验做法是：给被试一批不同的刺激，控制某些变异来源，比如堆叠的复杂程度、以不同方式表现出来的不稳定程度，同时控制其他混淆因素；然后测量，比如请被试在一到七的量表上打分，或者做二选一的强迫选择，再把一批人的结果汇总，也可以看反应时。测量关于稳定性的分级直觉有很多办法。

这张图的纵轴是一组被试对五六十座不同积木塔的平均稳定性判断，横轴是模型预测，即在一个近似的游戏式物理引擎里做少量模拟后取平均的结果。这个模拟器的概率性体现在，场景里有若干东西是视觉刺激不能完全确定的：我们不知道积木的精确位置，单凭一张图片不可能完美地解决逆向图形学问题；我们不知道摩擦系数的准确值；我们还允许可能存在的力扰动，比如一阵风，或者有人撞了桌子。在这些不确定性之下（这一点非常重要），我们可以推断出某些堆叠更稳或更不稳，倒下的积木更多或更少，或者根本不倒。横轴的模型预测与纵轴的人类判断之间有很好的相关。

同样的做法还能扩展到一种更奇怪的任务。和心理学里的许多实验一样，我们研究心智的办法是给你一些你没什么经验的东西，这样才能弄清你做的事不是简单学来的。「积木塔会不会倒」这个问题很多人都有相当的经验，玩过叠叠乐（Jenga）的人经验就更多。但我可以给你看一个类似的场景，比如这些放着红色和黄色积木的桌子，然后问一个如果你没听过我讲、大概从来没想过的问题：如果你狠狠撞一下桌子，把一些积木撞到地上，地上的积木更可能是红的还是黄的？人们同样能做出分级判断，就是纵轴；模型也能做出分级判断。对于这个非常古怪的问题，模型的预测力几乎和它对「有多大可能倒」这个熟悉得多的任务的预测力一样好。

这是怎么做到的？因为我们的系统不是在数据上训练，而是建了一个模型，在做模拟，而且只做少量非常粗糙的概率模拟。我具体说明一下。这是模拟器在其中一个场景上的运行窗口。这里我模拟了轻轻撞一下桌子；这里是同一配置下撞得更狠。模拟器以半随机的方式，概率性地尝试几种不同大小、几个不同角度的撞击。把少数几次模拟的结果汇总起来，就足以对这个问题给出相当合理的答案。模拟也不必跑很久。可以看到，头几个时间步之后，至少对许多场景，你已经知道答案了，或者知道自己不确定。所以我们只需要跑少量模拟，每次只跑少量时间步，而且可以用低分辨率跑，就足以刻画那里发生的事。这至少让各位窥见了我们如何用这些工具建模大脑做出的猜测和下注。

在动态任务里我们可以做类似的事。比如凯文·史密斯（Kevin Smith）和同事的这项工作：一个台球在桌面上弹来弹去，你要预测它先碰到红色的面还是绿色的面。我们可以搞点互动。如果你觉得它会碰红色，就喊「噢」；觉得会碰绿色，就喊「啊」。开始。得快点，它马上要碰红色了。噢。如果我没有操作失误，你们本来会先喊「噢」，再喊「啊」。但我搞砸了。不过你们可以在心里模拟。注意，刚开始的时候，大多数人相当确定它会擦到红色，结果它刚好没碰到；你要过一会儿才有把握，通常要到差不多这个位置，才确信它会碰绿色。人们能够模拟，但在这类开放场景里，通常最多只能模拟一两次反弹。我们的刻画方式是，假设人们做的是刚才那种模拟的动态版本，同样带有噪声或不确定性：球的位置和速度的轨迹有不确定性，尤其是反弹，因为除非你是有经验的台球玩家，否则你对如何外推反弹相当没把握。这个模型，图上显示的是概率模拟产生的不确定性锥，只要把几次模拟的结果加起来，就能刻画人们「大概是红，然后不确定，然后大概是绿」的倾向。

更定量地说，这项研究有一百个不同场景，我这里展示四个，画的是动态轨迹：上面是人，下面是模型，显示分级信心如何随场景推进而变化。数据有很多有趣的结构。有些场景，人们非常确定是一种，然后切换到另一种；有时很长时间都不确定，然后突然明朗；有时切换好几次。这个模型能够刻画这么多，实在令人惊叹。

我还有幸和埃德·武尔（Ed Vul）合作，他很早以前在我实验室，现在在加州大学圣迭戈分校和亚马逊。我们和婴儿研究者安娜·特格拉斯（Erno Téglás）、卢卡·博纳蒂（Luca Bonatti）等人一起研究婴儿的直觉物理。十二个月大的婴儿看这样的场景，像一台小小的糖球抽奖机：物体在里面弹跳一会儿，然后被遮挡一段时间，最后一个物体出现。实验各条件之间变化的是：最终出现的那种颜色的物体是多还是少（三个还是一个）、遮挡时刻这些物体的位置、遮挡时长。一个非常简单的概率物理模拟模型能根据这些变量做出不同预测。考虑到从婴儿身上获取定量行为数据极其困难，它以一种整合的、相当有说服力的定量方式刻画了婴儿的不确定预测。研究婴儿心智的经典方法，是斯佩尔克等人开创的「违反预期」范式或其他注视时长测量：大人和婴儿一样，看到令人惊讶的东西会看得更久。在这里，注视时长可以由这类物理模型中的逆概率做定量预测。

最近的一些工作，来自我们实验室的萨姆·沙耶特（Sam Cheyette）和特雷西·米尔斯（Tracey Mills），研究人们如何预测一个运动点的简单序列。这远远超出了物理，可以带有更丰富的结构，几乎是各种算法或程序的结构。仅仅是预测接下来会发生什么的能力，就是研究心智模型及其如何用于在世界中猜测和下注的一种强有力的方法。而且这些能力是人类独有的，沙耶特等人用猕猴做的研究表明了这一点；它们从儿童期到成年期有显著发展，不过目前看来，人类儿童更像成人，而不像猕猴。

工具游戏与直觉心理学

特南鲍姆： 前面我提到艾伦和史密斯等人的工作，也就是展示用铲子的孩子时提到的。限于时间，我基本跳过，只推荐各位去读他们发表在《美国科学院院刊》和即将发表的论文。为了研究人们如何使用工具、如何灵活地运用直觉物理来使用工具，艾伦和史密斯设计了一个很酷的电子游戏，我们叫它「虚拟工具游戏」。你的目标始终是把红色物体稳稳地弄进绿色区域。你的操作是选一个物体，也就是一件工具，把它扔进场景，然后物理过程展开，你看结果如何。人们很喜欢玩这个游戏。各位可以去麻省理工学院博物馆亲自玩，它是肯德尔广场新馆人工智能展的一部分。和许多其他类型的物理问题解决一样，但与机器学习里通常所说的强化学习非常不同，这是一种强化学习任务：你行动，得到一些反馈，再行动，从试错中学习。但在这个游戏的许多关卡里，人们学得极快，有时只要两三次尝试，很少超过五到十次。

我们的建模方式，基本上是把那个模拟器放进循环：有一个过程从一个非常简单的先验出发，想象解决问题的可能方式，试图引发碰撞或物体之间的相互作用，想象会发生什么。如果你在脑子里试了几次，找到一个很可能在现实中奏效的模拟，你就去试；否则就在空间的另一部分重新采样，重复这个过程。这能相当精确地刻画人们的学习曲线。这是物理游戏里二十个不同关卡的红蓝两条曲线：蓝线是人的累计成功概率随尝试次数的变化，红线是模型。所以，这个「在脑子里试几个想法，有一个看上去可行就到现实中试，失败了就重来」的想法，既刻画了人们觉得哪些题难、哪些题容易，也刻画了最终的成功水平（有些题人们并不总能解出来），还刻画了学习的相对速率，也就是你需要几次尝试才能想明白。

关于直觉物理我基本就讲到这里，关于常识也基本讲到这里。我想留最后几分钟谈语言。这里只指一下另外一整条工作线，部分是和这里的丽贝卡·萨克斯（Rebecca Saxe）合作的，她是我的好友和麻省理工学院同事；还有其他一些人，比如曾是我的研究生的朱利安·哈拉-埃廷格（Julian Jara-Ettinger），以及同在麻省理工学院的劳拉·舒尔茨（Laura Schulz），舒尔茨在其中很多工作里都有参与。如果你想了解这条平行的研究线，也就是在刻画物理世界因果结构的程序之上做概率推断，只不过这里是社会主体如何与之互动，可以读哈拉-埃廷格等人在《认知科学趋势》上的另一篇好文章《朴素效用演算》（The Naive Utility Calculus），2016年发表。顺便说，哈拉-埃廷格现在是耶鲁大学心理学系的教员。这是我参与过的工作中最喜欢的一部分。

我们在这里做的，同样是用程序来描述世界，但现在的程序以知觉和目标为输入，规划行动。这些模型实际上也在做理性决策：目标是主体的奖励来源，行动有代价。在这项工作里，我们把主体建模为制定计划的人，也就是根据他对世界的信念，选择一连串行动来最大化期望效用，选择支持自己目标的行动，等等。但关键在于，这些不是关于人类主体的模型，而是关于「人类主体对其他主体的模型」的模型，那些其他主体也可能不是人类。比如凯莉·哈姆林（Kiley Hamlin）等人用小球做的研究，或者海德尔（Heider）和西梅尔（Simmel）、格尔盖伊（Gergely）和奇布拉（Csibra）的经典工作，这些延续多年的漂亮研究表明，人类成年人甚至婴儿，都能理解那些按照高效行动规划原则运动的小形状。

在这条研究线里，我们用类似的刺激来研究。比如克里斯·贝克（Chris Baker）和哈拉-埃廷格与萨克斯和我一起做的「餐车」刺激：一个主体在世界里移动，寻找校园里停在两个黄色停车位之一的几辆餐车中的某一辆，可能是韩国餐车、黎巴嫩餐车或墨西哥餐车，不同的日子停在不同的位置。当一个主体走出来，绕过楼房看到黎巴嫩餐车，然后转身回到韩国餐车，你问：这个主体最喜欢什么？韩国菜、黎巴嫩菜还是墨西哥菜？人们推断，其实是墨西哥菜。这就是右边「欲望」下面标着M的那根柱子：墨西哥菜是她的最爱，尽管场景里根本没有出现墨西哥餐车。因为要解释她为什么走一条高效的路线，却不是走向她实际的目标，而是走向她以为可能在那里的东西，这是最好的解释。我们还问人们：这个主体最初的信念是什么？他们回答，和我们的模型预测的一样，她大概以为墨西哥餐车在那里。这是她最初的信念，也是她想要的，所以她才绕到另一边去看。而她之所以回头，是因为餐车不在那里，她到了那儿才发现。在许多不同的刺激上，我们以受控方式变换刺激，这个模型能够定量预测人们对主体的欲望和信念的推断，以及两者如何相互作用。因为在这样的场景里，只有假定一个不在场的目标，加上一个「它很可能在那里」的错误初始信念，才能解释她的行动。

这只是尝一尝这套工具包的味道：这里是一种双重贝叶斯式的、近似理性的概率推断，推断的对象是其他近似理性的主体自己所做的推断。它能够刻画我们常识世界模型的核心方面。

语言如何接入：从词模型到世界模型

特南鲍姆： 那么语言如何进入这幅图景？我时间已经不多了，实际上我想已经超时了。但我在开头许下了承诺，希望各位再给我五六分钟，让我基本上是推介一下我在致谢中提到的两位学生的一篇很好的论文。

准确说，作者有一群人，但共同第一作者是梁力昂和格兰德，卢也起了关键作用，还有我的几位教员同事，雅各布·安德烈亚斯（Jacob Andreas）、维卡什·曼辛卡（Vikash Mansinghka）和诺亚·古德曼（Noah Goodman）。这篇论文可以在arXiv上找到，目前正在为几个不同的发表目标修改。它非常长，正被拆成几部分，我建议各位至少读第一部分，喜欢的话再往下读。我们写这篇论文时，管它叫「白皮书」，因为它其实是一个研究纲领的路线图，而不是一组研究结果。它试图展示一条路径：把现代语言模型，以及捕捉语言统计规律的种种方法，建立在我刚才展示的那类常识知识之上，通过概率程序这套机制，让它们得到放大和扩展，变得强大得多。

论文考虑的是我们用语言来指导和组织思维的种种方式，不管是在直觉物理、直觉心理学还是其他领域；也考虑语言扩展思维的种种方式：我们如何学到新概念，或者通过别人明确的解释，或者隐含地从人们在特定句式和模式中使用语言的方式里学到；甚至建立起整套新的直觉理论，而这些理论大多是别人告诉我们的。我们要解释的就是：你是怎么做到这些的？以及我们如何借此理解当前大语言模型里的智能是什么、缺了什么、什么是更接近人类的前进方向。

论文的核心想法是把两样东西结合起来。第一样是我们所说的「概率性的思维语言」（probabilistic language of thought）。这来自一本较新的关于概念的书里的一章，说较新，是相对于劳伦斯（Laurence）和马戈利斯（Margolis）那本更老的概念书，其实也是十年前的了，那一章由古德曼、托比·格斯滕伯格（Tobias Gerstenberg）和我合写，解释了如何使用一种概率编程语言。要进一步了解那一章里的概率编程语言，可以看probmods.org这个网络教材，就是这里显示的这个。这个例子用的是概率编程语言Church。我们在这本网络教材里展示的是，只用这一种编程语言，它是Lisp的一个变体，就能以我们使用Lisp的方式刻画结构化的概率模型，比如直觉物理、直觉心理学等等。也就是说，我们有一种概率编程语言，能刻画各位刚才看到的基本上全部认知模型，所有这些关于猜测与下注、做近似理性的期望效用推断的框架。我们主张，它可以为所有这些常识模型提供一个统一的基底。

第二样，是我们在近期大语言模型身上看到的：它们不只是自然语言的模型，它们也用代码训练，用许多种编程语言的源代码训练。而源代码，正如人们常说但我认为没有被充分领会的那样，是设计给人读和写的编程语言或程序，而不只是给机器执行或阅读的。人们常指出编程语言和自然语言非常不同，但源代码，不管是Python、JavaScript还是Lisp，写出来的方式往往仍然相当像语言：句法上有些相似，比如层次化的短语结构；尤其相似的是我们给变量和函数命名的方式，当然还有代码注释。所以某种意义上可以说，这篇论文的想法是把「源代码」当作思维语言的隐喻：把自然语言和概率编程语言里的程序混在一起。

论文展示的是，可以用一个甚至算不上最先进的语言模型，一个早期的「代码大模型」，即OpenAI的Codex，来定义一个概率性的翻译映射，从自然语言到概率编程语言（本文里是Church），原则上也可以反过来，但论文主要做正向；然后把它应用到许多不同领域。我只展示一个应用，把话题拉回直觉物理。各位还记得，我们用自然语言来提问，来描述你也许从未做过的直觉物理推理。现在我们基本上可以建立一个端到端的、由语言条件化和语言指导的直觉物理模型：取一个能刻画刚才那种桌面物理的二维物理引擎，用一个代码大模型来刻画这样一个想法，即语言在语境中的意义可以看作一种翻译。比如对一个桌面场景的描述：有一摞高高的红色积木，还有两摞矮矮的黄色积木。问题还是那个：如果我狠狠撞一下桌子，把一些积木撞到地上，红的多还是黄的多？模型能把这段话翻译成内部代码，然后跑这样一个模拟。这不是看到的，而是想象出来的：这是模型根据那段语言运行的心理模拟的一个视图。我们也可以描述更复杂的场景，想象出相应的、更复杂的物理场景，模拟那里发生的事。

本质上，这只是把同样的几样东西模块化地组合起来：一个语言系统，假定类似人脑里的那个，把我们说的和听的翻译成某种心理语言；这种心理语言配置大脑的物理引擎；引擎跑少量的概率模拟。仅凭这些，就足以得到一个有定量预测力的模型，几乎和前面我们亲手为模型设定场景时的预测力相当，虽然稍逊一点。这只是这条正在进行的工作线的一点味道，由我提到的那些学生和其他一些人在推进。要说明的是，这篇论文是和梁力昂、格兰德一起做的，但实验和建模研究是和塞德·约翰（Cedegao Zhang，图上那位）一起做的，他也是麻省理工学院的学生。我们和其他人正在心智理论和社会认知领域推进类似的研究，我只能说，敬请期待。

结论：理解、意义与开放的AI

特南鲍姆： 最后说几句我们要往哪里去，这点我忍不住要讲。认知科学以及所有相关领域，语言学、哲学，当然还有人工智能，长期以来都在问：意义是什么？理解语言是什么意思？用语言传达的一个思想是什么？在我展示的这幅工程草图里，有朝向一种意义理论的一步，如果我敢这么说的话。只是一步，还有很多要填补。但这个想法在不同形式下有很长的历史，而现在我认为我们有条件用工程的方式把它抓住：不是抽象地看意义，而是看语境中的意义。一段语言在语境中意味着什么？一个词、一个短语、一个句子，放在这句话的其余部分、放在前面的其他句子里，或者放在你借助知觉系统等其他途径建立起来的对当前情境的模型里，意味着什么？答案是某种自然语言与代码之间的联合分布，但这里的代码是一种概率性的思维编程语言。这个联合分布是核心对象，代码大模型结合概率推断能够刻画它。把这些部件拼起来，你至少就有了一些积木，可以把各个领域里传统上关于意义的几种不同看法统一起来。

意义是什么？是形式语义学那样的东西，即思想的组合式逻辑构造吗？是分布式词嵌入那样的东西吗？后者不只是现代大语言模型的想法，在心理学和自然语言处理里都很古老。这是两种有意思的看法。还有两种：意义在于扎根于世界，这是具身论题；意义在于语用和语境。某种意义上，我展示的概率编程和概率性思维语言，给了你意义的组合性和扎根性两方面；代码大模型的视角给了你分布统计的一面，至少也给了语用或语境一面的某种近似。把它们放在一起，就又是一些积木，让我们能真正思考语言究竟是关于什么的，语言的使用是怎么回事，以及语言如何建立在思维之上，又极大地放大和扩展思维。

开放的问题很多，我就以几点结论收尾。思维是什么？它不再只是一个谜，尽管我们离用计算刻画各种形式的思维还很远。但那个根本的想法，智能在于做出好的猜测和好的下注，在于我们的心智对世界以及自身在世界中的位置所持有的模型，在于以理性的方式用这些模型来指导下一步做什么、下一步想什么，我们已经开始有工具来抓住它了。而这给了我们一条路径，尤其是当语言进入图景之后，去真正理解我们所有人聚在这里是为了什么：不只是知识，而是理解。是那些深广的系统，我们每个人和所有人一起，通过自身的经验和通过语言建立起来，用以在一个不断变化、也在被我们改变的世界里维系和增长知识。我展示的这些工具，我认为是真正尝试理解这件事所需要的积木的一部分。在技术层面，现代概率编程语言与各种神经网络和语言模型能够带来一种「神经、符号、概率」的综合。但把这一切拼在一起，我们还远远处在开头。

如果这些东西让各位感到兴奋或受到启发，那正是我今天的目的。我希望各位考虑，无论是和我们合作，还是在自己的工作里，无论以哪种最能激发你的方式，去思考如何建造这样的智能，不管是在科学一侧还是工程一侧。尤其是对人工智能感兴趣的人，我认为这是必要的。除非我们愿意把人工智能的未来完全交给少数资源雄厚的公司和个人，否则，如果我们希望人工智能的未来更开放、更民主，更扎根于科学、也更能反哺科学，我认为我们需要这样的工具和这样的心态。事关重大。所以，加入我们吧。谢谢。