Are We Thinking Correctly About AI Intelligence? | PODCAST: The Joy of Why

编者按：这是《The Joy of Why》播客的一期节目，录制于二〇二六年七月。主持人史蒂夫·斯特罗加茨与杰娜·莱文邀来圣塔菲研究所的认知科学家兼计算机科学家梅拉妮·米切尔，这也是本节目第一位二度登场的嘉宾：她上一次做客还是在 ChatGPT 问世之前。三人围绕一个问题展开：我们评估人工智能「智能」的方式，本身是否站得住脚。本文依据现场录音编译整理，只删去口语枝节与寒暄，论点、例证与语气一概保留。

又一期关于 AI 的节目

斯特罗加茨： 我是史蒂夫·斯特罗加茨。

莱文： 我是杰娜·莱文。

斯特罗加茨： 这里是《The Joy of Why》。

莱文： 这是《量子杂志》出品的播客，我们在这里探讨当今数学与科学中那些最重大的未解之问。

斯特罗加茨： 不出意外，这又是一期谈人工智能的节目。

莱文： 我跟你说，这个话题大家似乎怎么听都不嫌多，可我自己越来越不愿意再发表什么高论了。它变得太快了。

斯特罗加茨： 确实如此，快得惊人。我们今天说的任何一句话，下周可能就过时了。

莱文： 是啊。

斯特罗加茨： 此刻是二〇二六年七月二十三日。

莱文： 至少对我来说，今天的感觉和二〇二五年七月二十三日完全不一样了。

斯特罗加茨： 说到时间线，这一点其实很切题。今天的嘉宾梅拉妮·米切尔是圣塔菲研究所的认知科学家和计算机科学家，她此前上过我们的节目。我和她那次对谈大约是五年前，那时候 ChatGPT 还没出现。

莱文： 是吗。她那时候就已经关注人工智能了？

斯特罗加茨： 当然。

莱文： 所以并不只是认知科学。

斯特罗加茨： 完全不是。梅拉妮思考人工智能已经很久了，这一点她自己会讲。但我觉得今天最有意思的，是梅拉妮看问题的角度：她主张从发展心理学这类学科出发去看待人工智能的问题。比如说，一个婴儿或者幼童，是怎么在那么短的时间里变得那么聪明的？

莱文： 这太有意思了。我们对人类心智所知甚少，却已经为人造心智兴奋不已。

斯特罗加茨： 正是。

莱文： 等于说我们想跳过一步。

斯特罗加茨： 没错。而且不只是人类心智，还有动物的心智。比较心理学这个领域就是研究鸟类、狗、海豚这些动物的智能。除了成年人类的智能之外，还有很多别的智能等着我们去理解。

莱文： 是啊。我们连婴儿出生时、成长中那份智能是怎么来的都还没弄明白，却打算直接找到一套机制去造出人工智能。把这两件事放在一起谈，我觉得很有意思。这一期我很期待。

斯特罗加茨： 那好，我们就请梅拉妮·米切尔登场。

五年之后，什么最出乎意料

斯特罗加茨： 你好，梅拉妮。

米切尔： 你好，史蒂夫。

斯特罗加茨： 很高兴又见到你，这次一定很有意思。我们几年前聊过一次，那时候这个节目还叫《X 的乐趣》。你大概是我们第一位卫冕嘉宾。

米切尔： 天哪，那我很荣幸。

斯特罗加茨： 你确实该觉得荣幸。我请你回来，是因为人工智能领域感觉变了太多。我们上次对谈大概是二〇二一年，ChatGPT 的浪潮席卷世界是在二〇二二年十一月前后吧？

米切尔： 没错。

斯特罗加茨： 现在人人都知道 AI 无处不在。我们天天在谈论它，有人担忧，有人兴奋，反正用的人非常多。那我想先问一句：过去这几年，最让你意外的是什么？

米切尔： 天哪，让我意外的事太多了。首先就是这样一个念头本身：仅仅用海量的人类语言、图像之类的材料去训练这些模型，居然就能走到今天这一步。我做梦也想不到。所以人工智能领域发生的一切，真的让我非常意外。另外，AI 学界乃至整个社会出现的那种两极分化的反应，我觉得也有点出乎意料。

斯特罗加茨： 你说的两极分化，是指人们常说的「AI 末日论者」和「AI 乐观派」这种分法吗？

米切尔： 有这一个维度，还有另一个维度：一部分人认为 AI 已经比人类聪明，另一部分人认为它离人类水平的智能还差得远。与此相关的，大概还有「爱它」和「恨它」这一组。这些维度彼此独立，但可能存在相关性。

斯特罗加茨： 对，而且「爱它」和「恨它」还牵扯到别的东西，比如对环境的影响，比如某些公司的经济收益，可再想想失业问题呢？这里头的维度太多了。

米切尔： 是啊，多得很。

斯特罗加茨： 不过我今天最想和你聊的，是复杂系统、认知科学和人工智能。你有很多重身份，但我最好奇的是你近来的工作：借用发展心理学的视角看 AI，也就是我们如何理解人类婴儿这种「异类智能」；或者借用比较心理学的视角，去理解家里的狗、聪明的鸟、海豚身上的那种异类智能。用这个角度去看 AI 这种异类智能，真的很有意思。

把 AI 当作异类智能

米切尔： 是的。很多人都把 AI 形容成一种异类智能（alien intelligence），因为它跟人非常不一样，尽管它是在人类语言、书籍和整个互联网上训练出来的。但这些系统的运作方式、学习方式、推理方式，它们做事的方式，跟人类的做法真的很不一样。

这个主题后来被发展心理学界接了过去，尤其是斯坦福的迈克·弗兰克，他写过一篇文章，主张搞 AI 的人应该从婴儿和幼儿研究，也就是发展心理学里汲取灵感。后来又有人把它延伸到动物智能上。

我想，认知科学界一直在呼吁的一件事是：搞 AI 的人应该真正采用一些实验方法学，让 AI 更像一门科学。

斯特罗加茨： 我很喜欢这个视角，而且我猜听众未必熟悉。老实说我自己也不熟。我从没学过认知科学，也没上过发展心理学的课。这些领域的人思考这些问题已经有……多久了？你说说看。

米切尔： 至少一百年。

斯特罗加茨： 一百年了，哇。我来的路上一直在想，我们老说 AI 是个黑箱，说我们没法轻易读出神经元上的权重，就算读得出来也不知道它们在讲什么。可话说回来，我们自己的智能在很多方面不也是个黑箱吗？

米切尔： 当然是。只不过我们有不同的办法去打开这个黑箱。一条路是神经科学，我们真的把探针扎进神经元，或者用功能性磁共振成像之类的技术。另一条路是心理学，你只观察一个人或一只动物的行为，再从行为反推底层机制。

这两条传统长期以来相当割裂。认知科学这个领域试图把它们整合起来，而且认知科学最初也是把 AI 包含在内的。可不知怎的，这次整合没有成功。

斯特罗加茨： 你是说它在学术共同体的层面没有推行开，还是别的意思？

米切尔： 当初的想法是，我们要按照人的运作方式给机器编程。那时候人类心理学与试图把人类心理学「写进」AI 的努力之间，联系非常紧密。可这条路后来并没有带来成功，真正带来成功的是神经网络，是从数据中学习，而不是靠人把规则写进去。

斯特罗加茨： 明白了。

米切尔： 神经网络本身最初是受神经科学启发的，但今天神经网络的运作方式已经与那份最初的灵感相去甚远。所以我觉得机器学习这个领域越来越靠向统计学，而统计学与认知科学的路数完全是两回事。

厄多斯问题与创造力

斯特罗加茨： 那我想聊聊基准测试（benchmark），因为如今整个社会的讨论里，它似乎占了很大分量。前段时间数学圈里有件事让很多人议论纷纷。某个最前沿的模型做出了一件看上去像是创造力的事：它解决了一个悬而未决的老问题。保罗·厄多斯，那位伟大的匈牙利数学家，留下了大量问题供后人琢磨，其中一个叫单位距离问题，最近被 AI 用一种非常巧妙的方式解决了，做法是把数学的两个分支拼在一起，而这种拼法此前基本没人试过。

我提这件事，是因为我们上次对谈时聊到一个老式的 AI，它在学着玩某个雅达利游戏。你当时说它玩得非常好，可你只要把球拍往上挪几个像素，它就得从头学起。原版游戏哪怕最细微的变化，它都应付不了。

你那时候有句话我一直记着：「奇怪的是，这些机器似乎无法把自己的卓越迁移到它受训领域之外的任何地方。」那是五年前的话。现在我想问：你怎么看？这句话还成立吗？

米切尔： 我得说，那个模型并不是大语言模型，它是专门为玩那个雅达利游戏造的。而现在我们有的是在一切材料上训练出来的大语言模型。从某种意义上说，它们不需要迁移什么，因为它们本来就已经训练过了。

不过搞 AI 或机器学习的人会讲「分布内」（in distribution）和「分布外」（out of distribution），意思是：我们要求模型做的这件事，跟它在训练数据里见过的东西相似，还是完全不同？

我觉得这很难判断。我们不知道它到底在什么材料上训练过。那个解出这些问题的模型，肯定是在大量数学材料上训练过的，因为网上的数学内容非常多。它读过教科书，它也看过史蒂夫·斯特罗加茨挂在 YouTube 上的全部视频。而且这些模型相当擅长把一个领域的东西拿过来，跟另一个领域的东西拼在一起。

但话说回来，当一样东西是在「一切」上训练出来的，尤其是在数学这样的领域里，我真不知道该怎么谈「迁移」这个概念了。

斯特罗加茨： 嗯。

米切尔： 「在一切上训练过」这句话，在某种意义上是有含义的。如果你说它在与「作为人」有关的一切上训练过，那显然不成立。可如果你说它在与数学、与代码有关的一切上训练过，我就说不好了。数学知识是不是真的都以文本或视频的形式存在于世？

斯特罗加茨： 你这是在问我。我们数学圈最近正为此翻腾，都在设法弄明白刚刚发生了什么。我们过去以为，好，这些机器很擅长搜索，或者说这些程序很擅长在巨大的空间里搜索。它们知识量惊人，因为如你所说，它们把整个互联网、把国会图书馆、把你能读到的一切都吞下去了。

所以凡是牵涉知识、搜索能力、极快的计算、永不遗忘的地方，都是它们的强项。可是，在此前无人注意到的不同分支之间发现一条联系，再利用它去解决一个悬置多年的问题，如果这事是人做的，我们会把它看作一个审美上的高光时刻。数学家最爱看到拓扑学的想法解决几何学的问题，或者代数的想法派上用场。

但反过来讲，也许这事其实不难。如果你知道前人做过的一切，又能遍历大量可能的联系，也许你偶尔就会撞上运气。这次发生的事，看上去大概就是这样。

米切尔： 是的，我觉得你说得对。我们没法很好地查看这些模型的内部构造，原因很多，所以谁也不知道它究竟是怎么做到的。但把两样出人意料的东西凑到一起，而且真的凑管用了，这就是创造性的，我认为这算创造。

不过这让我想起一件旧事。大概在上世纪七十年代，有一个做数学发现的程序，是道格拉斯·勒纳特做的，我记得叫 EURISKO。它的目标就是发现数学中的新想法，做法明确就是把各种东西拼到一起，一口气生成成百上千个这样的组合。绝大多数都是垃圾，但偶尔会冒出点有意思的东西。得由人进去看一眼，判断说：这个有意思吗？机器自己判断不了。

那么，眼下这件事里有多少成分是这样的？我不知道。我想区别在于，如今这台机器的规模显然大得多。我也不知道它在解这个问题的过程中生成了多少个推理轨迹的词元，走了多少条死路，又是怎么判断自己走上了正确那条路的。而我认为，这些恰恰属于 AI 这门科学的内容，眼下认真去追究的人太少了。

评估认知能力的六条原则

斯特罗加茨： 那我们现在就进到这个话题，这也正是我想跟你聊的方向。「AI 的科学」，这个说法很好。梅拉妮，我想请大家去读一读你那篇讲评估 AI 认知能力的六条原则的文章。先给个引子：这六条分别是什么，能不能各说几句？

米切尔： 好。第一条：要意识到你自己的拟人化认知偏差。凡是能用流利英语跟我们对话的东西，我们就倾向于往它身上投射人的形象。所以人们很容易认为这些模型具有人类的特质，而它们其实可能并不具备。

第二条对科学家来说算是常识：对自己的假说保持怀疑，并设计对照实验。这就是科学的基本功，虽然我不太确定科学界实际上做到了多少。人往往偏爱自己的假说。

第三条：对刺激材料或基准题目做出新的变体，用来检验模型的稳健性与泛化能力。

第四条：这些系统不是非得是黑箱不可。你可以用很多方式去探查它们，我们需要更多对「为什么会得出这个结果」抱有强烈好奇心的人。

第五条：区分表现（performance）与能力（competence），也就是你能展示出来的东西，与你实际具备的东西，文章里我举了一些例子。

第六条：分析失败的类型，拥抱一切负面结果。我们习惯把带负面结果的论文塞进抽屉里遗忘，可它们其实极富启发。

斯特罗加茨： 第六条我们都有非常直接的体会，不是吗？看到模型幻觉的时候，你就会开始琢磨这些系统里到底在发生什么。确实，从错误里能学到很多。

米切尔： 是的，人们庆祝自己的正面结果，又想方设法把负面结果解释掉。可要真正理解正在发生什么，就得去看它在哪里失败。

聪明的汉斯

斯特罗加茨： 你文章里举了一个例子，跟 AI 无关，讲的是生物学或者心理学给我们的教训：细微的东西可能正在暗中起作用，你得有一颗警觉而怀疑的头脑，才能察觉真正发生了什么。能不能给我们讲讲「聪明的汉斯」那个老故事？

米切尔： 聪明的汉斯是一匹马，生活在二十世纪初的德国。汉斯能回答算术题。你问它「十四加十二等于几」，它就用蹄子敲出相应的次数。看上去就是一匹天才马。当时很多人，包括不少科学家，都深信这是一只会做数学、会数数、能像人一样对简单问题作推理的动物。大家都非常兴奋。

后来有一位心理学家奥斯卡·芬斯特出现了，他说：我们来做几个对照实验吧。在当时的心理学里，对照实验大概还算个新鲜概念。他说，我们看看如果汉斯看不见提问的人，会发生什么。

斯特罗加茨： 好。

米切尔： 结果它就答不上来了。真相是，它一直在读提问者脸上那些细微的线索。而且还有一点：如果提问的人自己不知道答案，它也答不上来。

因为提问者会对它的蹄声作出反应，等它敲到正确的数目，对方就会不自觉地发出某种信号，而汉斯读得懂。所以它确实是一匹天才马，只不过天才之处不在人们以为的地方。它真正的天才，是读懂人脸上的社交信号。

斯特罗加茨： 那么这则寓言对我们意味着什么？当我们被 AI 某个貌似天才的举动惊艳到的时候，教训是什么？是说我们应该做对照实验吗？

米切尔： 对。举个例子：有个 AI 系统被证明非常擅长对科学论文里的图表进行推理，我记得这是个真实案例，它能回答关于图表的问题。可对照实验是这样做的：只给它问题，不给它看图。听上去很荒唐吧？看不到图，怎么可能回答关于图的问题？可结果 AI 照样能完成这个任务，因为问题的文字与正确答案之间不知怎的存在某种虚假关联。

斯特罗加茨： 那事后看来，这算是做基准测试的人实验设计没做好。

米切尔： 事后看是这样。而且事后看来，这种事在心理学以及别的领域里也天天发生，实验设计做得不好。实验设计是件很难的事，各种混杂因素的可能性太多了。正因如此，科学中「可复现」这个概念才变得如此重要。一个小组做了实验得出一个结果，我们不该就此相信这个结果，它可能是他们实验设计中某个非本意的因素造成的。所以让独立的小组去重复研究非常重要。可 AI 领域的人几乎不做这件事。

为什么 AI 不做复现

斯特罗加茨： 确实不做。为什么呢？是因为复现不够光鲜，等于当第二名，没有激励？这在科学的各个角落都一样吧？

米切尔： 是啊，各个领域都这样。但还有一个原因：我认为大多数 AI 研究是由计算机科学或相近专业出身的人做的，而那些专业并不看重实验方法学。我自己就是计算机科学家，我从来不必修一门实验方法学的课，我们系压根就没开过这样的课。这不被看作计算机科学的分内之事。我觉得这正是今天关于 AI 的讨论里缺失的一环：那些声称 AI 能做各种各样事情的实验和研究，我们凭什么相信它们的结果？

莱文： 太有意思了。在我看来，这就好比量子力学里人人都在谈的观察者干扰，只不过换成了认知科学的版本：观察者本人干扰了实验，或者说干扰了实验的结果，这个角色实在耐人寻味。「聪明的汉斯」当然非常有名，我也同意，一匹能读懂社交线索的马确实很聪明。可如果同样的事情也发生在 AI 身上，那就更有意思了：干扰实验的不只是实验者这个角色，而是实验者的心理。

斯特罗加茨： 是的。这一整个维度，我们这些搞理论科学和数学的人大多没受过训练，梅拉妮自己也坦然承认。我从没上过实验设计的课。你是物理学家，我猜你总得修点实验物理吧？

莱文： 修过。可它在我的实际工作里基本用不上，我做的不是实验。所以真让我去设计一个好实验，我不会是个好手。

斯特罗加茨： 而这个问题看起来非常现实，因为如今 AI 公司频繁地用基准测试来展示，或者说评估，自家系统在通往通用人工智能或超人智能这条路上走到了哪一步。有时候也不过是为了压过别的 AI 公司一头。我们总想知道这些新的机器学习系统和别的 AI 究竟有多大本事。

莱文： 我倒觉得，问题可能在于我们本来就不知道该怎么评估人类的智能，也不真正知道一个人在思考的时候到底在做什么。我们连自己都不了解。我们的自我报告能力很差。我没法跟你说：「哦，我此刻造这句话的时候，脑子里是这样运转的，我听着它成形，过程是这样的。」我不知道，对吧？它就那么自然而然地冒出来了。我对自己的内部运作并不知情。我觉得 AI 也一样。很多人说过这个，我在我们节目上跟别的认知科学家和计算机科学家聊过，他们说让 AI 回答关于自己的问题很难，因为很多人会讲「你直接问它不就行了」，可它同样没法准确地自省。

斯特罗加茨： 黑箱之谜，就是这么回事。我们总用「黑箱」这个词形容 AI，可我们自己的智能当然也是个黑箱，不只是我对你而言是黑箱，正如你强调的，我对我自己也是。这倒让我想到，魔术师是不是也有用武之地？变戏法的人特别擅长让我们看清自己在心理和感知上的局限，看清我们有多容易受骗，看清我们惯常会犯哪些认知错误。而现在也有一批人扮演着类似魔术师的角色，专门去揭示 AI 在常识上的缺陷，他们跟 AI 玩的那些花招，简直就像变魔术。我很好奇，这些把戏最终能在多严肃的科学意义上说明问题。

关于 AI 认知与理解的深度，以及它可能如何改变包括数学在内的整个学科，梅拉妮还有很多话要说。广告之后我们继续。

能力与表现

斯特罗加茨： 欢迎回到《The Joy of Why》。今天做客的是圣塔菲研究所的计算机科学家梅拉妮·米切尔。

斯特罗加茨： 你大半辈子都在当大学教授。跟学生打交道时你会发现，他们能把答案做对，可你一旦深入去探他们究竟理解了什么，就会意识到他们也许是用错误的理由得出了正确的答案。他们其实不明白自己在做什么。如果你想当个称职的老师，这一点很重要。这就引出了另一个话题：能力与表现。你能展开讲讲这个概念，以及它在 AI 语境下意味着什么吗？

米切尔： 能力与表现的区分，是心理学和语言学里一个挺老的说法。意思是你可能具备某项认知能力，却因为某些原因无法完成我交给你的任务。比如他们有能力，题目本来是会做的，只是情绪僵住了，出现了表现上的阻碍。

但也有反过来的情况：有表现而无能力。比如来你办公室答疑的学生，把课本上的某道题和它的解法背了下来，却没弄懂背后的一般原理，你把题目稍微改一改，他就不会做了。

那就是有表现而无能力。

斯特罗加茨： 好。那么假如我们要设法检验 AI 是否理解，什么才算证据？假设你是一位 AI 的拥护者，你说这些新系统，因为规模扩大了，或者因为有了世界模型、社会模型之类的新架构，如今已经跨过某个门槛，是真的理解了，不只是会算，而是懂了。什么才算得上「理解」的证据？

米切尔： 天哪。我不太愿意在「理解」上抠字眼，可它的含义实在太多了。

斯特罗加茨： 啊。

米切尔： 我们圣塔菲研究所请过一位哲学家来讲，他把「理解」拆成了二十五种类型。

斯特罗加茨： 原来我这个问题这么不好惹。

米切尔： 有 P 型理解、G 型理解，一整套关于理解的分类谱系，长得很。我不确定存在什么单一意义上的「真正的理解」。我和合作者最近做的一件事，就是去考察理解的不同维度。举个例子：你可以让某个语言模型或者聊天机器人写个故事，随便写一篇短篇小说，它就写了，还写得漂亮、连贯。可你要是接着就这个故事向它提问，它常常会以很古怪的方式答错。

斯特罗加茨： 嗯。

米切尔： 尽管这故事是它自己写的。我认为在很多别的任务上也是同样的情形：它在某一个维度上理解了，在另一个维度上却没有。从某种意义上说，深刻的理解也许就是你在许多个这样的维度上都理解了。

任务的暴政

斯特罗加茨： 啊，这听着是个有前途的方向。我们再多聊聊「任务」，因为我在你的文章里见过一个词组：任务的暴政（the tyranny of tasks）。这是什么意思？

米切尔： 我最早是从哲学家香农·瓦洛尔那里听来的。意思是在 AI 里，整个世界是按「任务」来切分的。所以我们考虑 AI 系统能做什么的时候，人们就说：哦，它们会写摘要，那我们来测测它们总结文章的能力。或者说，我们来测测它们回答图表问题的能力，或者别的什么基准。

斯特罗加茨： 是啊，这些日子它们在国际数学奥林匹克上被反复测评，那可是很难的中学题；后来又有了研究级别的题目；现在还有数学里尚未解决的开放问题。这就是三个层级的数学基准。

米切尔： 对，它们的能力就是用这些基准来定义的。比如有个基准是法学院学生要考的律师资格考试，它们考得非常好。于是我们就说：律师们，你们该害怕了，这些 AI 系统已经跟你们一样厉害了。可我们定义这件事的方式，不过是看它们在一组特定的题目或任务上表现如何。而一份工作作为整体，并不等于一个接一个彼此独立的任务。我认为这几乎算得上一种谬误：以为一个 AI 系统只要能完成一堆任务，就能顶替与这些任务相关的那个人的工作。

举个例子。杰弗里·辛顿有一句名言，大意是：AI 系统在诊断和判读放射影像上厉害得不得了，谁都不该再去上学当放射科医生了，五年之内 AI 就会把这些工作全拿走。

那话是二〇一六年说的，距今十年了。而如今我们面临的是放射科医生短缺。我不知道是不是因为他说了那句话，但事实证明，尽管 AI 系统能在这些基准上打败人类医生，那跟在真实世界里做好这份工作是两回事。真实世界里的工作要开放得多，并不只是一连串定义清晰的任务。

数学会先「退场」吗

斯特罗加茨： 可这仍然让人心里犯嘀咕。就拿放射科来说，你可以设想，如果它们真的把那件事做得极好，那人类放射科医生还剩下什么？我们还该不该待在这一行？就像在我自己的数学世界里，如果它们很擅长证明定理，却还不太擅长提出新概念，也就是我们有时候说的「理论构建」，问题解决与理论构建之间是有一道大分界的。那我们是不是就要去找自己的生态位，去做它们做不了的那部分？就像放射科里，开放的部分归它们，读片子的部分归我们？我想问的就是这个。

米切尔： 也许吧。

斯特罗加茨： 会是这样发展吗？

米切尔： 有可能。如果因为这些新工具，你这样的工作发生相当大的变化，我一点都不会意外。它们会成为数学家极其有用的工具，所以你的工作方式可能会变，就像当年个人电脑出现时那样。不过乔治·莱考夫和拉斐尔·努涅斯写过一本非常好的书，讲数学以及数学中的观念如何经由隐喻产生。他们认为，人的身体性（embodiment）是理解和数学中极其重要的一环。

斯特罗加茨： 正是。我觉得那是我们仅剩的指望，因为眼下机器并没有多好的身体性。而且你说得对，数学里很多伟大的想法来自与世界打交道的经验。我本来想说的关于应用数学的那句话也在这儿：应用数学比纯数学更是如此，我们从自然、从工程、从社会里汲取了那么多灵感，所以我觉得在应用数学里，人还有更大的用武之地。

不过我确实认为纯数学会比应用数学先「退场」。也可能两者都不会，也许我们就这么一直做下去。你怎么看？数学常被当成某种黄金标准，AI 公司也很需要数学，因为一道题解没解出来是可以验证的，他们正好用来展示自家系统有多厉害。

米切尔： 那我有个大问题：假设你的预测成真，纯数学在某种意义上对人类而言退场了，那对别的领域意味着什么？是意味着这些机器正在接管一切？还是更像一九九七年前后深蓝击败卡斯帕罗夫那件事：在国际象棋上战胜最强的人类，并不必然意味着它会在别的领域也一路推进？

斯特罗加茨： 我说不好。你怎么看？在我感觉里，就开放程度而言，科学比数学要开放得多。

米切尔： 是的，我同意。我不认为把厄多斯的问题全解了，就说明普通人得为自己的饭碗担忧。

斯特罗加茨： 好，我们眼下摆上桌面的东西已经不少了。可即便只看纯粹的智力从业者，无论是科学家还是数学家，光是生物学里有那么多待测量的东西，有那么多尚未采集的数据，有那么多新的观测手段，跟数学比起来，这在我看来简直取之不尽。

米切尔： 我同意。哪怕在物理学里，那也许是更接近数学的领域，也还有大量开放的、尚未被规整表述的问题，那类问题并不存在一个可以构造出来的证明。

斯特罗加茨： 所以我确实觉得，数学的希望在于继续从真实世界汲取灵感。冯·诺伊曼也说过类似的话：当数学变得太像为艺术而艺术，当它离源头漂得太远，对他来说源头就是自然或者现实，一旦离得太远，它就会变得贫瘠。这是冯·诺伊曼的原话。

所以我认为，如果纯数学开始更多地从自然中取材，这可能会是一个相当不错的时代。二十世纪和二十一世纪这样做的人少了，但如果我们回到那条路上，大概还能给人类再挤出几个世纪的数学之乐。

米切尔： 我只补一句，AI 界有一条格言：容易的事很难，难的事很容易。

斯特罗加茨： 对。

米切尔： 而纯数学在人类眼中是智力与才华最崇高的展示，它属于「难的事」，可我们知道，难的事对机器来说反而容易，容易的事反而难。

斯特罗加茨： 没错。而且还有「软」这个词。科学里我们分硬科学和软科学，而经济学、心理学、人类学这些软科学，才是真正难啃的。

米切尔： 正是。

机制可解释性与涌现

斯特罗加茨： 那么，如果我们五年后再见。

米切尔： 那时候节目大概叫《伽马的乐趣》了。

斯特罗加茨： 对，到时候该叫《欧米伽的乐趣》了。你希望到那时我们能弄明白关于 AI 系统的什么？或者说，有哪些今天做不了的检验，是我们希望到时候能做的？

米切尔： 在「AI 的科学」里，我最希望有起色的是一个叫机制可解释性（mechanistic interpretability）的方向，它相当于 AI 的神经科学：你真去看那些激活值、权重，看系统内部所有乱糟糟的东西，然后在一个更高的层面上理解它们在干什么。

眼下这还是个不大的子领域，一些人在尝试开发相应的工具，就好比造出功能性磁共振成像之类的东西。我不认为有谁已经真正想清楚该怎么把这件事做对，但我希望这是我们能够做成的，那样我们就有了一条真正的路径去理解它们的局限，理解它们能做什么、不能做什么、容易犯哪类错误，也许还知道该怎么修。

斯特罗加茨： 有意思的是你恰好点到了这一点，因为我第一次知道你，就是在广义上与此相关的事情上。我说的是你当年做的那项工作，行话叫「用遗传算法演化元胞自动机」。你和吉姆·克拉奇菲尔德研究的是这样一个问题：演化出能够解决某一类难题的算法，那是计算机科学里的硬问题。你们用一种演化算法去筛选，让算法在类似自然选择的过程中越变越好。

但你做的那部分里让我觉得特别有创造性的是：一旦得到一个真正好的系统，你就去审视它，那在我看来简直就是机制可解释性的一个雏形。你试图弄清是什么让那个系统这么聪明，你在时空图里把它分析成一些按特定规则相互碰撞的「粒子」。我不知道自己复述得是否准确，但这似乎是你长久以来的兴趣所在。

米切尔： 是的，确实如此。我倒没这么把它们联系起来过，不过这个说法很有意思。

斯特罗加茨： 就是这么回事，这就是可解释性。

米切尔： 确实是可解释性。而且我想，在复杂系统这个领域里，人们还谈论一个概念，叫涌现（emergence）。

斯特罗加茨： 对。

米切尔： 我们当时把那看作一种涌现出来的计算。我认为这些 AI 系统里同样有涌现的计算，不容易找到，但它们就在那里；如果我们能更好地理解它们，就会明白这个系统究竟是怎么运作、怎么做成它所做的事的。

不做最强者，乐趣还剩什么

斯特罗加茨： 这个态度很有意思。老实说，我觉得它非常可爱，也非常老派：那种希望……好，你笑了，因为你看出我要往哪儿说了。我这么讲有点刻薄，但这里头有一份自负：以为凭我们有限的头脑就能一直做科学下去，就能弄明白这些 AI 是怎么做到它们所做的事的，就能像科学一贯以来的样子那样继续玩这个游戏。而我心里阴暗的那一面觉得，随着这些家伙越造越大，我们能这么做的日子屈指可数了。谁说我们就一定能一直拿它们当研究对象、一直把它们弄明白呢？你对此怎么想？

我们又没别的事可做，总得试试。

米切尔： 这个问题很有意思。我们为什么要做科学？一方面，我们做科学是因为想解决问题。可另一方面，我们做科学也是因为我们被一种理解事物的冲动驱使着。

斯特罗加茨： 是的。

米切尔： 你在小孩身上就能看到这一点。他们被理解的冲动推着走。他们最早会说的词里往往就有「为什么」，而且不停地问。所以我认为这是人的一种本能冲动，很难与之对抗。这也正是你我都走上科学这条路的原因，它对我们很重要。

不过有一次我去听一场关于 AI 在科学中的角色的圆桌讨论，回来时有点心灰。台上坐着一群名人，谈 AI 将如何彻底改变天气预报、遗传学、宇宙学，等等等等。最后我提问：「那这会不会增进人类对世界的理解？」他们的反应是：「我们为什么要在乎那个？」

斯特罗加茨： 是啊。在我看来，这正是我们眼下都在琢磨的那个岔路口。科学有它的双重性：它给我们快乐，我们喜欢把事情弄明白，这里头有「为什么的乐趣」，而且如你所说，这刻在我们这个物种里。所以我们确实好奇。但另一面是，长久以来科学一直是一件工具性的事，它在技术和医学上帮我们。

我想问的问题，也是很多人都想问的问题是：当我们不再是解决重要问题最厉害的那一个时，我们还会继续从好奇心里获得快乐吗？不过最后我还想问你一件事，为了那些没听过我们上一次对谈的人：当初是什么把你吸引进这个领域的？如果换成今天起步，你觉得自己还会有同样的好奇心吗？

米切尔： 这问题很好。我小时候特别喜欢逻辑谜题，比如骑士与无赖那类，骑士永远说真话，无赖永远说假话。数学家雷蒙德·斯穆里安写过好几本这类谜题的书，我爱不释手。

上大学后，我读了侯世达的《哥德尔、埃舍尔、巴赫》，那在某种意义上就是这些谜题的现实版。他讲哥德尔定理，讲数理逻辑里的悖论，讲这一切如何与认知、思维、创造力相关联。我被彻底震住了，觉得这就是我这辈子想做的事。我当时并不清楚它究竟是什么，但看起来大概就是人工智能。

于是我去争取让侯世达做我的导师，进了他的研究组，通过一套新的谜题，也就是类比谜题，来研究类比。那一切都让我着迷。

如果我今天是那个年纪，我会感到忧虑。事实上，我儿子正在读机器学习的博士，他想做机器学习方面的研究，可他相当紧张，担心人类在机器学习研究里将不再有任何位置，因为所有机器学习研究都会由 AI 来做，由它自我改进，如此循环下去。我不知道换作是我，会不会也这么想。

斯特罗加茨： 也许我们真得五年后再聊一次，那时候大概就有答案了。照眼下这个速度，谁说得准呢。非常感谢你抽时间跟我们聊。这场对谈涉猎很广，有点漫无边际，但正因为它完全敞开着，我想不出比你更好的向导。谢谢你来。

米切尔： 谢谢你，史蒂夫。聊得很愉快。

我们是否必须做最好的那个

莱文： 嗯。我想起自己当学生的时候第一次学牛顿定律，然后学开普勒定律，正是它让牛顿定律显出美来，让它落到了天体的运行上。我当时并没有想：哦，我不是这方面最强的，所以我不该学。我也没有想：除非有一天我成了这方面最强的，否则我在获取这些知识的过程中就不配感到快乐。

当然，很多人一辈子都在学别人早就懂了、而且比自己懂得更好的东西。所以我在想，也许 AI 会比我们更早知道一些事情，但我们仍然需要自己去获得那份理解，而在获得的过程中，体验是相似的。也许 AI 会成为横在我们与直接叩问自然之间的一道过滤器，可我们仍然在获取知识，仍然在经历那份体验。我说不好。也许这一切最终会与我们擦肩而过。

斯特罗加茨： 我们再往下聊聊。我特别喜欢你强调「不做最好的那个」，以及这件事其实多么不必焦虑。我一上大学就明白了什么叫不是最强的那个。我们对当第一的那种执念，尤其是在这个一切都要最优化的时代，有那么多优化算法，我们张口就是更快、更便宜。可在我们自己的生活里，我们常常不是最好的那一个。我肯定不是最好的网球手，可我爱打网球。我也不是最好的棋手，但我照样乐意下棋。我努力当个最好的爸爸，可我未必做得到。

即便如此，这些事本身就值得做，它们让我们快乐。我对这件事的感受很哲学，甚至近乎宗教。我们在世上活着的时间就这么一点，而这些关于 AI 的问题，其实触到了关于人生意义的问题。我们究竟想做什么？如果人生的意义在于你要在某个领域做到最好，或者要做出一个改变世界的发现，那大多数人的一生都将毫无意义，我实在不愿意相信人生的意义是这个版本。

至少对我父亲不是这样。他连大学都没能上，他在大萧条中长大，上大学不是一个选项。他的一生就是当个好父亲，照顾好那些来他鞋店买鞋的人。我们那个小镇上每个人的鞋码他都记得，他去世时留下了好名声，人们都念着他的好。

莱文： 是的。

斯特罗加茨： 那么好，这些话出现在我们这档谈科学的节目里，算怎么回事？

莱文： 我想是这样：对有些人来说，人生的意义与获取有关，与积累财富有关。他们会爱死这套东西，因为如今有了这样一件新工具，能替他们更快地按下各种按钮，让他们去榨取更多、积累更多。

而另一些人，是在唱歌、写诗、写小说或者做数学里找到意义的，我想这些领域的人都要更紧张一些，他们要重新掂量自己今后的位置在哪儿，怎么守住这个位置，该怎么想这件事。

如果玩一玩「什么可能发生、什么不会发生」的游戏，我想还存在这样一种可能：AI 就像一台超级计算机。这个我们以前聊过，史蒂夫。超级计算机能把这么多数字算个遍，可要是它把结果作为一长串符号丢给我们，那么即便它在某种意义上握有答案，对我们来说也不是一个有意义的答案，谁都不会看重它。

在我们与超级计算机之间，人始终扮演着一个非常重要的角色：把结果渲染成一幅星系的图像，或者去看一张生物医学的神经图谱。它并没有真的夺走科学家的工作。所以也许它真的会一直是工具，而不是那个把我们盖过、把我们丢开的东西。

斯特罗加茨： 问题正在这儿。我觉得有两种都说得通的情景。一种是它继续充当工具，我们在最前沿的科学与数学里始终扮演某种不可或缺的角色。另一种是我们不再站在最前沿，而且这件事很快就会发生。老实说，我心里相信的是后一种。那么，意义又在哪里？

我觉得意义仍然在。就像我上高中的时候自己发现一些数学上的东西，那对我而言是发现，对世界而言不是。我想我们也许都得接受这一点：我们不会再为世界做出真正的发现了，做发现的将是 AI。我真的相信这很快就会发生。我也可能错。也许存在某些根本性的原因让 AI 做不到，比如它们没有身体，没有社会生活，诸如此类。可我总觉得，这些障碍不用多久就会被解决。总之，你怎么看？

莱文： 我觉得「做出发现」和「理解」是两回事，我举的那些例子想说的大概就是这个。在某种意义上，也许超级计算机比人更早做出了那个发现，可我们仍然说是人做出的，因为在有人把它呈现为人类能够领会的样子之前，那还算不上一个发现。

不过老实讲，我也不知道。我并没有特别悲伤或者悲观，所以我大概得承认，在我心里，凭直觉，我并不为这个前景感到恐惧。也许我该恐惧，但也许这只是天真带来的一点福气，我就等着它悄悄逼近我好了。

斯特罗加茨： 有一件事我觉得我们完全可以乐观、可以抱有期待：我认为我们将迎来一个辉煌的科学黄金时代，我们将会理解很多东西，AI 做出的发现，或者人与 AI 合作做出的发现，都会在接下来五年、十年、十五年里陆续到来，那将是一场壮观的科学烟火。我希望我们运气够好，能活着看到这一切。

莱文： 是啊，肯定会有一个过渡期，人们一路狂奔，他们本身就是故事的一部分，会有了不起的成就，看着就让人兴奋。我认识一些很有成就的人，他们非常喜欢用这些工具，每天都用，同时推进好几件事，觉得自己的产出至少翻了一倍。他们兴奋，他们乐在其中。我想至少在我们被淘汰之前的这个过渡阶段，除了加入进去、参与其中，我们也没别的可做。

斯特罗加茨： 我光是想想就有点哽咽了。谢谢你，杰娜。见到你总是很高兴，我们下一期《The Joy of Why》再见。

莱文： 谢谢你，史蒂夫。