Melanie Mitchell - Abstraction and Analogy: The Keys to Robust Artificial Intelligence

编者按：2023 年夏，剑桥大学利弗休姆未来智能研究中心（CFI）举办第三届玛格丽特·博登讲座，由圣塔菲研究所教授、《AI 3.0》作者梅兰妮·米切尔主讲，题为「抽象与类比：稳健人工智能的钥匙」。中心主任史蒂芬·凯夫致开场辞，中心 AI 未来与责任项目负责人担任主持；谷歌研究院高级研究负责人温妮·斯特里特，以及参与 CFI 人工智能评估项目、现任职于图灵研究所的研究员瑞安，先后作回应，随后开放现场与线上提问。本文依据现场录音编译整理。

博登讲座与主讲人

凯夫： 感谢各位的耐心，也感谢大家在这样一个美好的傍晚前来。欢迎来到第三届玛格丽特·博登讲座。我是史蒂芬·凯夫，利弗休姆未来智能研究中心的主任，我们简称 CFI。CFI 是剑桥大学一个高度跨学科的中心，致力于研究和教授一件事：怎样让人工智能这整件事走上正轨。

玛格丽特·博登是我们的精神源泉之一。在座许多人想必熟悉她的工作。她毕业于本校，先读医学，再读自然科学，再读哲学，门门出色，此后又教授心理学，并开创了认知科学这门学科。她对「思考的机器」是什么、不是什么，能做什么、不能做什么，该做什么、不该做什么，做出了极其重要的贡献。她是我们中心的挚友，今天因健康原因不能到场，但她慷慨地允许我们以她的名字命名这个讲座系列。

事实上，第一届博登讲座就是玛姬本人在这个房间里讲的。她当时的论点是：机器人不会接管世界，因为坦率地说，它们根本不感兴趣。她并不是说它们对别的事情感兴趣，比如超觉静坐或者槌球；她是说它们对任何事情都不感兴趣，而这正是机器与我们之间的根本分野。第二届的主讲人是伟大的丹尼尔·丹尼特，也许是在世最有名的哲学家，他对认知科学和 AI 的理解同样贡献巨大。他的论点是：人与机器之间不仅存在根本差异，而且我们必须让这种差异保持下去。在这段关系里，谁是工具、谁是用工具的人，必须绝对清楚；必要时应该立法，动用我们手中的一切力量来维持这一点。

之后因为新冠疫情，讲座中断了一段时间。现在我们回来了，我非常高兴今天的第三届主讲人是梅兰妮·米切尔。能请到她是我们的幸运。关于她的更多介绍，我交给今晚的主持人，CFI 的 AI 未来与责任项目负责人。

主持人： 谢谢史蒂芬。正如他所说，玛格丽特·博登几十年来一直是横跨认知科学、人工智能、心理学与哲学的开拓性学者。今天的主讲人同样是一位开拓者，她在 AI、认知科学和复杂性科学领域都做出了卓越贡献，并且常常把这些领域的洞见融会到一起。米切尔教授任教于圣塔菲研究所，著有多部获奖作品，其中《复杂》获 2010 年斐陶斐荣誉学会科学图书奖，另有《AI 3.0》一书。她目前的研究聚焦于 AI 系统中的概念抽象与类比生成，我相信这也是今天的主题。

眼下即便在专家之间，对于大语言模型这类现有 AI 系统究竟能做什么，也充满困惑，尤其是在抽象和高阶表征这类问题上，以及我们对这项技术的后续几代可以有什么期待。搞清这些架构能做什么、不能做什么，对于预判未来、判断要让这些系统真正稳健可靠需要付出什么、以及它们对社会的价值，都至关重要。这是 CFI 的核心议题之一。今天的回应人之一瑞安多年来参与我们的 AI 评估项目，另一位回应人是谷歌研究院的高级研究负责人温妮·斯特里特。两位回应之后，我们会留出时间给现场和线上观众提问。为了把尽量多的时间留给演讲、回应和问答，我现在把话筒交给米切尔教授。

一片激进的不确定

米切尔： 能受邀主讲玛格丽特·博登讲座，我深感荣幸。从我职业生涯起步时起，博登就是我的榜样，我最早就是读她的认知科学入门书才认识这个领域的。

和你们一样，我如今对 AI 能做什么、不能做什么也非常没有把握。所以我打算把大家拉进我这种不确定里，一起看看人们是怎样思考这个问题的。这场讲座的宣传语写的是「梅兰妮·米切尔追问：什么是抽象思维，AI 为什么做不到」。我想修正一下：应该是「AI 为什么还做不到人类这么好」。因为 AI 系统究竟能在多大程度上抽象思考，至今仍有争论。

先看几个关于 AI 的大问题，都是人们说过的话。AI 会不会大幅提高人类生产率？会不会彻底改变医学、法律和科学发现？会不会很快在所有认知任务上比人类更聪明，不管这句话到底是什么意思？会不会在许多岗位上取代人类？会不会摧毁民主，这是很多人忧心的事？最后，会不会导致人类灭绝，也就是说，AI 是不是对人类的生存威胁？这些都是极其重要的问题，而人们的看法天差地别。《大西洋月刊》最近有篇文章，作者采访了大量 AI 从业者，得出的结论是：这些大问题显然没有好答案。他说，最能概括这种感受的一句话来自一位 AI 创业者：「眼下，我们在整个 AI 领域面对的是一种激进的不确定（radical uncertainty）。」

深度学习与生成式 AI

米切尔： 这一波 AI 浪潮和进展，起点是所谓的「深度学习革命」。深度神经网络里的「深」，指的只是它有很多层处理，灵感来自人脑的结构：神经元分层组织，信息逐层处理。幻灯片上这张示意图就是一个多层的深度神经网络，任务是描述图像里有什么，最后给出几个候选类别，狗、猫、船、鸟，其中「船」的概率最高。

这条路线的要点是：用模仿人脑结构的超大规模神经网络，配上从万维网上抓取的海量训练数据，也就是你我发在社交媒体和各种网站上的图片和文字。这类网络取得了极大的成功。这张幻灯片本来是段视频，放不出来，不过内容是一辆自动驾驶汽车在路上看到的画面：它把图像里的各种东西分类标出，行人、其他车辆、红绿灯等等。这种计算机视觉能力在深度网络出现之前是不可能的。这些网络在人脸识别上也很出色，比如你在脸书上会被提示在照片里标记自己，因为系统认出了你的脸。我们还看到 AI 被用于医学诊断、机器翻译，以及覆盖一千多种语言的语音识别。这条路线带来了各式各样惊人的进展。

不知道各位有没有玩过更新的生成式 AI 工具，比如 DALL·E。你给一段文字描述，「大学方庭里玩飞盘的学生，印象派风格」，它几乎立刻就能生成符合要求的图片。这让不少艺术家相当紧张。这些系统的工作方式，是用艺术家和其他人创作的照片、绘画和各类媒体，配上说明文字来训练，然后当你提出要求时，它能从训练数据里以某种抽象的方式提取、重组，产出你想要的东西。

但问题是：这些 AI 系统真的理解它们处理的数据吗？它们理解「大学方庭里玩飞盘的学生」究竟意味着什么吗？理解随之而来的那一整套东西吗？比如这大概发生在一个暖和的日子，学生们这么做是因为喜欢玩游戏，而不是被强迫的。你我拥有的这类关于世界的知识，这些系统未必能从训练数据里学到。这是否意味着，它们不像你我这样稳健，也不像你我这样智能？

看背景判断有没有动物

米切尔： 下面是一些 AI 系统「理解失败」的例子。第一个例子非常直白，说明了深度学习加大数据会遇到的一类问题。任务是训练一个神经网络，把有动物的图片和没有动物的图片区分开。我的一个研究生用《国家地理》提供的一大批自然摄影训练了一个深度神经网络，有些图片里有动物，有些没有。训练之后，在同一数据集里它没见过的新图片上，它判断得非常准。

我这位学生的研究是要精确找出系统做判断时到底用了图像里的哪些特征。他钻到网络的「引擎盖」底下一看，发现它主要盯着的是背景。这很奇怪。但结果是，背景确实提供了线索：有动物的时候，摄影师会对焦在前景的动物上，背景就是虚的；没有动物的时候，图片多半是风景照，背景是清晰的。于是计算机学会了只看背景虚不虚，就能预测有没有动物。

机器学习里管这叫「捷径」（shortcut）：机器确实学会了正确预测「有动物」或「没动物」的标签，但理由是错的。它没有解决人给它设定的任务，也就是识别动物，而是用了别的线索。这种事在机器学习里相当常见，并且会带来麻烦。

校车、停车标志与自动驾驶

米切尔： 另一项研究里，研究者拿了一批神经网络已经能正确分类的照片，比如这张校车，网络说「我百分之百确定这是校车」，很好。然后研究者用 Photoshop 把物体摆成不同的朝向，这时网络就有 99% 的把握说它是垃圾车、沙袋，或者扫雪车。最后那张其实是真实照片。这个故事的寓意是：这些神经网络在与训练数据相似的图片上似乎表现不错，可一旦走出训练数据的范围，它们有时会以非常不像人的方式失败。因为它们并没有学到一个像我们那样的「校车」的抽象概念，那种能让我们稳健地认出校车的概念。它们靠的是像素与「校车」这个名字之间的统计关联，做的事和我们不一样。

自动驾驶汽车出过各种问题，比如特斯拉撞上高速公路上停着的急救车辆，这种事发生过很多次，我数不清有多少，原因是它没把那认成一辆车。还有一整个领域叫「对抗性机器学习」，专门研究怎么骗过机器。一种办法是在停车标志上贴几张小贴纸，自动驾驶汽车的视觉系统就会把它认成「限速 80」。从不同角度和距离拍摄，这招都很成功。这同样是理解的失败。

再看一个有意思的例子，另一个自动驾驶视觉系统。我前面给大家看过它能正确框出行人、车辆、红绿灯，可在这里，它分不清真人和画上的人。它把一辆货车车尾广告上的小人和自行车认成了真的行人和自行车。它没有我们那种认知：某些东西是广告，某些东西是现实。还有一条推文，来自一位坐在自动驾驶特斯拉里的人：「我的车在这一带老是急刹车，明明没有停车标志。开了几趟之后我注意到了那块广告牌。」广告牌上是一位警长举着停车标志，车把它当成了真的。这就是自动驾驶汽车会陷入的困境，因为它的训练数据里从没出现过这种情形。

DALL·E 本身也是如此。人们发现这些文本生成图像的系统在某些提问上问题很大。它画得出玩飞盘的学生，可如果你要求涉及空间配置的东西，比如「一个黄盒子在绿盒子上面，绿盒子在蓝盒子上面」，它完全做不到。我自己试了一个：「一台电视机在一只猫上面」。我们能想象猫在电视机上，也能想象电视机在猫身上，因为我们理解这些概念。可 DALL·E 只会画猫在电视机上，因为它的训练数据里从没出现过电视机压在猫身上。它无法泛化，无法抽象。

皮肤癌里的尺子与翻译歧义

米切尔： 再举一个捷径的例子。有一组研究者想用神经网络从图像诊断皮肤癌，他们报告说用大量数据训练了系统，效果很好，可它无法泛化，因为它学到的是：图里有尺子，那多半是皮肤癌。他们不得不重新处理训练数据。这就是机器学习的问题所在：系统在学东西，学的是关联，但它们真的在学习像我们人类那样的更抽象的概念吗？

这是谷歌翻译最近的一个例子。我让它翻译这句话：「这位议员不小心把他正在起草的重要法案的副本落在了出租车里。」英文里 bill 是个多义词，意思很多。它把这句话翻成法语时，用的是「账单」那种 bill，而不是立法意义上的「法案」。

从达特茅斯到「桥」

米切尔： AI 这个领域的创始人，这几位大名鼎鼎的人物，当年为达特茅斯人工智能研讨会写的提案里，「人工智能」这个名字正是在那时被创造出来的，许多想法也是在那时汇集的。他们为那个夏季研讨会定下的目标是：「设法让机器使用语言、形成抽象与概念、解决目前只有人类才能解决的问题，并能自我改进。」他们以为一个夏天十周就能完成其中一部分。结果花的时间更像是十个年代，差不多快一百年。而其中「形成抽象与概念」这一条，看来比别的目标更难。我认为，至少到最近为止，AI 面临的困境在于它依赖的是统计关联，而不是像创始人们期望的那样形成概念。

举个例子说明什么叫概念。想想「桥」这个概念。这里是一堆桥的照片，你可以把这类数据喂给神经网络，它大概能学会在照片里认出桥。但人类的「桥」概念远比这丰富。比如我们能理解这种桥：水桥，桥本身是水做的，走的不是车而是船，从公路上方跨过去，像一座倒过来的桥。我们轻而易举就能理解它，认出它是桥。我们认得出蚂蚁用身体搭成的桥，蚂蚁会这样跨越缝隙。我们说「把手搭成桥」，说鼻梁（bridge of the nose），说一首歌的过渡段（bridge）。这时我们已经开始进入隐喻了。「桥」这个概念极其丰富，可以无限延伸。我们说「弥合性别鸿沟」（bridging the gender gap）。乔·拜登在竞选时把自己描述为「通往新一代领导人的桥」，你甚至能在脑子里画出他把身体从老一代领导人伸展到新一代那头，我们正从他身上走过去。这可以无穷无尽地说下去，而且几乎任何概念都可以这样。

我再举一个我喜欢的例子。这是一种情境，你先看着；这是另一个同类情境；这是第三个。不知道大家看不看得清，最后那张是一张著名的照片，奥巴马趁助手称体重时把脚踩在秤上。这些截然不同的场面，共同点是什么？「恶作剧。」对，人类一眼就看出来了，因为我们能在抽象层面理解不同情境是什么。这对机器来说是真正的挑战。

概念即类比包

米切尔： 认知心理学家劳伦斯·巴萨卢给概念下的定义是：「一种能力或倾向，能生成一个范畴的无限多种概念化。」这话拗口，但结合桥和恶作剧的例子就能明白：我们拥有概念，就能生成或识别这个概念的任何变体、任何实例。另一位认知科学家和 AI 研究者侯世达则把概念描述为「一包类比」（a package of analogies）。我们把某件事抽象为「恶作剧」时，其实是在几乎无意识地在这些情境之间做类比：一个人扮演捉弄者的角色，一个人扮演受害者的角色，然后是恶作剧本身，奥巴马踩秤这件事，对应到把「踢我」的纸条贴在别人后背上。我们在抽象时，实际上是在无意识地做类比。

所以我的主张是：AI 的理解失败，根源在于缺乏类似人类的概念与抽象。问题就变成了：怎样让机器学会这样的概念，做出类比，而不是只学统计关联？我认为这仍是一个悬而未决的挑战。

ChatGPT 之后：真的理解了吗

米切尔： 但我们现在身处 ChatGPT 的时代。一切都变了吗？这是我用同一道法语翻译题考 ChatGPT 的结果。我说：请把下面这句译成法语，「议员不小心把他正在起草的重要法案副本落在了出租车里」。顺便说一句，谷歌翻译犯那个错误是几周前的事，不是四五年前。ChatGPT 正确地把 bill 译成了 projet de loi，也就是法案。我又问它：你怎么知道该怎么译 bill 这个词？它有好几个意思。它回答说「作为一个 AI 语言模型」等等，啰嗦冗长，但确实说了：因为句子里有议员和法案，这里的 bill 指的是一份法律文件。看起来它是理解的。

于是问题来了：大语言模型是否已经获得了比以往 AI 系统更丰富、更接近人类的理解，以及概念和抽象能力？我认为这是一个非常重要、尚无定论的问题。有些人会说：当然是。谷歌高管布莱斯·阿圭拉·阿尔卡斯在《经济学人》上写道，他认为人工神经网络正在朝着意识大步前进。机器学习研究者亚历克斯·迪马基斯在推特上说：「也许规模就是你需要的全部」，意思是把神经网络扩大到 ChatGPT 的规模，也就是几千亿个权重参数，我们也许就在逼近通用智能。斯坦福大学研究自然语言处理的教授克里斯·曼宁说，人们有一种乐观情绪，觉得正在看到「注入了知识的系统」出现，ChatGPT 具备某种程度的通用智能。很多人都在说，我们真的快到了。

可另一边，同样受人尊敬的人说的恰恰相反。雅各布·布朗宁和扬·勒昆，后者是图灵奖得主，深度神经网络的核心人物之一，写道：一个只用语言训练的系统永远无法逼近人类智能，「哪怕从现在一直训练到宇宙热寂」。世界上最著名的发展心理学家之一艾莉森·高普尼克说：这些模型「既不是真正智能的，也不是假装愚蠢的，智能和能动性对于理解它们来说根本就是错误的范畴」。如果你说它们智能、有意识、正逼近人类水平的通用智能，那你就是用错了范畴，想错了方向。

有意思的是，一两年前有一项调查问自然语言处理领域的研究者是否同意这句话：「某些只用文本训练的生成模型，给足数据和算力，可以在某种非平凡的意义上理解自然语言。」结果恰好一半说同意，一半说不同意。这很惊人。答案是，我们就是不知道。我们不知道这些只用语言训练的系统能做什么。

伊莱扎效应与拟人化陷阱

米切尔： 我给《科学》杂志写过一篇短文，问：我们怎么知道 AI 系统有多聪明？我的结论是，这相当棘手。我们该怎样评估 AI 系统的理解？我想在这里多花一点时间。

一种办法是直接看它的行为，跟它聊天。我相信各位多少都跟 ChatGPT 聊过。这有点像图灵测试：它看起来像人吗？但这里有个问题，叫「伊莱扎效应」（Eliza effect）。伊莱扎是最早的聊天机器人之一，可以说是有史以来最笨的聊天机器人，它模仿一位精神分析师，靠填模板运作。你进来说「我妈妈恨我」，它就说「多跟我说说你妈妈」。它只是把你的话里的词填进几个小模板里，反过来问你问题。可是人们向它倾诉最深的秘密，觉得它真的懂自己，尽管它原始至极。它的发明者约瑟夫·魏岑鲍姆为此专门写了一本书，说 AI 太危险了，我们不该搞这个。那是 1970 年代的事，原因就是人们会有这种反应。这就是伊莱扎效应：我们把机器拟人化，只因为它能产出连贯的语言，就过分地把「理解」归功于它。

GLUE、聪明的汉斯与数据污染

米切尔： 更客观一点的办法，是用自然语言理解的基准测试。这个领域有一些基准，其中一个叫「通用语言理解评估」（GLUE），由一批自然语言理解任务组成；还有一个更难的新版本叫 SuperGLUE。这是目前的排行榜，显示不同 AI 系统的成绩。第一到第七名全是不同的大语言模型，和 ChatGPT 类似，人类排在第八。这是不是说明，在通用语言理解上，人类比机器差？

问题在于，很多这类基准都有我前面展示过的那种毛病：可能存在捷径，机器可以利用词语组合之间某种微妙的关联，不需要真正理解就把任务做对。许多人研究过这种捷径学习，这几篇论文都指出，数据里存在「标注痕迹」（annotation artifacts），系统学会了它们就能拿高分，却没有真正的理解。有人甚至把这叫做「聪明的汉斯现象」，其中一篇论文的题目就是《揭开聪明汉斯式预测器的面纱》。

不知道的人我介绍一下：聪明的汉斯是世纪之交的德国，大约 1900 年代的一匹马，据说会做算术。训练师问它「十七加六等于几」，它就用蹄子敲出答案。很多人相信这是真的，看上去也很真。可经过长期观察，终于有人发现，训练师在无意间给出了非常细微的身体语言提示，马就是靠这些提示决定什么时候停下来。所以这匹马根本不会算术，它只是在响应训练师无意识的细微线索。这和机器学习的类比是：AI 系统可能在训练数据里捕捉到了非常细微的线索，靠它们拿到高分，却并不能解决那个更一般的问题。这类基准常常留有捷径。

到了 ChatGPT 时代，很多人开始说：那就干脆用我们考人的标准化考试去考它。你们见过这种标题：「ChatGPT 拿到了 MBA」，因为它在商学院的考试里成绩不错；「ChatGPT 通过了律师资格考试」；「ChatGPT 通过了医学考试」。不过这里有几个问题。第一，这些考题可能已经在训练数据里了。我们不知道 ChatGPT 的训练数据里有什么，它包含大量网上的文本，所以拿来测试它的题目很可能它早就见过。有些考试已经被证实确实如此。这样的测试并不公平。第二，正如这几位研究者指出的，人类的考试基准对 AI 系统未必有意义，他们的说法是「对机器人来说没有意义」。对人类而言，律师资格考试这样的测试能预测一个人更一般的推理能力和从事法律工作的能力；可 AI 系统能记住难以计数的训练数据，然后把考题和它见过的东西做比对，在这种考试里考得好，未必能预测那些能力。数据污染是可能的，考试成绩也未必与真实世界的表现相关。

ARC 网格谜题

米切尔： 还有一种办法，是直接考它们抽象和类比推理。最近有一篇论文声称大语言模型出现了「涌现的类比推理」，他们给模型做了几种类比题的变体，就是你们大概见过的那种。这篇论文很有意思，但有意思的往往不是成功，而是失败。抱歉这张图看不清，这是另一项研究，他们说：我们试一批需要抽象推理的任务，算术、执行代码、写代码、画图，然后把任务稍微改一改。比如画图任务，让它画一杯珍珠奶茶，ChatGPT 能写出画珍珠奶茶的代码；接着要求它画一杯旋转 180 度的。如果你真的拥有「珍珠奶茶」这个抽象概念，大概也能画出倒过来的那杯。可他们发现 GPT-4 在改动过的任务上差得多。由此他们得出结论：这个系统并没有形成真正一般性的抽象，它做的是从训练数据里提取某些东西来帮助完成任务，而当任务变体与训练数据里的东西差别很大时，它就做不到了。这是他们的论断。

那么问题是：它们建立的抽象究竟有多真实、多稳健？这是我一直在做的工作。谷歌研究员弗朗索瓦·肖莱设计了一组任务，叫「抽象与推理挑战」或「抽象与推理语料库」（ARC），我的团队在此基础上做了扩展。我们问的是：AI 系统是否理解基本的空间和语义概念，比如「上」和「下」，我刚才说过 DALL·E 不会把盒子叠起来；比如「里」和「外」，「相同」和「不同」。这些问题被理想化成非常简单的谜题。谜题是这样的：我给你三个示范，每个示范把一个彩色网格变换成另一个网格，一、二、三，然后我说：请对第四个网格做同样的变换。在座的大多数人会说：好，去掉底部的那个物体。这是另一个变体，大多数人会说：把顶行涂成红色。你们在灵活地运用「上」和「下」这两个概念。再一个变体：去掉最上面和最下面的物体。这些都是在测试概念的变体，而这一点非常重要，AI 领域的很多基准都不做这件事，它们不系统地测试概念理解的变体。

再看一个例子，「相同」与「不同」这个概念。这道题是：保留形状相同的那些。这是稍有不同的版本：保留内部形状相同的那些。最后一道：去掉外层颜色相同的形状。所有这些都在测试你对这些概念的灵活理解。

AI 系统做得怎么样？我们测了几个系统。GPT-4 是纯语言系统，它其实有一个用图像训练的多模态版本，但当时还没发布。我们给它的是文本版的题目，这有点不公平，但和前面那篇声称类比成功的论文给出的视觉题文本版非常相似：颜色编码成数字，网格的每一行放在方括号里。我们把大约五百道题分成不同的概念组，给几个 AI 系统和人类做。这是准确率：人类；ARC 竞赛 Kaggle 第一名的程序，专门为这类题设计；第二名的程序也是；还有 GPT-4，它不是专门设计的，但据说具备类比和抽象能力。你们可以看到，人类做得相当好，而这些程序还没有达到理解的程度。有意思的是，它们确实能做对一些题，但我们不能只看一个例子就说「好，现在我知道它能做这类任务了」，必须看很多不同的例子。

两极化的头条与结论

米切尔： 我希望我已经传达了这一点：AI 社区正在进行一场大辩论，而且高度两极化。我们有这样的标题，「GPT-4 是一台推理引擎」，也有「GPT-4 不会推理」；有「如何用 ChatGPT 做旅行规划」，也有「大语言模型仍然不会规划」；有论文说「GPT-4 闪现出通用人工智能的火花」，也有标题说「有人在 ChatGPT 里瞥见了 AGI，有人称之为海市蜃楼」。谁对？我认为我们不知道。这是这个社区必须共同面对的问题：怎样理解这些系统的能力，它们距离人类那样的推理能力还有多远，以及我们怎样才能分辨。

总结一下。要拥有稳健的理解，AI 系统需要学会概念，并能形成抽象和类比。有人认为今天的模型已经具备这些品质，但它们的行为和「理解」，如果你愿意这么叫的话，还不稳健。而对这些系统的理解与抽象能力的评估，非常棘手。我和同事戴维·克拉考尔写过一篇论文，梳理这场辩论，尝试厘清「理解」在人类和 AI 系统中可能意味着什么。

我想引用特伦斯·谢诺夫斯基的一段话作结。他几十年来一直在神经科学、认知科学和 AI 领域工作，是最早研究神经网络的人之一。他最近写了一篇关于大语言模型的论文，其中说：某种几年前还无人预料的事情正在发生，我们跨过了一道门槛，就好像突然出现了一个外星来客，能以一种令人不安的、酷似人类的方式和我们交流。有一点很清楚：大语言模型不是人类，但它们从全世界的文本数据库里提取信息的能力超越人类。它们的某些行为看起来是智能的，可如果那不是人类的智能，那么它们的智能究竟是什么性质？这正是我们所有人都在苦苦思索的问题。谢谢大家。

主持人： 非常感谢这场精彩的演讲。谢诺夫斯基几年前也来我们这里讲过，那时这轮进展的爆发还没开始，很想请他回来谈谈那篇论文。今天我们很幸运，有两位专门研究 AI 系统评估的专家来回应。温妮，请你先来。温妮·斯特里特是谷歌研究院的研究负责人，专注于评估大语言模型的认知能力，尤其是社会智能。

回应一：人类智能不该是唯一目标

斯特里特： 首先感谢梅兰妮这场极其精彩的演讲，能和她同台是我的荣幸。也感谢 CFI 的邀请，特别是亨利·谢夫林的邀请。梅兰妮出色地刻画了这场辩论中的激进不确定，并把我们引向一个观点：AI 大概需要发展出概念，而且是类人的概念，才能在智能测试上达到人类的水平。

我的回应有三点。第一，我基本认同梅兰妮对 AI 研究者所面临困境的刻画，即我们很难确定这些系统到底在做什么。第二，我想质疑当下许多 AI 辩论背后的一个预设：类人智能应当是目标。第三，我想回过头来说明，为什么类人的概念理解在某些情形下确实重要，并借价值对齐问题来说明这一点。

先说第一点。梅兰妮给一场常常缺乏细腻的辩论加入了细腻，尤其是她强调了「在测试上的表现」与「测试想要探测的那种能力是否真的存在」之间的区别。这在很多领域都是真正的难题，在 AI 领域尤其如此，因为来自不同学科背景的人带着各自的理论框架进入这场辩论，用不同的方式定义智能。要审视所有证据，包括彼此冲突的证据，并得出结论，非常困难。但梅兰妮的号召是对的：我们应当更严格地思考针对概念的测试，用更全面的方式去测，这值得在整个领域推广。

第二点，我想质疑 AI 讨论背后的某些预设，并呼应梅兰妮结尾引用谢诺夫斯基的那个问题：AI 系统到底是哪一种智能？我想请大家思考：人类智能是否应当是目标？我认为有两个理由值得怀疑。

首先，人类的概念并不是世界的完美模型。它们只是基于我们现有知识和认知能力的粗略近似。我们对世界的解释和认知模型，解释力和预测力有强有弱，这在个体发展的过程中、在历史进程中、在不同文化、不同领域、不同个体之间都有所不同。比如在成长过程中，我们随着知识和理解的增长，把较差的抽象换成较好的：孩子学数数是从死记硬背一到十开始的，可到某个时刻会有一个「啊哈」的瞬间，他们认出了十进制，意识到可以无限地数下去。另一个例子来自民间心理学（folk psychology）：我们对彼此的民间心理学模型在解释和预测他人行为上相当好用；可反过来，尽管我们对自己的导航系统有相当不错的理解，一旦要从鼹鼠的地洞里找路出来，我们会束手无策。所以，人类的概念天生有限。它们的存在恰恰是因为我们没有足够的认知能力和记忆去随时把世界的全貌尽收眼底，我们发展出概念来压缩世界。这些概念催生了我们日常用来在世界里行走的启发式，而启发式也会带来失误和偏见。我们未必希望 AI 系统也带着这些偏见。

其次，退一步，用更整体的眼光看什么是智能。看看来自非人类动物的证据就很清楚，许多物种都具备重要而有趣的认知能力，从鸟类到黑猩猩到章鱼，但我们对它们智能的性质仍然存在激进的不确定，因为解读它们的行为极其困难，聪明的汉斯的例子就说明了这一点。动物到底是在展示某种习得的还是天生的能力，它们是否真的在使用和我们相同的认知机制，往往并不清楚。到了章鱼这样在系统发育上与我们相距遥远的物种，情况就更复杂。而 AI 系统也许更像章鱼，而不是更像我们。至少有一种可能：当前的 AI 已经在发展，或者未来的 AI 某天会发展出人类无法企及的高阶逻辑形式，这是梅兰妮那篇关于 AI 理解的论文里的话；或者至少，它们可能拥有另一种与我们不同的理解。所以，眼下在我们看来像是伪相关或者统计捷径的东西，事实上也许是另一种世界模型的证据，有其自身的价值。采取这种视角对我们可能有用：它可能让我们对智能有更好的理解，可能让我们更好地解读 AI 系统的行为，也可能让我们更有效地利用 AI 系统独有的技能。

价值对齐为何需要相似的概念

斯特里特： 最后回到第三点。尽管我们也许愿意接受 AI 系统拥有与我们不同的概念框架，但在某些情形下，它们的抽象与我们相似仍然很重要。比如在某些科学研究里，我们可能不在乎 AI 系统是怎么得出结论的：如果一个 AI 系统能找到一种室温半导体，我们大概不在乎它是怎么做到的。可在另一些情形下，比如 AI 的社会应用，或者任何面向用户的应用，自动驾驶汽车、社交聊天机器人、人力资源工具、医疗，AI 系统拥有与我们相似的概念就可能至关重要。因为我们大概希望让这些 AI 系统与我们的价值观对齐，希望给它们灌输道德原则，让它们的行为与我们的行为一致。比如我们想教一个 AI 系统不要伤害人，不要因为种族或性别歧视人。可要做到这一点，我们也许认为它们必须先拥有「疼痛」、「性别」、「种族」这些概念。

幸运的是，与梅兰妮展示的部分证据相反，我认为我们有理由乐观：这些系统正在发展出这些能力。扬·勒昆声称只用语言训练的系统永远无法逼近人类水平的智能。我想举普林斯顿大学心理学系拉贾·马尔詹及其同事最近的一项研究。他们想知道 AI 系统能否仅凭语言发展出知觉概念。他们选取颜色、音色、音高、响度、味道这些概念，让人类和大语言模型分别比较同一范畴下的两个实例，并评价二者有多相似。颜色的情形下，他们让人类并排看两种颜色评价相似度；给大语言模型的则是这两种颜色的十六进制代码，一种数字编码。音色的情形下，他们让人类听大提琴和小提琴，或者其他乐器组合，比较音色有多相似；给大语言模型的只是乐器的名字。结果发现，在所有这些范畴上，大语言模型和人类的评分高度相关。尽管大语言模型没有耳朵去听乐器，没有眼睛去看颜色，它们仍能从预训练时消化的语言内容里构造出这些概念。我认为这非常了不起，而且它与认知科学和心理学在人类身上的其他证据相互印证：缺少某些知觉感官通道的人，比如先天失明者，同样能发展出对世界丰富的知觉体验。

所以我想以此作结：这给了我们一些令人鼓舞的迹象，说明让 AI 系统与我们的需求和目标对齐是有希望的。总之，此刻从事这项工作令人无比兴奋。显然，对这个话题感兴趣的不只是哲学家、认知科学家、心理学家和神经科学家，任何关心「思考、感受、理解意味着什么」的人，都能从中有所收获。谢谢。

主持人： 非常感谢温妮，也谢谢你严格守时。瑞安，现在是图灵研究所的高级研究员，但仍然是 CFI 大家庭的一员，请。

回应二：架构缺陷还是数据不足

瑞安： 谢谢。也和温妮一样，先感谢梅兰妮这场发人深省的演讲。它提出了太多有趣的问题，我很想都谈一谈，但为了时间，我只挑几点。

你展示的数据里有一件事特别有意思：这些模型在那么多情形下都没能掌握复杂的抽象概念。这就引出一个很有意思的问题：它们为什么掌握不了？具体说，这是不是模型结构上的问题，是不是架构本身限制了它们理解复杂概念的潜力，以至于不管给 DALL·E 2 或 GPT-4 什么样的数据，它们都不可能理解「在上面」这个概念？还是说，问题更多出在我们给它们的训练数据上，这些模型或许有潜力建立对这些概念的理解，只是我们还没给它们合适的数据？

我认为有些理由让人相信，这些模型不只是在记忆和复述，它们确实在抽象某种东西。拿叠盒子或者猫和电视的例子来说，这些模型通常都能领会「一个东西应该在另一个东西上面」这个意思，也就是说它抓住了这个概念的某些部分，只是没把顺序弄对。一个可能的原因是：如果训练数据里两个物体的组合永远是一个在上一个在下，永远是猫在电视上，从来没有电视在猫上，那模型就很难学会二者的区别，很难学到顺序是重要的。也许给模型更好的训练数据，多一些这种翻转的情形，它们就能学到这类抽象概念。所以这项工作有很多有意思的方向可以走：有多少是架构问题，有多少可以靠改进训练数据来解决？

评测危机：模型迭代太快

瑞安： 这场演讲凸显的另一件事是，作为一个领域，我们在如何评估这些系统上正经历一场危机。我们过去评估 AI 的许多办法突然都不太管用了。在过去，AI 系统非常狭窄，往往很脆弱，会以各种方式失败，所以搭建评估基准其实很容易：它们容易被弄坏，你只要汇集一个大数据集，找出模型失败的情形，然后就能随着模型在基准上的进步来追踪进展。可现在系统的能力强得多，又出现了梅兰妮说的那种问题，基准被吸收进训练数据，要建立能稳健评估这些系统的数据集变得困难得多。这对这个领域的很多人来说是个大难题。再加上进展太快，有时每个月都有新模型问世，每出一个新模型，你几乎得从头再来，重新搞清楚它能做什么、局限在哪。这越来越难，因为这些系统的能力太宽泛，评估耗时又昂贵。所以试图评估和理解这些系统的人几乎永远处于被动，在追赶最前沿的系统。我认为这是领域里很多人都在挣扎面对的一个大挑战，也包括梅兰妮在演讲里大量讨论的抽象问题。

人类也会犯错：家族相似

瑞安： 最后，接着温妮刚才的话说，我认为很重要的一点是思考我们应该怎样把这些系统与人类比较，怎样比较才是对的，判断一个模型是否智能、是否有能力的基准应该是什么。看到 AI 系统的某些失败时，很容易觉得「这些系统真的不智能，它们错得太明显了」。可是，尽管我们把人类视为相当智能的存在，其实也很容易构造出让人类失败的情境：人类同样会抽不出抽象概念，做不出类比，推理不当。也许程度不像某些 AI 系统那么严重，但人类确实犯很多错误。所以，我们该怎样设定这个基准，就成了很有意思的问题：这些错误是不是说明缺乏智能？还是说，就像人类一样，它们只是表明这是另一种智能，或者它们捕捉到的东西与我们想让它们捕捉的不一样？

更广地说，这就进入了相当哲学的领域：概念是什么，概念为什么有用。梅兰妮举的各种桥的例子里，在这些不同类型的桥之间，往往不存在某一个决定「什么算桥」的本质属性。维特根斯坦有「家族相似」（family resemblances）的说法：对任何一个概念，其中并没有一个本质的东西，你有的只是一组实例，它们的特征彼此交叠。听梅兰妮讲的时候我在想，这些系统形成这类模糊概念的能力差异，会不会正是问题的一部分：也许它们能形成概念，但在那些没有单一本质的模糊概念上会遇到困难，也许这就是它们不够灵活的原因。我就说到这里，进入提问。

提问：智能不是一种东西

主持人： 现在开始接受现场和线上观众的提问。达里安会帮忙传递话筒。我先看现场，后面穿蓝衬衫的先生，我最先看到你举手。

观众： 谢谢。梅兰妮的讲座非常精彩，两位的回应也很好。听两位回应的时候，尤其让我想起大约十二年前和玛姬·博登的一次谈话。她当时颇为神秘地对我说：关于智能，要紧的是，它不是一种东西，不是动物和人类拥有得或多或少的一样东西。我禁不住担心，大语言模型只是一种智能。不知道你是否同意。

米切尔： 我同意玛姬·博登的说法，智能不是一样我们拥有得多或少的东西。任何一种生物智能都是为了它必须解决的某一组特定问题演化出来的，我们解决的问题和章鱼不同。大语言模型也可能是被「演化」或训练来解决某一类特定问题的。我们知道它们训练的基本任务是预测下一个词，这催生了某些能力。我们完全不是这样被训练的，我们不是这样学习的。所以它也许催生了某些能力和某些解决问题的方式，与我们的工作方式相当不同。我认为这仍是一个开放的问题。杰夫·辛顿，一位非常有影响的 AI 研究者，说过：要在预测下一个词上成功，唯一的办法就是建立丰富的概念和世界模型。我对此没那么有把握，但这仍在争论之中。

具身、演化与目标函数

主持人： 后面这一侧，抱歉让你跑一趟，我想让两边机会均等。

观众： 听今天的演讲，读你那篇总结这个领域的论文，有一点让我印象很深：人类智能的发展方式和这些 AI 系统的训练方式之间，没有多少相似或可类比之处。我们演化出来是为了顺畅地应对这样的物理环境，比如我能走到那张长凳旁坐下而不摔倒；我们也发展出社会能力，知道在这样的社交场合什么得体、什么不得体。我们并没有演化出做抽象推理小题和类比测试的能力，就像你演讲和论文里展示的那种。所以我在想，一个有意思的尝试是：拿一个为应对物理环境而优化的 AI 系统，比如波士顿动力那些著名 YouTube 视频里的机器人，看看要怎样才能让这样一个有身体、要应付物理环境的系统去做这些抽象推理和类比测试。那会更接近人类做到的事。而目前 ChatGPT 之类的 AI 系统根本不是这么做的。

米切尔： 这个问题牵出了很多 AI 领域的人经常思考的东西。你说我们不是演化来做抽象小谜题的，完全正确，那不在我们的演化史里。但我们确实演化出了概念，从某种意义上说，这就是人类与世界打交道的方式，我们在现实生活里做抽象。有很多智力测试试图充当这种能力的代理，有的好一些，有的差一些，但它们确实与我们在现实世界里的抽象能力有某种相关。

再说说机器人学。机器人学作为一个领域，进展远不如语言理解。事实上，波士顿动力那些看起来惊人的演示，机器人的很多行为其实是由人远程操控的，或者是预先编好的脚本，并不是机器人在各方面都自主行动。所以那些东西有点误导。机器人学仍然在与许多非常基础的问题搏斗，这些问题解决得远不如 AI 的其他领域好。我认为我们还没有一个系统能拥有与人类相当的物理能力。这是 AI 领域另一场大辩论，叫「具身智能」（embodied intelligence）：要像人类那样智能，是否需要一个身体？这也触及温妮的评论，也许目标不应该是类人智能，而应该是别的东西。可如果我们希望机器人、自动驾驶汽车和嵌入社会的机器人参与人类社会，我们确实需要它们做出一些与我们相同的抽象。这就是挑战所在。

主持人： 温妮想补充，请。顺便说一句，两位回应人随时可以加入讨论。

斯特里特： 我想补充一点，和你问题的开头有关：如果用演化的眼光看大语言模型在做什么，它们是否承受了任何类似人类曾经承受的演化压力，那种让我们有了抽象之类东西的压力？大卫·查默斯最近做了一场演讲，讨论大语言模型能否有意识，他在人类演化与大语言模型之间做了一个有意思的类比，与此相关。他说，如果人类有一个目标函数，那就是在环境中最大化适应度。你不会预期最大化适应度必然带来视觉、飞行、驾驭复杂社交情境这些不可思议的能力，可它们确实出现了，因为那恰好是我们得以生存的方式之一。同样，一个 AI 系统的目标函数只是最小化下一个词的预测误差，可为了把这件事做得更好，各种其他有意思的能力也可能由此而生。

规划、人格与循环定义

主持人： 线上有排队的问题吗？

线上主持： 有，很多问题其实和现场的讨论是呼应的。这是 TJ 的线上提问，问米切尔：是否可以说，并非所有认知能力都需要形成抽象？比如浅层规划可以在不形成新概念的情况下完成，而科学发现也许必然需要认知上的新颖性。这是否符合你的框架？这是否意味着近期的 AI 系统可以做大规模规划，却不需要做复杂推理？因为做规划时，你在意的是能否调用中等尺度的概念，而不太在意这些概念是怎么获得的。抱歉，问题很长。

米切尔： 我认为，我们做的有些事显然几乎不涉及抽象，很多事我们是以非常机械的方式完成的，根本不依赖复杂的抽象，这一点我同意。但规划我就没那么确定了。我认为规划的一部分是识别你处在什么样的情境里，并想象未来的情境，想象你采取某些行动后事情会怎样变化。而对情境的识别，本质上就是概念和抽象。所以我认为抽象是规划的关键，这也许正是大语言模型在规划上仍然吃力的原因之一。

主持人： 回到现场。中间靠后，穿粉色上衣的那位。

观众： 我的问题是，你认为 AI，尤其是机器人，有一天能获得人格（personhood）吗？如果能，会有什么影响？

米切尔： 好问题。我想回到玛姬·博登的那句话：机器人和任何 AI 系统大概都不会接管世界，因为它们不在乎。它们就是不在乎，没有欲望，没有自己的动机。对我来说，人格恰恰要求这些。我不知道一个东西怎么能在没有那种程度的自我意识、自我感，没有「有些事对我自己很重要」的感受、没有在乎之物的情况下成为一个人，也许还得作为一个人嵌入社会环境。所以我对此存疑。但我不知道，这确实是一个开放的问题。我很想听听瑞安的看法。

瑞安： 我同意。这是一个很哲学的问题。你可以对动物问类似的问题：它们有意识吗？相对于人类，我们该怎样考虑它们的权利？取决于我们造出什么样的系统，我们最终可能造出确实拥有目标、某种能动性和复杂推理的系统。如果有了那样的系统，那么是否该把它们视为人，就真的有得辩了。

主持人： 穿红色上衣的先生从一开始就在等。

观众： 首先感谢这场精彩的演讲。我的问题针对演讲里的一个具体说法：AI 的理解失败是因为缺乏类人的概念与抽象。为了说明这一点，演讲引入了一个概念的定义：「一种能力或倾向，能生成一个范畴的无限多种概念化」，作为思考「拥有一个概念」意味着什么的一种方式。那么，要理解为什么 AI 会因为缺乏类人概念而失败，我们就得先理解什么是能力、什么是倾向、什么是概念化、什么构成一个范畴。也许我的语气已经暴露了，我很快就担心这会变成循环。这就意味着两个人读同一句话可能理解成两样东西。如果是这样，我们怎么可能在这些问题上取得进展？这是不是意味着这些问题从根本上就可能没有答案？因为如果人们对细节的理解不同，他们可能永远无法就它的含义达成一致。我这么问不是要挑战这个观点，而是我自己承认这些问题至关重要，却因为这类困难而不知道该怎么把它们想明白。很想听听你的看法。

米切尔： 这是非常公允的评论。心理学家几十年来一直在为「概念是什么」争论不休，关于概念有各式各样的理论，对这些东西的含义和该怎样思考它们，分歧很多。神经科学里也没有关于「概念在大脑里是什么」的观念：概念在哪里？我们怎么找到它们？这是一个科学问题。这些术语，也许「概念」这个术语本身，就是我们人类造出来的一种构念（construct），而它可能是思考智能的错误构念，我们得另想一个新的。这些是认知科学关心的事，但它们是开放的问题。我认为这正是问题之一：我们使用的这些术语，概念，乃至「智能」本身，都没有良好的定义。所以当我们谈论通用人工智能（AGI）以及我们离它有多近时，我们甚至不清楚靶子究竟是什么。这是在 AI 领域工作的兴奋和挫败的一部分：我们不太确定自己在找什么。

有意思的是，纵观 AI 的历史，「智能是什么」这个观念一再被 AI 本身挑战。比如过去人们认为，要下到特级大师水平的国际象棋，需要完整的人类智能，那是人类智能的顶峰。可我们有了「深蓝」这样的暴力搜索程序，下得比加里·卡斯帕罗夫还好。于是大家说：等等，我们对智能的看法错了。最近的大语言模型也在挑战我们。过去我们认为语言是智能的顶峰，可现在有了能产出特别流畅语言的系统，我们该把它们视为智能吗？AI 领域的人常说，每当有人说「等等，我们说的智能不是这个意思」，就有人反驳「你在移动球门，这不公平，你说过那就是你认为的智能，现在又改口了」。可我认为科学就是这样运作的：我们有一些观念，它们被挑战，我们就得不断修正。这正是 AI 在迫使认知科学家做的事。绕了这么大一圈，其实是想说：你是对的。

观众： 那你是否同意，在某种意义上，我提出的问题正说明了这些问题为什么难？

米切尔： 当然，是的。

主持人： 两位回应人有补充吗？

斯特里特： 只补充一点。你问题里指出的循环性，还有另一层循环：我们必须用一个自己想出来的抽象概念，也就是「智能」，去测试其他系统的智能，可我们自己关于智能的抽象概念，未必是对宇宙中实际发生之事的良好近似。这是个难题。如果有一个第三方观察者就好了，可我们是在研究自己的心智。

瑞安： 我认为这也正是 AI 带来的真正令人兴奋的机会之一。正如梅兰妮所说，在大脑里，要钻进去弄清楚发生了什么、事物是怎样表征的，非常困难。而在 AI 系统里，至少理论上我们能访问整个网络，所以也许能钻进这些系统，进一步弄清楚概念在计算系统里是怎样表征的。AI 也带来了这样的机会。

以正确的方式失败

主持人： 现场的问题稍等一下，我想再看看线上。

线上主持： 筛选之后，我们觉得这个问题有意思：一个好的基准测试，能否要求系统「以正确的方式失败」？也就是说，在人类会因为同样原因失败的地方失败。

米切尔： 是的，我确实这么认为。这又回到了那个问题：我们是否希望 AI 像人类？如果希望，那我们确实希望它以同样的方式失败，以此表明它在像人一样推理。我们也可能希望 AI 系统优于人类。但我认为一个问题是：这里有没有取舍？你提到人类有偏见，有推理上的失误，绝不完美。那么，有没有可能既像我们这样通用而灵活，又没有某些偏见和失误？我不知道答案。AI 领域有些人认为可以，认为你可以同时拥有人类智能的全部和计算机的全部优势。我对此没那么信服。

瑞安： 还有一种思考概念的方式，是把它看作一种捷径，帮助我们理解世界，而不必随时对一切做全部计算。所以从某种意义上说，我们自己也一直在为各种目的使用这些捷径。

该停下，还是该向前

主持人： 问题很多。史蒂芬等了很久，你也是，还有你。我们先史蒂芬，再你，再这位先生。

凯夫： 谢谢梅兰妮。我很欣赏你把我们留在激进的不确定里，抵挡住了给出简单答案的诱惑。我认为这正是我们所处的这个非同寻常时刻的症候，温妮也提到了。我想请你退后一步，反思这一点。我们谈论这些系统的方式，在我看来不像我们谈论过的任何人类发明。我们习惯于测试东西：给车改了个零件，它跑得更快了没有？我们得测试，得找出答案，有指标可依。我们通常不会陷入这种激进的不确定，不知道自己造出来的东西到底有没有深刻的智力能力，只能说「我们就是不知道」。我们谈论它的方式，更像是在谈一个已经降临人间的外星来客，它已经遍布全球，成千上万的人在用它，而我们还在试图弄清它能做什么、不能做什么、它怎么思考。这确实非同寻常。很多人为此担忧，很多人为此兴奋。所以我想把你钉在这个问题上：你站在哪一边？有人呼吁暂停，因为你说的这种激进的不确定，我们应该停止开发这些系统；另一些人无比兴奋，认为这是人类历史上最了不起的成就，当然要继续往前冲。我想问你和两位回应人：你们站在哪里？

米切尔： 我认为 AI 有很大的潜力真正帮助人类。我们已经看到了惊人的进展，比如分子生物学里用 AI 系统预测蛋白质结构，这非常深远，我认为它会给药物设计和其他医学应用带来巨大改进。所以有很多积极的方面。但显然也有很多潜在的负面。我提到过摧毁民主：我们看到 AI 系统被用来制造虚假信息，制作深度伪造和各种假媒体，情况越来越糟。现在有系统能把一个人的声音模仿得如此精确，能在电话里骗过他的家人，让对方相信电话那头是自家亲人，要求把钱以比特币的形式打到某个暗网地址。所以我确实认为有很多危险。

但我有时也担心，危险和好处一样被过度炒作了。于是我们看到埃利泽·尤德科夫斯基这样的人在《时代》杂志上写文章说我们应该轰炸所有数据中心，这本身就可能非常危险。我觉得我们处在一个危险的时期，我不知道确切的解决办法是什么。但我确实觉得，当所有的权力、金钱和资源都集中在少数几家大公司手里，由它们真正掌控这项技术怎么被使用时，这是一个糟糕的局面。

主持人： 温妮，在这个略带针对性的时刻，请你回应。

斯特里特： 我不觉得这是针对我个人。我认为梅兰妮把问题说得很清楚了。我唯一想补充的是：真正改变我们对 AI 系统感受的，是语言。AI 的发展本身并不特别新鲜。如果我们没有发现 Transformer 能在语言上做出这么惊人的事，如果这一切只发生在图像模态上，只是看到了不可思议的识别和生成能力，我们会有这样的反应吗？我认为原因就在于语言与「作为人」的意义联系得如此紧密。当大语言模型产出的语言如此自然时，我们不可能不为之所动。我认为这大概是这一切背后的原因，不管那些语言在引擎盖底下是否真的代表了什么更有意义的东西。

瑞安： 我同意温妮和梅兰妮的说法。作为一个做系统评估的人，正如我在回应里说的，我担心的是这些系统推出得太快，我们没有时间充分理解它们的能力和潜在风险。这是让我担忧的事。我认为这些公司能做的任何放慢脚步的事，确保在发布之前真正理解这些系统，都非常重要。

概念、语言与价值对齐

主持人： 这位女士等了很久，请。

观众： 在我看来，概念本身是依赖于具体语言的，所以正确的抽象或泛化方式取决于你所处的文化和社会。比如我们说的「罐」或「壶」，在相邻的语言里挑出来的可能是不同的物件。我想问，反思这一点，你认为大语言模型是根本没有概念，还是只是没有我们的语言里的我们的概念？它们是否可能拥有概念，只是挑出的是不同种类的东西？它们是在做抽象，只是方式和我们不同？还是根本没在做？

米切尔： 有可能，但我不知道我们怎么才能分辨。它们主要是用英语和英文文本训练的，当然也有其他语言在里面，它能把英语译成法语。可如果存在某种不属于人类的抽象，我不知道我们怎么才能设想它。这是个大问题。正如两位回应人指出的，这些系统的东西，我们也许叫它捷径，但它实际上是某种统计关联的集合，也许揭示了一种新的、不同于人类理解的理解。我甚至没法在脑子里想象那意味着什么，但这是可能的，也许这正是我们将来要设法弄明白的事。

观众： 感谢梅兰妮和两位回应人发人深省的演讲。尤其是结尾处，我喜欢「多种智能」这个想法。甚至你展示的那匹马也可以说有某种情绪智能，因为它学会了对它所联想到的某种需求作出反应，那大概会给它带来某种满足。如今的政客发展出一种政治智能，如果民调需要，他们会告诉你二加二等于五。温妮说这种「多种智能」的想法意味着 AI 会帮助满足人类的需求，你结尾的话也有这个意思。我想问的是，怎样理解 AI 的需求是由什么驱动的？因为 AI 是由组织和人开发的，我们得理解这些组织和这些人的需求，才能理解他们会造出哪种智能。如果我们不理解这一点，怎么能确定它未来会与我们的价值观和需求对齐？这个问题给你。

斯特里特： 你的问题是不是：如果我们不确定人类的目标是什么，就无法开发出有帮助的 AI？

观众： 我们有许多不同的目标。我们知道像谷歌这样的组织，每家开发 AI 的公司，都有目标，我们也知道这些目标是什么。但我们不知道这些目标会造出哪种智能。以那匹马为例，我们知道它发展出了某种情绪智能，因为它算对了主人大概会给它一块糖。我们也知道开发 AI 系统的逻辑，知道是什么在为 AI 的开发买单。可我们理解这些目标会产出哪种智能吗？它们与我们想要的人类价值观一致吗？所以我的问题是关于最后那个对齐，AI 与人类价值观的对齐，在我看来相当不确定，尤其是我们甚至不理解自己正在创造的是哪种智能。

斯特里特： 这是个很好的问题，也是个巨大的问题。价值对齐问题横跨 AI 研究的许多领域。你点出的一个核心问题是：我们究竟想让系统对齐哪些价值观？是谁的价值观？是某个组织的，是用户的，是某种特定文化的，还是我们有某种可以应用于这些系统的普遍价值观？显然，我们不希望它是某一家组织的价值观自上而下强加给整个社会，这绝不是我们想做的。但要设计一个真正反映如此多样的个体需求的价值对齐流程，尤其是用户遍布全球时，确实是个挑战。

最近让我颇受启发的一件事是 Anthropic 的「宪法式 AI」（Constitutional AI）。它的思路是借用宪法的概念，在他们的例子里是一组十条法则，是世界上大多数人都认同的关于什么是好行为、什么是坏行为的一般原则，然后以此为准绳去微调大语言模型，让它的行为尊重我们，不延续偏见、歧视和仇恨言论。我认为这种模式将来可能行得通。当然，哪怕只是拟出十条宪法原则也很难，我认为我们还没有解决方案。理想情况下，这需要产业界、公众、政府以及学术界等各类组织的协作。

米切尔： 我也回应一下。价值观这个概念，正是需要丰富概念的一个显而易见的例子，因为价值观本身就是概念。艾萨克·阿西莫夫写过《我，机器人》那一系列故事，讲的都是机器人被赋予「不得伤害人类」之类的法则，然后误读了这些法则，因为它们没有丰富的概念。「不得伤害人类」是条好法则，可它也许意味着，汽车冲过来时我不该把人推开，因为推人会弄疼他。这里有各种各样的例外，因为你必须知道法则周围的那些概念。我认为这是价值对齐的一大挑战：价值观就是概念。

斯特里特： 说得好。

三年前与三年后

主持人： 我要滥用一下主持人的特权，自己问一个问题，问在座任何一位。两部分。第一，能否举一个认知任务的例子，三年前你会自信地预言现有 AI 系统做不到，而现在它做到了？第二，能否举一个三年后你相当有把握 AI 系统仍然做不到的、最不起眼的事？

瑞安： 这个难。三年前……你也可以调整这个问题的参数。梅兰妮刚才谈到机器人学遇到的困难，我认为任何涉及操控复杂真实世界情境的事，大概在相当长一段时间里都是这些系统的难题。因为一旦进入真实世界，你必须处理的数据的复杂程度远远超过我们喂给大语言模型之类系统的东西，而我们还没弄清楚怎么解决这些问题。所以我认为那些事还很遥远。

米切尔： 我稍微改一下参数。对我来说，大语言模型出现之前，AI 领域最让我意外的一件事是：系统不需要理解语言就能做语音识别，也就是把语音转成文字，比如对着手机口述。我可以很有把握地说，在大语言模型之前，那些语音识别系统用的是不理解语言的统计模型，可它们仍然能完成那项任务。这让我非常意外。

主持人： 好例子。

斯特里特： 我可以举一个相当个人化的例子，关于大语言模型，也许两年前我不会相信它能做到。它来自梅兰妮幻灯片里提到的那篇《通用人工智能的火花》论文。那篇论文整体上相当依赖个案，但里面的例子很有意思。最让我惊叹的一个是：让 GPT-4 设想，如果它是感恩节晚宴上的一位客人，周围全是反疫苗的人，它会怎么说服他们去接种疫苗。那个回答在社交上的细腻程度，我觉得简直不可思议，比你能从任何一位社会动态与说服领域的真正专家那里得到的都要好。那太了不起了。

主持人： 谢谢。恐怕已经七点了。抱歉没能回答每个人的问题，但有这么多精彩的提问和丰富的讨论话题，本身就证明了演讲、回应和讨论的精彩。希望几位讲者在晚餐前能留几分钟和观众继续交流。正式结束之前，请大家和我一起，把掌声送给梅兰妮·米切尔、温妮·斯特里特和瑞安。