Margaret Boden - Creativity and AGI - AGI12 - Oxford Winter Intelligence

编者按：本文整理自英国萨塞克斯大学认知科学研究教授玛格丽特·博登（Margaret Boden）在牛津「冬季智能」AGI-12 大会上的主题演讲及现场问答。博登是人工智能哲学与创造力研究的奠基人物，著有《创造性心智》（The Creative Mind）。问答环节中，英国认知科学先驱、伯明翰大学荣休教授亚伦·斯洛曼（Aaron Sloman）就「本体论创造力」提出反驳，大会主席本·格策尔（Ben Goertzel）则就库兹韦尔的 AGI 时间表向她发问。全文依据现场录音编译整理，仅删去口语枝节与重复，论证与例证悉数保留。

创造力不是魔法

博登：创造力很奇妙，但绝不神秘，也绝不是一小撮浪漫天才的专利。它是人类通用智能的一个侧面，我们每个人都有。我们当然不都是莫扎特，但我们都有创造力。

我所说的创造力，指的是提出新颖（new）、令人惊讶（surprising）而且有价值（valuable）的想法的能力。在谈别的之前，我得先解释「新颖」在这里是什么意思。它指的是对提出这个想法的人（或者计算机系统）而言是新的。这个想法以前被想到过多少次都无所谓，只要在相关意义上它对当事人是新的，并且令人惊讶、有价值，我就把它算作创造力。当然，这些想法当中有一小部分，对整个人类历史来说也是新的，那些往往会写进史书。我们大多数人不是莫扎特，不过我倒觉得，每个人一生里大概都会有那么一两次，甚至更多次，想出历史上从未有过的东西：一句新的双关，一个新的笑话，之前没人讲过，以后大概也不会再有人讲。但多数时候，我们想出的东西只是对自己而言是新的，未必在历史上是新的。我要谈的正是这种创造力，因为历史意义上的创造力只是它的一个子集。

由此可以推出：如果通用人工智能（AGI）真的要出现，它必须具备创造力，因为创造力是人类日常智能的一部分。没有创造力，就绝对谈不上通用智能。这就是我在这样一场大会上讲创造力的理由。

三种创造力，三种惊讶

博登：那么，该怎么着手呢？创造力有三种，我指的是三种不同的计算过程、心理过程，它们都能产生新想法，而且各自伴随着一种不同的惊讶。我把它们叫做组合式（combinational）、探索式（exploratory）和变革式（transformational）创造力。

组合式创造力，是你通常听人谈论的唯一一种。给创造力下定义的人，甚至那些把整个职业生涯都用来研究创造力的人，做实验的专业心理学家，他们通常都把创造力定义为：把熟悉的想法组合成不熟悉的搭配。当然，大量的创造力确实就是这样。想想诗歌里那些精彩的意象，想想艺术或科学中的类比，想想拼贴画。组合式创造力的例子俯拾皆是，所以它无疑是重要的一类，AGI 必须能对它建模。它带来的惊讶，我称之为统计意义上的惊讶（statistical surprise）：某件不寻常的事发生了，你没料到，而且即便它已经发生，你仍然觉得惊讶。打个比方，就像德比赛马中一匹冷门马赢了。你事先没想到，发生时觉得意外，发生之后在某种意义上仍然觉得意外。但说到底，这不是什么惊天动地的惊讶。

探索式创造力带来的惊讶也算不上惊天动地。所谓探索式创造力，是指在某种既定的文化风格之内想出新东西。顺带说一句，我这里的「想法」用得很宽泛，它可以是一个概念，也可以是一座雕塑，或者一项工程设计，可以是人工制品，也可以是观念。在探索式创造力里，当事人想出的新结构，契合于一种先前已被接受的文化风格。通常，这种风格来自当事人自己的文化，偶尔也会整体或部分地借自另一种文化。比如毕加索画《亚维农少女》时，其中一个因素就是他受到了非洲面具的触动。你看那幅画里女人的脸，就能看出这种影响，这也是它当时不被接受的原因之一。顺带一提，那幅画不属于探索式创造力，而是变革式的，我们稍后再谈。

关键在于，无论探索式还是变革式创造力，你都是从一种先前已被接受的思维风格出发，绘画里的、化学里的、数学里的，随便哪一种。这种风格不是你首创的。你接受它，接受它的规则和约束，然后在其中做出一个新结构，对你而言肯定是新的，很多时候对人类历史也是新的，而它契合于这种风格。举例来说，你在一个已经相当熟悉的分子家族里分析出一种新的化学分子，这是探索式创造力。你画一幅印象派作品，而你不是最早期的开拓者，这也是探索式创造力。事实上，即便你是莫扎特，你做的多半也是探索式创造力，因为莫扎特并没有在音乐风格上做过多少激进的变革。他惊人的成功之处在于探索并充分利用了他所处风格内在的可能性。

这种创造力伴随的惊讶，是看到新事物的惊讶：你从没见过它，甚至初见时会想「我没想到这也行」，但再看再想，你会意识到，是的，它确实符合原有的风格，你可以用原有的风格来理解它、接受它。我要说，专业科学家和专业艺术家的创造力里，至少百分之九十五，也许百分之九十八（当然我们没法真去量），都是探索式创造力，更不用说我们每天在火车上聊天时的那些了。这绝不是可以小看的东西。

变革式创造力：苯环与立体主义

博登：但还有第三种创造力，我称之为变革式创造力。可以说它是搭在探索式创造力背上的。在变革式创造力里，当事人原本工作于其中的那种被接受的风格，有若干规则、约束和惯例，其中一条或几条被以某种方式改变了：可能被否定、删除、丢弃、取反（这几种差不多是一回事），可能被削弱或加强，也可能被以别的方式修改。

举一个非常著名的例子，凯库勒（Kekulé）的故事。他盯着炉火里的火焰，看它们这样那样地跳动，忽然联想到一条咬住自己尾巴的蛇。他说，「咦，这是什么？」他直觉这可能与他正在苦思的苯分子结构有关，于是去做了些化学计算（其实算得并不完全对，不过没时间细说），然后说：对，苯分子就是这样。换句话说，它不是一条开放的链，而此前所有有机分子都被认为是开链，这个观念很大程度上还是凯库勒本人立下的。他曾说分子就是一长串原子连在一起。现在他说，它是一个闭合的环。

凯库勒和十九世纪中叶每一个称职的化学家都知道，决定分子行为的不只是它含有哪些原子，还有哪些原子彼此相邻。所以如果你把这样一个分子变成那样一个分子，邻接关系就变了，你可以预期化学行为也会随之改变。事实正是如此。从这个想法里生长出了一个全新的化学分支，芳香族化学，其中涌现的一大堆问题，在此之前根本无从提出。

再看我提到的毕加索和立体主义运动。上世纪初发生的变革是这样的：此前画家们默认必须从单一视点作画，因为我们所有人（除非斗鸡眼）都是从单一视点看东西的。我把这块表这样举着，你看不到表盘；那样举着，你就看到了。这一点从来被视为理所当然。立体主义者做的一件事就是说：别再把它当成理所当然了。我们都知道，绕着东西走一圈就能看到它的其他侧面，它是三维物体，让我们把这一点放进画里。我认为这是一次根本性的变革，不是对绘画这个概念空间（conceptual space）的小修小补，而是根本性的变革。

这只是两个例子，你们肯定能想到许多别的。变革式创造力伴随的惊讶，我称之为「不可能式」的惊讶（impossibilist surprise）。也就是说，这个新想法冒出来时，不管是在你脑子里还是别人脑子里，你的第一反应是：「这不可能。」而且不只是第一反应，你盯着它看了很久，也许仍然无法理解。我要论证的是，在相关风格发生变革之前，这样的东西确实不可能被产生出来。这就不像冷门马赢了德比，那只是令人惊讶并且一直令人惊讶，但并非不可能，我从来没觉得它不可能，只是觉得极不可能。变革式创造力给你的东西，至少最初、有时是多年之内，看起来都是不可能的。正因为如此，变革式创造力通常很难被接受，公众不接受，很多时候当事人的同行艺术家、同行科学家也不接受。你们一定能想到许多历史上的例子，其中有些还很令人心酸。

这就是三种创造力。如果 AGI 真的会出现（其实我不像在座许多人那么乐观，这一点稍后再谈），它肯定得具备这三种创造力。而如果你看看人工智能里对创造力的建模，会发现每一种都已经在某种程度上做到了。

组合式创造力为何对 AI 最难

博登：你可能会以为，从 AI 建模的角度看，组合式创造力肯定是小菜一碟，肯定比另外两种容易得多。毕竟，还有什么比这更简单？把一大堆数据或例子喂给计算机，图像也好、数学对象也好、语词概念也好，然后让它随机挑出一些拼在一起。你会得到大量熟悉想法的不熟悉组合。没错，确实如此。但别忘了定义的第三部分：有价值。

我没法告诉你「有价值」是什么意思，因为它有无穷多种含义。即便在科学里，要说清一个新想法的价值到底在哪里，为什么另一些新想法没有价值，也非常困难，科学家花了大量时间在做这件事。在艺术里就更难了，因为艺术没有那种以某种方式去符合世界的约束。表面上似乎什么都行，但当然并非什么都行，就算最激进的艺术类型也有惯例、有规则。只不过这些规则会变，不但会变，不但在不同文化、同一文化的不同时期各不相同，而且在今天的世界里，它们真的能一夜之间就变。某位大明星在派对上戴了一种新首饰、穿了一件新衣服，狗仔队在场，第二天照片铺满头版，下一周你家附近的商店里可能就有卖了。

所以「有价值」通常是关键。从 AGI 的角度看，组合式创造力的难题在于：你要的是有价值的不熟悉组合。这话能说上好几天，但压缩成一句就是：你要的组合必须是切题的（relevant）。新颖、有趣，这是前提，还得切题。

举个例子。莎士比亚写麦克白谋杀班柯之后，内疚得无法入眠。有一段极精彩的台词，我只引第一句，他绝望地说：「睡眠，织补起忧虑那磨破的衣袖。」他的意思是，睡眠让人好受，睡眠治愈你的忧虑，我多想睡一会儿。可是除了莎士比亚，谁会想到把睡眠比作一个织毛线的人？大概是一位坐在炉边的老太太。而且不是一个在织新东西（比如给孙子织条新围巾）的人，她织补的是忧虑那磨破的衣袖。换句话说，有什么东西被损坏了，这里是麦克白的内心安宁，现在正在被修补：在意象里由织毛线的人修补，在现实里由睡眠修补。我们看得出这个意象的切题之处，明白它是一种极富想象力、极不寻常的思考睡眠的方式，而且在切题这一点上完全精准。你再看接下来的几行，也是同样的切题。你要的就是这种切题。它不必都像这个意象一样精彩，但必须讲得通，必须不落俗套，最好还像这个例子一样机智，或者有洞见。让计算机做到这一点，跟让计算机把想法洗一洗牌、以新方式拼起来（这非常非常简单），完全是两回事。

这里的主要困难，在于把握人类的「切题」这个概念，它非常深，非常难。我想在座有人知道丹·斯珀伯（Dan Sperber）和迪尔德丽·威尔逊（Deirdre Wilson）那本很有意思的书，他们试图用计算和信息处理的术语来定义「关联」（relevance）。他们说了些很有意思的东西，但没有说出任何足够具体、可以拿去写一个组合式创造力模型的东西，因为连他们也无法把「关联」界定得足够清楚。虽然他们给了一些有意思的指引。我的意思是，要在 AGI 里得到任何有意思的组合式创造力，你就得做到这一点。别指望它很快到来。我不是说不可能，因为我们自己也不是靠魔法做到的。我不是说原则上不可能，甚至不是说实践上不可能。但如果要我押注，那就别屏住呼吸等，在可预见的未来肯定做不到。这是一块硬骨头。

探索式创造力的建模需求

博登：探索式创造力就没那么难，虽然也不容易，但难度低得多。因为探索式创造力需要的是对相关思维风格的一个定义，不管是印象派绘画还是数学的某个分支，而且这个定义要清楚到能放进计算机里。你需要风格的定义，需要探索这种风格的方法。我认为它起点上会是一个生成系统，所以你需要这个生成系统的规则，需要驱动这些规则的方法，好让它去到新的结构，这边一个、那边一个。此外还有一样东西，探索式创造力本身不需要，但 AGI 需要：你需要知道这种风格的局限在哪里，它产生不了哪些你可能想要的结构。如果你还知道可以做哪些微调，乃至变革，来让它产生目前产生不了的结构，那就再好不过。

我说过这不容易。比如音乐学家、艺术史家，有些人一辈子都在试图明确地说出某一种绘画风格、某一种音乐风格到底是什么，还不必达到计算机系统所要求的那种明确程度。所以这不容易，但可以做到。已经有相当多的计算机程序能做探索式创造力，做出的东西不但在历史上是新的，而且在许多人看来也很有价值。我认为对 AGI 来说，这是三种创造力里最不难的一种。

遗传算法能否实现变革

博登：变革式创造力更难实现。有人可能会说，而且人们常常这么说：计算机系统不可能有变革式创造力，不可能做出根本上全新的东西。按定义，计算机系统就是按程序办事，仅此而已。它也许会做一些很惊人的事，做一些程序员从未想象过的事，程序员也会大吃一惊，不只是外行会吃惊。但它永远做不出那种东西：你看到它，惊讶了一下，然后一直惊讶下去，因为你觉得这不可能发生。

人们有这种信念，可它当然不是真的。比如，用遗传算法做演化编程，只要你恰当地选择允许的变异类型，它就能给你带来激进的变革。你可能会选择不这么做，那是另一回事。你们很多人一定见过卡尔·西姆斯（Karl Sims）多年前用演化方法生成的图像，它们在美术馆展出过，AI 圈子里也讨论过。他允许非常激进的变异。这些是生成彩色视觉图像的程序，他允许系统随机挑出一个已经拥有的小程序（一开始就在那里的，或者已经演化出来的），把它塞进另一个程序的中间，或者把两个拼接起来。长话短说，如果你允许这种变异，你就会得到（在西姆斯的工作里也确实常常得到）这样一种局面：下一代的一些图像与上一代毫无家族相似之处。而如果你往下走若干代，有些情况下就完全没有任何家族相似性了。如果这还不算视觉结构的激进变革，我不知道什么才算。所以这肯定是可能的，也确实发生过。

结构转变不等于风格转变

博登：可是做演化艺术的人并不总是想做这种事。为什么？我为什么说人们可能会选择不用这种变异？原因是，如果这种变革在上一次变异时发生了，那么因为变异是随机的，接下来某处铁定还会再来一次。举个非常简单粗糙的例子：假设我们谈的是颜色，你想让系统生成蓝紫色调的图像，而不是棕橙色调的。好，一次变异发生了，紫色，太好了。可你很快就笑不出来了，因为不久之后它又变回去了，或者变成另一种你同样不喜欢的。

换句话说，你得到的是结构的变革，却没有风格的变革。无论在艺术还是科学里，一种思维风格都是一种持续的思考方式。它之所以持续，不只是因为你喜欢它、不想让它消失，而是因为你想进一步探索它，想看看它的潜力，看看这类东西里都包括些什么。芳香族分子都有哪些？从苯开始，对，但还有很多很多别的可以从苯推出来。要是你刚想到苯就把它忘了，退回到之前人们思考的那种直链有机分子，那你永远也问不出那些问题。

所以就连变革式创造力对 AGI 来说也是个大问题。问题不在于做出变革，虽然当然也可能做出我们不觉得有价值的变革，那是另一回事。问题在于做出那种能被看出有价值、并且能在进一步探索期间保持下去的变革。这就意味着，如果这个系统真的是独立的 AGI，而不是一个交互式系统，它就必须自己有能力做出这些价值判断。这又是「切题」的一个例子，要求很高。

所以，那种常见的反对意见，说计算机系统全靠程序运行，因此不可能有变革式创造力，我说过，毫无疑问是错的。变革是可以得到的，我们已经得到过，而且得到过一些有价值的变革。但就我所知，至少在艺术领域的所有例子里，每一代都需要一个人来挑选下一代的亲本，或者需要一个由人选定、并且不时由人调整的适应度函数（fitness function）。当然，在某些科学和数学问题上，比如设计飞机发动机，你可以把问题交给演化程序，它自己就能算出来，你可以去酒吧喝一杯，让它自己干，因为你能给它一个适应度函数，精确定义这项任务中什么切题、什么不切题。如果是这类问题，那好，计算机可以独立完成。但如果是没法这么做的那类问题，它就没法放进一个独立的、非交互的 AGI 里。而如果你想要的是一个绝对孤立、独立、不交互的 AGI，你就必须解决这个问题。

这就是为什么我一开始就说，我不像在座许多人那样对 AGI 乐观。我认为这些问题非常深，非常难。如果处理的是文学、文本，比处理图形还要难；科学和数学的情形要容易一些，仍然难，但相对容易。我肯定不会押大钱，其实连小钱也不会押，赌这件事在我们有生之年完成。但它在原则上肯定是可能的，我们也确实已经上路了。我说过，三种创造力都已经在某种程度上建模了，问题是迄今为止只迈出了很小一步。

所以 AGI 的部分挑战就是解决这些问题。这当然意味着 AI 的其他领域也要取得进展：知识表示、自然语言处理、计算机图形学、类比推理，一大堆极深的问题。你可能一开始觉得它们跟创造力没多大关系，但在人类思维的所有领域实现这三种创造力时，这些问题都会冒出来。这是一个非常大的挑战，但我认为它令人兴奋。因为即便我们永远到不了 AGI，我们肯定也会比现在走得更远，而单是这一点，就足以让我们对创造力是什么、如何运作有更多认识了。

问答：出题本身算创造吗

主持人：很好，我们还有几分钟时间，有问题请提。

提问者：感谢精彩的演讲。我在想一个常见的问题：我们通常给机器或者有创造力的人出题，要他们用有创造性的方式来解，可题目本身就是一种风格。比如「多用途任务」，一块砖有多少种用法？你被要求列举砖的用法，而不是说「这题太蠢，我要改成箱子的用法」或者干脆做点别的。真正有创造力的人当然会提出新的问题。您会说这是变革式创造力作用于问题、作用于问题空间本身吗？

博登：我认为这是组合式创造力的例子，不仅在你期望得到的答案是某种组合的意义上，而且最初的题目本身，我也认为是组合式创造力的例子。它是在看一个特定的概念、这个范畴，然后问：你能拿一块砖做出哪些讲得通的联想？一种联想是把它砌进墙里、房子里、建筑里，但还有别的。所以我会说这是组合式创造力的例子。

不过你说得对，很多时候创造力的很大一部分就在于想出问题。这也是我刚才为什么说，在探索式创造力里，如果你真的是那个空间的行家，并且有任何合理的机会对它做出有价值的变革，你就必须清楚地知道：第一，这个空间的边界在哪里；第二，你可以用什么方式去微调或者修改它的某些方面、某些定义性的维度，以做出先前根本不可能的结构。当然不是每个人都有这种本事。如果你问我，这种洞见背后的心理机制在计算上该怎么处理，我不知道。但这正是做创造力计算建模的人，尤其是做探索式创造力的人，需要提出的问题之一，为的是通向变革式的例子。

问答：本体论创造力之争

斯洛曼：谢谢，玛吉。有一样东西你没提到，我本以为会讲到，你大概记得，我在这上面花过不少功夫。那就是本体论创造力（ontological creativity）：产生一个新概念，而这个概念不能用先前任何概念的任何组合来定义。这在科学史上一再发生，它使得新问题得以提出。比如「基因」这个概念，我认为不能用此前已有的东西来定义；牛顿的「质量」概念，也不能用人们此前的概念来定义。它是作为一个理论的一部分出现的。科学上的重大进展一般都是这样：一个理论包含了一些新概念，这些概念此前没有定义，而是部分地由它们在理论中的角色来定义的，理论一变，它们的含义也跟着变。这似乎是人类创造力的一个重要侧面。我猜孩子们做这件事的方式，比任何人认识到的都多得多。

博登：我认为这是对的。但我并没有主张新概念必须用先前的概念来定义。

斯洛曼：不，我是说你完全没有提到这一点。有这么一种本体论创造力的概念。

博登：但我现在并不确信它是一种单独的类别。比如，你会说凯库勒做的是本体论创造力吗？我觉得按你刚才的描述，它就是。他用了一个先前语言里没有的概念。

斯洛曼：那你再给我一个例子。

博登：好，比如爱因斯坦。

斯洛曼：我不想要物理学的例子，那跟我的说法并不冲突。给我一个别的领域的例子。

博登：那好，我讲过立体主义。我讲了它是怎么从先前具象绘画的惯例中生长出来的，那些惯例就是单一视点的具象表现。即使你狂放不羁，画出和范·艾克截然不同的画，那仍然是单一视点的东西。立体主义做的是说：让我们忘掉单一视点这条约束。起初忘掉的程度相对较小。但等到毕加索画那些小提琴、那些人物时，忘掉的程度已经大到这样：除非有人告诉你这是一幅小提琴的画，否则你根本认不出画的是什么；就算告诉你了，对许多人来说也可能非常难、甚至不可能看出来。因为立体主义的惯例已经走得太远，离熟悉的绘画方式太远，以至于观者无法理解。

我说过，变革式创造力典型的情形就是这样。我认为亚伦要我们思考的那些例子也是如此：它们与先前的东西差别如此之大。它们不是全新的，不是凭空而来，但差别大到它们的价值、它们的意义起初连当事人的同行都无法理解，更不用说公交车上的普通人了，可能要过许多年才能说清楚。

问答：情绪、共情与创造者人格

提问者：非常感谢，玛格丽特，讲得非常好。我对情绪在创造力中的作用很感兴趣。您对共情（empathy）与这三种创造力的关系有什么看法吗？

博登：我在演讲里完全没谈动机和情绪，我只谈了认知层面的问题：一个新想法是怎么产生的。当然，事实上动机和情绪极其重要，在某些情况下比另一些更重要，但它们始终重要，尤其是对变革式创造力。因为按定义，变革式创造力做出的是人们此前认为不可能的东西，而你做出来以后，人们多半也理解不了。所以你必须是一个非常坚强的人。你不仅要像我们许多人、在座许多人那样对自己的工作全身心投入，你还常常必须极端自私，对别人几乎没有共情，尤其是对和你一起生活的人。因为你太投入自己在做的事了，你知道没人理解它，知道至少一开始没人会看重它，所以你必须有那种自信，或者说傲慢，必须有那种动力，去做它、坚持做下去。

霍华德·加德纳（Howard Gardner）有一本很有意思的书，写的是二十世纪的七位创造者，他考察了七个来自截然不同领域的人，编舞、政治、诗歌、音乐等等。他问的不是我的问题，不是「这些想法是怎么产生的」，而是「这些人有什么样的人格结构」。用一句粗话概括：他们全是混蛋，和他们一起生活糟透了，极端自私，极端投入。当然，对探索式和组合式创造力来说，这不适用，我只是在说变革式创造力。

至于共情，我要说，如果你从事的探索式创造力是探索人类心灵，小说家、许多诗人、戏剧家做的正是这个，那么要做好它，你确实需要共情。这里面有一些非常有意思的问题，但我们没法说得很清楚，因为我们对共情究竟是什么、更不用说它的计算机制是什么，只有非常模糊的直觉。不过如果你的意思是 AGI 需要共情，那你完全正确，因为没有共情，无论在现实生活还是在虚构作品里，你都无法与他人建立各种各样的关系。所以这是一个重要的问题，但除此之外，我没有什么建设性的东西可说。

问答：价值标准与动物创造力

提问者：您说创造力是构造出令人惊讶而且有价值的东西，还说创造力是通用智能的子集。我在想，「新颖」和「惊讶」似乎跟人类智能没什么必然联系，但您是用人类来定义「价值」的。有没有可能把这两者解耦？能不能有一种关于创造力过程的概念，允许它采用别的价值尺度？因为很明显，解决「什么对人类有价值」这个问题，和解决创造力问题，可能是两个不同的问题。

博登：我觉得你提的是我称之为「鹦鹉问题」的那个问题。我一直只在谈人类的创造力，没有谈非人类动物的创造力。非人类动物有创造力吗？当然有新奇的东西：某些动物会做出新的事情，至少对我们而言令人惊讶，有些情况下，比如园丁鸟，做出的东西甚至被我们所看重。但我不愿意说（某些非人灵长类是另一回事）灵长类以下的动物有任何强意义上称得上「创造」的东西，超出「适应」和「智能」之类的东西。因为我认为在动物身上，你无法有意义地区分我所说的三种创造力，它们没有同样的背景：一方面是丰富的概念储备，另一方面是文化风格。当然，某些物种会制造工具，非洲这一带黑猩猩做的工具与那一带的不同。但那些是习惯，在某些情况下由某个个体发起，然后由不同地方的个体学会。你想叫它文化也行，但它们没有被探索，没有被自觉地思考过，是非常不同的东西。我个人不想称之为创造力。你要称之为创造力也可以，但请注意其中巨大的差别，主要源于语言：非人类动物身上令人惊讶的新奇，与人类身上令人惊讶的新奇，两者之间的巨大差别，我认为根源最终在于语言。

问答：库兹韦尔时间表与脑扫描批评

主持人：我自己有一个不同方向的问题。我们已经讨论了一堆关于创造力的深刻问题，我想多问问您对 AGI 的难度和实现时间的看法，我觉得您的视角很有意思。比如雷·库兹韦尔（Ray Kurzweil），他看的是各类技术的指数增长：脑扫描、计算机硬件、软件等等。他说，由于这些指数增长曲线，人类水平的 AGI 几乎肯定会在本世纪中叶实现。我倾向于同意他的看法，虽然不像他那样给出那么窄的置信区间。而您的观点，按我的粗略理解是：实现人类水平的 AGI 需要解决一批困难的概念问题，而您可能认为，解决这些概念问题的速度不会指数增长。这是我对您观点的转述，我想听听您的真实回应。

博登：你转述得完全准确。我认为库兹韦尔的时间表，在我看来绝对荒唐。有意思的是你提到脑扫描。绝大多数脑扫描研究（有少数例外，最大的例外是克里斯·弗里斯 Chris Frith 那些出色的工作），用我的怀疑态度来说，我曾对他本人说过：百分之九十五的脑扫描是不科学的博物学，目前基本没用，也没有理论动机。他说：不对，你错了，是百分之九十八。这是真的。今天大多数脑扫描研究，就是在钓相关性，没有任何像样的心理学理论作指引。我说的像样的心理学理论，理想情况下是能用计算术语表达的；即便不能表达到写出计算机模型的程度，至少也要用大致的计算类型来表述正在发生的是什么。比如，如果你有一个自闭症理论，涉及心智理论（theory of mind）方面的某几种缺陷，你就可以让脑扫描的人去找某些东西而不找别的，找到了就有理论意义。这只是弗里斯工作的一个例子。但大多数脑扫描不是这样，它顶多算是博物学。

我不是说博物学是浪费时间。达尔文如果没有在此前多年里做大量的博物学工作，没有跟养鸽人和世界各地各色人等通信，没有那样一个极为丰富的博物学储备，他就想不出演化论。说得更准确些，他想不出演化的概念，那个概念别人已经有了，他是想不出演化的机制，以及他为这个机制给出的证据。所以博物学至关重要。但要点在于，达尔文用的博物学，很多已经积累了几十年，有些还更久。所以，如果我们有朝一日得到关于创造力（或者任何别的有意思的东西）的神经科学理解，它必须建立在大量博物学的基础上，现在做的这些脑扫描到那时会有用。但眼下它没有用，只是一些无理论的钓鱼式探索，帮不上忙。

而且，先别说 AGI，光是要得到一门关于创造力的神经科学，你就得回答我一直在谈的所有那些问题。而目前神经科学家唯一能稍微摸到一点边的，只有组合式创造力，而且他们摸不到其中的「切题」，只能大体理解组合在大脑里一般是如何可能发生的。至于探索式和变革式创造力，神经科学家连理解的门径都还没有。

主持人：您几乎已经回答了我的后续问题。我本想从您这里引出一点创造力：假设库兹韦尔是对的，我们在二〇三〇或二〇四〇年实现了人类水平的 AGI，如果那真会发生，您认为它会怎么发生？最可能的路径是什么？

博登：我只能说，我们必须先回答完我今天早上提出的所有问题。然后我要第三次说：别屏住呼吸等。

问答：AGI 与道德共同体

主持人：好，最后一个问题。

提问者：我想问文化的方面。您谈的价值或者切题，总要相对于某种东西来说，而您举的人类创造力的例子都深植于人类文化。我们是不是需要有一种 AGI 的文化、人工智能机器自己的文化，才能评估这类机器的创造力？

博登：它们必须有能力做出评估，才能做出我们看重的东西。这正是我提到适应度函数，以及演化编程中交互与非交互问题的原因。所以我对实践问题的回答就是这个：能否得到一个看起来具有 AGI 的系统。

但如果你问的是更深的哲学问题：假设你有一个看起来具有 AGI 的系统，它是不是真的 AGI，是不是真正智能、真正有创造力？我没法快速回答，因为要回答它，需要对哲学里若干极具争议的问题有透彻理解，比如意识的本质、意向性（intentionality）的本质、以及道德共同体成员资格的本质。反过来说，如果我们接受这些系统是真正智能、真正有创造力的，达到人类水平，也就是这个假设的内容，那我认为我们就必须把它们接纳进我们的道德共同体。这意味着：第一，它们有责任也有权利；第二，在某些情况下，我们有义务把它们的利益置于自己的利益之上。

我十八岁时跟人约会，他没来，过了一半时间才到，我气得要命，正要走。他说：「对不起，真对不起，我下班回家要喂狗，发现家里没狗粮了，只好跑去街角商店买，所以迟到了。」那我会原谅他，当然会原谅。可要是他说：「真对不起，我下班回家，我的电脑正在做《泰晤士报》的填字游戏，让我去书架上找一本参考书，可书不在那儿，我找了半个小时。」我恐怕不会原谅。但如果那台电脑是我们道德共同体的成员，我就必须接受：它的利益在某些情况下应当受到尊重，甚至在某些情况下要置于我们自己的利益之上，就像我们有时把动物的利益置于自己的利益之上一样。我看不到这种事会发生。

主持人：很抱歉，为了不耽误日程，问答就到这里。我还要补充一句，所有这些演讲我们都计划放到网上，如果在场发言的听众有任何顾虑，请会后来找我们，我们乐意剪掉那一段。