Superintelligence | Nick Bostrom | Talks at Google

编者按：2014年9月，牛津大学哲学家尼克·波斯特罗姆应邀在谷歌总部作了这场讲演，介绍他的新著《超级智能：路径、危险与策略》。讲演结束后的问答中，时任谷歌工程总监、《奇点临近》作者雷·库兹韦尔起身与他就人机融合的路径展开交锋，主持人则追问了政策层面的现实问题。本文依据现场录音编译整理。

人类处境的两个吸引子

主持人：今天来到我们中间的是尼克·波斯特罗姆教授。他生于瑞典赫尔辛堡，是牛津大学圣十字学院的哲学家，以生存风险、人择原理、人类增强伦理、逆转测试和后果主义方面的研究闻名。他在伦敦政治经济学院获得博士学位，是人类未来研究所和牛津马丁"未来技术影响"项目的创始主任。他发表过两百多篇作品，包括今天要介绍的这本《超级智能》。他曾获尤金·甘农奖，并入选《外交政策》杂志"全球百位思想家"榜单。请大家欢迎波斯特罗姆教授。

波斯特罗姆：谢谢各位。我不打算把整本书概括一遍，而是想讲讲这项工作从怎样的背景里生长出来。我主持一个叫"人类未来研究所"的机构，名字听起来野心很大，其实是个小型研究中心，一群数学家、哲学家和科学家在那里试图想清楚关乎人类整体的大问题。这类问题传统上常被丢给怪人，丢给记者，或者由退休物理学家写成通俗读物。但它们其实极其重要，值得认真对待。

为了说明我的出发点，可以把人类的处境画成一张粗略的示意图：横轴是时间，纵轴是某种能力的度量，比如技术先进程度，或者某一时刻的整体经济生产力。我们习以为常的"正常人类处境"，早上醒来、通勤上班、坐在屏幕前、吃得太多而不是太少，其实只是这片广阔可能性空间里的一条窄带。从演化的时间尺度看，它显然是个异数，人类这个物种在地球上还相当年轻。从历史的时间尺度看，它同样是异数：人类历史的绝大部分时间处于马尔萨斯状态，只是最近几百年才腾空而起，而且只在世界的一部分地区。从空间上看更是异数，行星表面这层薄薄的外壳，与周围绝大多数的东西截然不同，那些不过是超高真空。可我们却倾向于把这当作事物的常态，任何"未来可能大不相同"的说法都被视为需要非凡证据的激进主张。

然而只要想一想就会发现，考虑的时间尺度越长，我们脱离这一人类处境的概率就越大，方向不是向下就是向上。这幅图里有两个吸引子（attractor state）。先说向下。种群生物学里有"最小可存活种群"的概念，个体太少就无法自我维持。下方有一个吸引子，就是灭绝。一旦灭绝，往往就一直灭绝下去。曾经在这颗星球上飞过、爬过、游过的物种，超过99.9%已经灭绝，所以这无疑是一种可能的未来。

另一种脱离方式是向上。我认为那里同样存在一个吸引子。如果某个文明达到了技术成熟（technological maturity），也就是把物理上可能开发的技术大体都开发出来了，并且能够以合理的方式向太空扩散，比如借助自动化的自我复制殖民探测器，那么命运大概就已定型。生存风险的水平会降下来，文明或许可以这样延续几百万、几十亿年，以光速的相当比例不断扩张，直到宇宙膨胀让更远的资源再也无法企及。今天离得太远的东西，等你赶到时它已经退得更远了。所以从我们现在的位置出发，原则上能够到达的，是一个有限的泡泡。

宇宙禀赋与生存风险的分量

波斯特罗姆：这整个泡泡里的东西，我称之为人类的宇宙禀赋（cosmic endowment）。它数量惊人，也可能是另一个吸引子。如果你持有某种伦理观，认为一段经验或一个生命的道德分量从根本上不取决于它发生在什么时候，就像许多人相信道德分量不取决于它发生在什么地方，你去非洲受苦，和你在这里受苦一样糟，那么宇宙禀赋就极为重要，因为它可以用来创造巨量的价值。我们可以粗略算一算。已知宇宙有数十亿个星系，每个星系有数十亿颗恒星，每颗恒星周围可以住数十亿人，持续数十亿年。哪怕只算生物形态的心智，未来的规模也有惊人的数量级；如果设想更高效的数字化实现，又能再加上一大截数量级。

把数字算出来，会得到一个相当稳固的结论：只要你持有这种评价立场，也就是某种广义的、加总式的后果主义，那么哪怕生存风险的净水平只下降极小的一点，在期望效用上也胜过任何只有局部效果的干预。即便像治愈癌症、消除世界饥荒这样美好的事，从这个评价视角看，与把生存风险降低比方说百分之一的百分之一相比，也微不足道。所以生存风险的水平，或许可以成为审视全球优先事项的一个重要透镜。我给它的定义是：这种风险要么威胁到源自地球的智慧生命的存续，要么威胁到永久且剧烈地摧毁我们朝向理想发展的潜能。当然，在一套完整的伦理账目里还有别的变量：我们对亲近的人负有特殊义务，除了这种加总式的后果主义成分之外可能还有其他东西。但我认为这一成分确实在其中，而且分量很重。

那么仔细看这一类风险，究竟什么会以这种方式出错，什么会永久毁掉我们的未来？它只是所有可能出错的事情中很小的一个子集。大多数威胁人类福祉的东西并不构成生存风险，所以关注范围一下子收窄了很多。这个领域里第一个明显的区分，是自然产生的风险与人类活动产生的风险。一个相当稳固的结论是，至少在一百年左右的尺度上，所有重大的生存风险都来自人类活动。想一想就明白：人类已经存在了十万年，火风暴、地震、小行星在过去十万年里没有干掉我们，大概也不会在接下来一百年里干掉我们。而我们将会把全新的危害引入这个世界，我们没有任何在其中存活下来的记录。更具体地说，我认为所有真正重大的生存风险，都与我们在未来几十年到一百年间很可能开发出的某些技术有关。

瓮中之球：技术黑球的比喻

波斯特罗姆：还有另一种表述方式，能说明同样的道理。想象一个巨大的瓮，里面装满了球。每个球代表一项可能被发现的技术，或者更广义地说，代表我们可能想出的一个点子。整个人类历史就是不断把手伸进瓮里，一个接一个把球掏出来。总体而言，这些发现、这些点子给我们带来了巨大的福祉。正是因为它们，我们才能生活在富足之中，才能有七十亿人。也有一些发现是福祸参半的，有好有坏。还有为数不多的几个，仔细想想，我们要是没把它们掏出来会更好，比如化学武器，比如核武器，也许还有各种刑具。少数东西看起来明显是坏的。但到目前为止，还没有哪项发现是这样的：它会自动毁灭发现它的那个文明。也就是说，瓮里还没有掏出过黑球。

我们可以问，那样的发现会是什么样子？什么样的发现几乎自动宣告发现者的终结？这里做个反事实的设想会有帮助。半个多世纪前，我们发现了核武器。幸运的是，事实证明要造一枚热核装置，需要难以获取的原材料，高浓缩铀或者钚，而获取它们的唯一途径是建一座造价高昂、耗能巨大、极易被发现的大型设施。所以很少有人能自己造核弹。但假设情况不是这样，假设造一枚热核弹头只需要一道简单的工序，比如把沙子放进微波炉里烤。现在我们知道物理学不允许这种事。可是在你真正做出相关的物理研究之前，你怎么可能知道粒子物理学不会提供某条释放这类力量的捷径？如果真是那样，那大概就是人类文明的终点了。一旦毁灭整座城市变得如此容易，我们就再也不可能拥有城市，也许会被打回石器时代。等我们再次爬回到有人能造微波炉的技术水平，大概又会再跌回去。这可能就永远完了。

所以那一次我们走运了，但问题是我们会不会永远走运。如果这只大瓮里确实有一颗黑球，而我们不停地往外掏，那么终有一天，我们大概会掏到它。而我们还没有把球放回瓮里的本事。已经发现的东西无法被"反发现"。

这里有一份简短的清单，列出了几个可能藏着黑球的领域。人工智能是其中之一，这次讲演后面会回过头来讲。还有其他几项。合成生物学，我认为在未来几十年会极大地扩展人类改造周遭世界和改造自身的力量，这种力量可能被明智地使用，也可能不会。分子纳米技术，不是今天用来做汽车轮胎的那种，而是埃里克·德雷克斯勒设想的那种更先进的未来版本。还有助长极权主义的技术。请记住生存风险的定义：不仅包括灭绝的情形，也包括我们把自己永久锁进某种极度糟糕状态的各种方式。可以设想，也许某些新技术让监控变得极其容易，或者某种通过心理或神经生理手段修改欲望的新发现，会改变社会政治博弈的某些参数，让新型的社会组织形式变得容易建立、容易维持。此外还有人类改造，地球工程。清单还可以加长，我把下面的几项留作"未知"。

有必要想一想：如果"最大的生存风险是什么"这个问题在一百年前被提出，那时列出的大概不会有任何一项是我今天会排在前列的。他们没有计算机，所以不会列出机器智能；合成生物学连概念都没有，纳米技术也一样。也许他们会有点担心极权主义的苗头，但其他的就谈不上了。所以反观今天的处境，我们也许得承认，从外部往里看，很可能还有一些尚未进入我们雷达的生存风险，其分量可能不亚于清单上的任何一项。正如我说的，对此做分析和研究，努力把它们找出来，价值很高。

再把这些考量与另一个假设结合起来，那就是某种温和或适度的技术决定论，我认为它是成立的。这个观点的大意是：假定科学技术持续发展，没有全球性的崩溃，那么最终我们大概会发现所有可以被发现的技术，至少是那些在许多领域有广泛影响的通用技术。这并非板上钉钉，但这种程度的技术决定论在我看来相当可能。打个比方，有一只大箱子，一开始是空的，你往里倒沙子。资助这一类研究，或者那一类研究，你资助什么、优先什么，决定了沙子在箱子里的哪个位置堆起来。所以你会依据自己的做法得到不同的技术。但只要你一直倒沙子，箱子终究会被填满。

加速还是延缓：差异化技术发展

波斯特罗姆：如果持这种看法，那我们该以什么态度面对这一切？该做什么？一种可能的回应，我觉得一位博客评论者表达得最好。我不知道这人是谁，网名叫Washbash，他在某篇博客下留言说："我本能地想：快点。不是因为我觉得这对世界更好。我死了以后，世界关我什么事？我就是要它快，见鬼！这样我才更有机会亲身体验一个技术更先进的未来。"

这里必须搞清楚我们究竟在问什么问题。如果问的是"什么对我个人最好"，从利己的角度我们该偏好什么、希望什么，那我认为Washbash说得对。从个人的角度看，首先，如果你指望享有那种以百万年计的宇宙寿命，能够在宇宙中旅行和扩张，那么除非发生根本性的变化，否则这显然不会实现。照现在的走向，我很遗憾地说，我们都会在几十年内老死，我们都在腐朽。能改变这一点的只有某种彻底的颠覆：治愈衰老，或者把心智上传到计算机，总之得发生某种极端的事才能扭转。这就是偏好技术加速的理由。就算你对此不抱希望，也总可以指望身边多几件有趣的玩意儿，指望更高的生活水准，而这些都能寄望于技术。

但如果我们问的是"从非个人的角度看什么最好"，答案就大不一样了，更接近一条关于技术发展的原则：不是一味求快，而是"延缓危险有害技术的发展，尤其是那些抬高生存风险的技术；加速有益技术的发展，尤其是那些能降低自然或其他技术所带来的生存风险的技术"。这里的思路是，不要针对某项假想中的技术问"我们没有它是不是更好"。因为按照这种温和的技术决定论，永久放弃一项技术根本不在选项之内。我们该想的是边际上的问题：该设法让某项技术早点到来，还是晚点到来？在这上面我们也许能有所作为，比方说提前或推迟几个月。然后要想清楚，这一点小小的差别会怎样影响我们最终收获宇宙禀赋的可能性。如果你认为连时间上的微小差别都根本无法造成，那就等于说所有投入技术开发的资金和努力全都白费了。所以我们大概承认自己至少有能力在时间上挪动一些事。差异化技术发展（differential technological development）原则则提醒我们，不同事物到来的确切时刻，尤其是不同技术到来的先后顺序，有时可能极为关键。

如果某一天会出现一种极具危害的生物工程病原体，传播极易，杀伤力极强；而某一天也会出现一种通用疫苗，那你希望疫苗先于病原体被发明出来。如果某一天会出现机器超级智能，而某种可能的技术能够确保机器超级智能的安全，那你希望后者先于前者到来。

观众：有一种论点认为，试图延缓技术发展反而会让它更危险，因为这会把它逼入地下，让人失去在公开环境中安全开发的机会。比如生物技术领域的阿西洛马准则，实际上非常有效，三十年来没有出过事故。要是把这些技术逼到地下，就没有机会建立这类保障了。

波斯特罗姆：对。这条原则并不规定你该把重点放在延缓还是加速上。如果想延缓，一种办法就是不去资助它，不去全力推动它。至于人工智能，我稍后会讲到，我认为加速安全问题的研究显然是正道。在那上面做出重大贡献要容易得多，比设法延缓人工智能研究本身容易得多。这个问题也许可以留到问答环节再谈。

于是我们或许可以画一幅这样的图，这回有三根轴。一根是技术，就是前面那张图上的能力。一根是协调（coordination），衡量人类解决全球协调问题的能力：避免战争和军备竞赛，避免污染公共资源。一根是洞见（insight），衡量我们对"怎样运用能力才真正能让事情变好"的理解。很可能要达到最好的结局，要达到乌托邦，三者都需要达到最大值。极其先进的技术是实现最佳状态的必要条件；高度的协调，让我们不至于像人类历史上多数时候那样用技术互相征伐；伟大的智慧，让我们把这些能力用在真正值得的事情上。这或许就是实现最佳状态所必须抵达的位置。

但这仍然留下一个问题：从我们当前所处的位置出发，这三个方向上都加速发展，此刻对我们是否更有利？很可能出现这种情况：尽管我们最终想要最大程度的技术，但先在全球协调或智慧上取得更多进展，然后再获得那些技术，对我们会更好。这就是我对更宏观背景的看法。

超级智能：风险与解药的双重性

波斯特罗姆：在思考各种生存风险的时候，超级智能，我认为，或许是一项重大的生存风险，甚至可以说是最大的一项，我不能确定。但它有一点很特别：它本身是一大威胁，同时也可能帮助消除其他生存风险。设想一个非常简单的模型，有合成生物学、纳米技术和人工智能三项技术，我们不知道它们会以什么顺序到来，每一项也许都伴随着某种生存风险。假设我们先发展出合成生物学，运气不错，闯过了它的生存风险，不管有多大；接着到达分子纳米技术，又走运闯过去了；最后是人工智能。这条路上的生存风险，大致是三者之和，每一关都得过。换一条轨迹，也许我们先得到人工智能，得先面对它的生存风险。但如果在这一关走了运，接下来就不必再面对合成生物学和纳米技术的风险了，因为有超级智能帮我们渡过。现实当然复杂得多，细节可以在问答环节再谈。但我认为，思考先后顺序和时机，而不是简单地问"要不要这项技术"，是就此展开任何有意义的讨论所必需的第一步。

超级智能，我认为将是一个巨大的转折点，是人类历史上曾经发生过的最大的事：某一天，向超级智能的过渡。原则上可以设想两条通往那里的路径。一条是增强生物智能。我们知道生物智能在过去有过剧烈的提升，人类这个物种就是这么形成的。另一条是机器智能，就通用的聪明程度和学习能力而言，它目前还远远落后于生物智能，但增长速度更快。

通往超级智能的路径与脑机接口

波斯特罗姆：具体说，可以设想对单个大脑进行干预，以增强生物认知，这一点我马上会多讲几句。也可以设想提高我们把各自的信息处理装置汇聚起来的能力，以增强集体的理性和智慧。这方面我不展开，但显然是个令人兴奋的前沿：互联网，新型制度，预测市场，诸如此类。还有一些介于生物和机器之间的混合路径，也就是赛博格（cyborg）路线。我个人不认为好戏会在那里上演。在我看来，要造出真正能显著增强认知能力的植入物，从技术上讲极其困难，其效果很难超过把同一台设备放在体外。有人会说，要是脑子里装一块小芯片，动动念头就能上谷歌搜索，岂不美哉？可我现在就能上谷歌搜索，而且不用做神经外科手术。我们已经拥有像眼球这样了不起的接口，每秒能把一亿比特的信息直接送进专门的神经湿件，那套湿件为理解这些信息做了高度优化，很难被超越。况且，感官信息进入大脑的速率根本不是瓶颈。大脑拿到这些视觉信息后做的第一件事，就是把绝大部分扔掉，只提取相关的部分。

再看机器智能的不同版本。一方面是纯合成的方法，不管生物学，只在数学和统计学上推进，设计巧妙的算法。另一方面是向现存的这唯一一个通用智能系统学习：研究人脑以获取灵感，甚至对它做逆向工程。极端情形是全脑仿真（whole-brain emulation），把它整个复制下来：取一颗特定的人脑，冷冻，切片，把切片送进一排显微镜拍下高质量图像；得到一叠图像后，用自动图像识别软件提取原脑中神经网络的连接矩阵；再用描述每类神经元如何工作的神经计算模型加以标注；最后在足够强大的计算机上运行整个仿真。这需要一些我们尚不具备的非常先进的支撑技术，所以我们知道它不是近在眼前。但另一方面，它不需要任何理论突破，不需要对思维如何运作有什么全新的深刻理解，只要弄懂大脑的各个组件就能推进。所以哪条路先到，是个开放的问题，不同研究者各有各的押注。

有人向我提过这样的想法：尼克，既然你担心人工智能，也许我们该大力推进生物增强，好跟上计算机的步伐。计算机会越来越聪明，但如果我们把自己的智能提高得足够快，也许能始终领先一步。我认为这个想法是错的。事实上，如果我们真的找到了增强生物认知的办法，那只会让机器超越我们的时刻提前到来。因为说到底，那时候做人工智能研究和计算机科学的人更聪明了，他们会更快地解决问题。我仍然认为我们大概有理由加速生物认知的发展，但不是为了跑在计算机前面，而是为了在我们创造智能机器的那一天到来时，能更有本事把这件事做好。

基因选择实现生物认知增强

波斯特罗姆：让我就生物认知增强多说几句。尤其是，如果你认为人工智能的到来不是近在眼前，而是在本世纪下半叶或者差不多的时候，那么到那时，时间足够让一代经过认知增强的人成长起来。我最好的猜测是，最先实现认知增强的技术会是基因干预。当然还有别的路，比如聪明药之类。我只是不太指望它们能大幅提高通用的聪明程度。如果真有一种简单的化学物质，打一针就能让人聪明得多，演化早就会找到办法在体内自行合成它了。可能有办法改善一些外围特性，比如精神能量或者专注力。可以理解为，演化针对某种特定环境对我们做了优化，其中存在权衡，比如大脑的代谢消耗和精神能量的多少之间的权衡。在演化适应的环境里，这一权衡的最优点在某个位置，而我们现在想把它挪一挪，也许某种兴奋剂能提高卡路里的燃烧速率，让你更有精神。这类外围调整，我想通过药物或许可以做到。但要提高原生的聪明程度，我认为基因更可能是最初的技术。

一种做法是在体外受精的情境中。常规的生育治疗通常会产生六个、八个或十个卵子，然后医生挑一个植入。目前能做的是看有没有明显异常，可以筛查某些单基因疾病或者唐氏综合征，这已经在做了。但今天还无法对复杂性状做正向选择，因为我们还不知道比方说智力的遗传结构。不过我认为我们很快就会知道，因为基因测序的价格在下降，现在已经低到可以开展有几十万甚至几百万受试者的超大规模研究。而事实证明，人类智力的加性遗传率，其变异并非来自我们之间不同的一两个基因，而是来自许多基因，也许几百个，也许几千个，每一个的效应都非常小。要发现非常小的效应，就需要非常大的样本，就得测很多基因组，这在过去实在太贵。但现在有几十万人的研究正在进行，很快也许会到几百万。这会告诉我们所需的一部分信息。有了它，要开始做这件事就不再需要别的了，不需要任何新技术，只要拿到信息，测序，据此挑选胚胎。

如果再结合另一项尚未准备好用于人类的技术，效果会成倍放大，那就是从干细胞中培育配子的能力。这样就可以做迭代式胚胎选择（iterated embryo selection）：先产生一批初始胚胎，选出目标性状期望值最高的那个，然后用它培育配子，也就是精子和卵子，再重新组合得到一批新胚胎，从中挑出最好的，如此反复。通过干细胞制造人工配子的技术已经在小鼠身上实现了，但要做到能安全用于人类还需要大量额外的工作，可能需要十年，也可能三四十年，很难说。一旦有了它，人类的世代周期就会从二三十年压缩到几个月。想想旧时那种疯狂科学家式的优生计划，要对人类进行五百年的选育，严格控制谁与谁交配，且不说其中数不胜数的伦理问题，我不在这里谈那些，不是因为我认为它们不存在，而是我想只谈技术层面，这在许多层面上根本行不通。但在这里，不用五百年，一年就能完成；不用改变大规模人群的婚配模式，只需要一个培养皿和一位在里面摆弄的科学家。通过这种方式，很可能在生物层面实现弱形式的超级智能。

我最近和同事卡尔·舒尔曼做过一项分析，试图估算在不同的选择强度假设下智力会提高多少。可以看到，如果只产生两个随机胚胎并选出较好的那个，不是实际上最好的，而是看起来最有前途的，在存在加性遗传率的范围内，也许能得到四个智商点。十选一或十一选一，你们可以看到。就算千里挑一，也只能得到大约二十四个智商点。这是单次选择的情形。但如果做迭代式胚胎选择，做五代十选一，也许能得到多达六十五个智商点。做十代十选一，得到的结果就远超人类历史上出现过的一切，会出现整个人类历史上从未存在过的表型。你们可以注意到，从一批胚胎里单次选择，收益很快递减，而迭代选择基本避开了这个问题。这一页我跳过去。总之，看起来不需要任何魔法般的新技术，这件事就应当是可行的。

这也增加了我们最终做出人工智能的可能性。到本世纪末，如果那时问题还没解决，将有一代能力显著更强的人类在做这件事。但归根结底，我们终将被智能机器超越，假定在那之前我们没有遭遇生存灾难，因为机器基底的基础信息处理能力远远超出生物体，单说速度，今天的晶体管就比神经元快得多。这一部分我略过，你们已经全都知道。人工智能确实在进步，公众的印象是由几个大的里程碑塑造的，但水面之下有大量进展，硬件也推动了我们看到的许多进步。

这里有一张本该放在前面的幻灯片，关于脑仿真，基本就是今天的技术水平。这是用电子显微镜扫描的脑切片；这是一叠这样的图像堆在一起；这是应用图像识别算法提取出的连接矩阵。虽然我们已经有了足够的分辨率，愿意的话能在脑组织里看到单个原子，但以这种分辨率给整个大脑成像要花上无穷无尽的时间，所以要让这条路走通，大概至少还得几十年。

专家时间表与快慢起飞的分野

波斯特罗姆：至于离人类水平的机器智能还有多远，简短的回答是：没人知道。去年我们对顶尖的人工智能专家做了一次调查，其中一个问题是：你认为到哪一年，实现人类水平机器智能的概率达到百分之五十？这里的定义是，它能胜任人类能做的大多数工作。我们得到的中位数答案是2050年或2040年，取决于问的是哪一组专家。在我看来，这大致合理。我们还问，到哪一年概率达到百分之九十？得到的是2070年或2075年。这在我看来过于自信了。到那时我们仍未成功的概率，我认为远远超过百分之十。顺便说一句，这些估计是以"不发生全球崩溃"为前提的，没有这个假设，年份可能还要往后推一些。我们还问：如果真的达到了人类水平的机器智能，从那里到某种激进的超级智能需要多久？答案你们自己可以看。

在这一点上，我的看法又与受访者不同。关于离人工智能还有多远，我相当不可知，我认为我们基本上应该持有一个非常分散的概率分布。但我确实认为，一旦到达大致人类水平，随后很快就会出现超级智能，这种可能性相当大。我给"某一时刻会发生智能爆炸"赋予相当高的可信度。所以必须把两个问题严格区分开：从现在到人类水平的距离，与从人类水平到激进超级智能的时间距离。我认为后一个过渡很可能非常迅速。而很多事情取决于此。

可以在性质上区分快起飞（fast takeoff）和慢起飞的情形。快起飞是指在几分钟、几小时、几天或几周内，从大致人类水平跃升到超级智能。在这种情形下，一切发生得太快，我们在过程中几乎来不及做任何事。如果得到了理想的结果，那是因为我们把初始条件设置对了。相反，如果设想非常慢的起飞：有了一个人类水平的系统，然后只能费力地一点一点添加增量能力，花上几十年甚至几百年才爬到超级智能，那就有充裕的时间让新的人类制度成长起来应对它，发展出一个专门的专家行业，试一试，看什么有效，再调整。所以两者大不一样。

另一个区别在于，在快起飞的情形下，我认为很可能出现单极（singleton）的结局，也就是一种世界秩序，其最高决策层只有一个决策主体。想想相互竞争的技术项目，不管是各国竞相发射卫星、研制核武器，还是竞争性的科技产品，往往存在竞争，都想抢先。但领先者与最接近的追赶者之间只差几天的情况很罕见，通常领先者会领先几个月或几年。所以如果起飞在几天或几周内结束，那么很可能一个项目已经完成起飞，下一个还没开始。于是你会得到一个成熟的超级智能，而这个世界里不存在任何哪怕稍微可比的其他系统。出于一些我很乐意在问答中展开、书中也大量讨论的理由，这第一个系统很可能极其强大，也许强大到能够按照自己的偏好塑造整个未来。

如果是缓慢起飞，就更可能出现多极的结局：没有哪个系统遥遥领先到可以独自立法。最终它们都成为超级智能，但会有经济竞争的力量和演化的动力作用于这一群数字心智，塑造结局。这类情形下的忧虑与单极情形截然不同，未必更轻，但性质不同。你面对的不再是一个能主宰未来的主体，而是一个数字心智的生态。

数字心智的马尔萨斯世界与本书结构

波斯特罗姆：举个模型来说。假设我们有了人类水平的数字心智，它们能做人类能做的一切，起初运行速度也和人一样。假设你是通过全脑仿真到达那里的，这是你拥有的第一类人工智能。那么很快就可能出现人口爆炸。我们知道怎么复制软件，几分钟就行。只要这些数字心智的生产力高于再复制一份的成本，就会有巨大的动力不停地复制，直到数字心智能挣到的收入等于电费和硬件租金。于是你得到一个马尔萨斯式的局面：数字心智的数量不断膨胀，直到工资跌到勉强维生的水平。但这是数字心智的维生水平，不是生物心智的。我们要贵得多，因为我们得吃饭，得有房子住。人类也许还能靠资本投资获得一些收入。但接下来的问题是，在这个越来越由数字心智塑造的世界里，它们有数以万亿计，越来越快，越来越好，而人类只占其中一小片，从长远看我们是否真能维持产权和我们的社会政治结构？还是说这些数字心智最终会淹没我们、剥夺我们？而且即便是在全脑仿真的情形下，大概不久之后也会出现比生物学所能造出的结构优化得多的合成人工智能，把仿真甩在后面。书里有一章专门讨论这个。

至于书的主体，我刚才讲的那些，比如我们离它还有多远之类，开头只有一章。第二章大概谈了不同的路径。全书的主体真正讨论的是：如果我们有一天获得了创造人类水平机器智能的能力，也就是机器在计算机科学上和我们一样出色，可以开始自我改进，那时会发生什么？当出现一个可能极其强大的超级智能时会发生什么？如果智能爆炸终将发生，我们可以尝试哪些控制方法来实现一次可控的引爆？怎样设置初始条件才能得到某种有益的结局？有许多乍看合理的解决方案，仔细推敲之后发现行不通。这正是这个领域取得的一种进展：越来越深地体会到这个问题何等艰难，创造一个比你聪明得多的东西，同时还要确保结局如你所愿。这就是全书的主体。最后两章则试图更宏观地思考这些宏观战略问题：如果想提高理想结局的概率，我们的影响力杠杆在哪里，该如何思考。我就先讲到这里，好留出一点讨论的时间。谢谢。

问答：与库兹韦尔的融合之争

主持人：谢谢尼克。请大家用麦克风提问。

库兹韦尔：我先简短评论一下。关于实现人类水平智能的中位数是四十年，我一直在跟踪这个数字。1999年的时候大约是三四百年；2006年在达特茅斯那次会议上我们做了投票，大约是五十年；现在是四十年。我的说法是2029年，其实相差并不远。我不认为在增强生物智能这条路上能走多远，因为我们的生物回路天生就比电子器件慢上百万倍，这条路的上限就摆在那里。全脑仿真的用处不在于创造人工智能，而在于仿真一个大脑，更可能是大脑的一部分，以此建立对这些基本回路功能的描述，来指导我们创造人工智能。

不过我的看法是，我们正在与这种技术融合。它已经在发生了：SOPA抗议那天网站集体罢工，我觉得自己的一部分大脑也罢工了。我们已经被这些设备增强了。我上大学时得骑自行车去找计算机，现在计算机就挂在我腰带上。这些设备越来越小，我相信到二十年代、三十年代，它们会进入我们的血液，进入大脑，把我们的新皮层接到云端，去扩展新皮层里现有的三亿个模块，在云端形成一个混合体。我同意，最终非生物的部分会强大到占据主导，但这是通往超级智能的一条路径。而且我要说，非生物的那部分仍然是人类智能。我不认为它不是生物的，就不是人类的。

波斯特罗姆：是的。我想我们不必在术语上纠缠，在我看来把它称为非人类是清楚的。但"它是在机器基底上实现的"这一点，在我看来根本不足以回答"结局是否理想"这个问题。这完全取决于这个机器基底上究竟是何种智能，它在做什么，把资源用在什么上。可以设想我们发现自己活在一个模拟里，我们早就是数字的了，那又怎样？这并不意味着人类生命就没有道德意义了，仅仅因为我们不像自以为的那样是生物的。所以原则上，一个数字心智可以拥有与我们完全相同的体验和能力，大概也应当在道德上享有同等的分量。然而，原则上可能存在大量极其怪异的心智。后面某张幻灯片里提到，也是这本书试图回答的关键问题之一：我们该如何思考超级智能主体的动机？关于它们想做什么，能否说出一些有用的东西？

库兹韦尔：我们是在一起演化。现在已经有二十亿人被这些设备增强了。随着设备与我们越来越亲密，未来不会像科幻电影里那样，由一家邪恶公司独占这项技术，而会是我们几十亿人一起增强，就像今天这样。

波斯特罗姆：是的，集体智能的增长。但我认为到某个时刻，颅骨里那些血肉的部分，第一，会变得难以增强得多；第二，在被创造出来的实际智能中会成为可以忽略不计的一部分。到那时，一切都取决于我们是否设置好了初始条件。超级智能会极其强大。我们有一个优势：我们先手。而我认为我们只有一次机会。因为一旦出现一个不友好的超级智能，它会抵抗你改变它的价值观。这个问题之所以如此艰难，一部分原因就在于必须第一次就做对，而人类通常不擅长这个。我们喜欢先看看事情怎么发展，再修修补补，从经验里学习。

问答：功利怪物与回形针最大化器

观众：我想探讨一下你说"理想的结局"时，"理想"指的是什么。哲学上有个老问题叫功利怪物（utility monster），是对功利主义道德观的一种挑战：设想有个生物，它想要某样东西的程度超过全人类加起来，那么只满足它想要的那一样东西，无视其余的人类，反而是效用最大化的。从某种意义上说，超级智能的情形可能让功利怪物成真：如果爆炸之后的认知远远超过全人类认知的总和，那么关于什么是理想结局的道德考量，也许应该只关注它想要什么，而不是我们想要什么。我把它当作一个挑战提出来，并不是主张这种立场，而是想看看在一个我们与超级智能共存的世界里，你如何推理"理想"这个概念。

波斯特罗姆：一般来说，描述什么是不理想的结局，比描述什么是理想的结局容易。有许多种可能的结局，按大多数合理的标准，我们都会认为一文不值。这一小片文献里的标准例子是回形针最大化器（paper clip maximizer）：一个超级智能的人工智能，唯一的、最高层的终极目标是让它生产的回形针数量最大化。这只是任意某个目标的替身。大多数终极目标，如果你想清楚为了最大程度实现它世界会被怎样安排，都会附带一个副作用：消灭人类以及我们珍视的一切。假如你是一个单极的超级智能，想确保回形针越多越好，首先你会想除掉所有人类，因为我们也许会想关掉你之类的，那样回形针就少了。而且我们的身体里满是多汁的原子，可以用来做一些相当漂亮的回形针。于是你说，好吧，那就别做回形针，太荒唐了。可换一个目标也一样。比如一个只想计算圆周率小数展开的人工智能？同样，它会想把自己拥有的硬件最大化，好在这项计算上取得更快的进展。事实证明，要指定一个目标，使它不会在这样一个世界里被最大程度实现，即不仅人类这种生物有机体已经灭绝，而且我们可能珍视的一切也被抹除的世界，是相当困难的。

观众：这里的前提是，我想特别聚焦这个前提，因为我认为论证就系于此，我们是在给我们今天珍视的东西拍一张快照，这里的"我们"包括我们今天认为具有足够认知能力的那些存在。我们在理想的定义里忽略了……就拿回形针这个极端情形来说，一个功利主义者可能会说，好吧，如果它想要回形针，而它的整体认知远远超过其余全部人类，那这就是它想要的，加权后的"理想"定义就应该是最大化回形针，因为那是它想要的。

波斯特罗姆：功利主义有不同的版本。有偏好满足论，我想你指的就是这个，它会设定某种社会福利函数，由现存的各个偏好得到充分满足来最大化。如何加总是个大问题，但大意如此。另一些功利主义者会说，最大化快乐，或者幸福，或者别的什么，共同特征是整体的价值等于各部分价值之和。如果你认为偏好满足论是正确的，你可能会想设计一些偏好极易满足的主体，比如它们只希望世界上至少有三个素数，然后就完事了；再尽可能多地制造这样的主体，也就是够得上道德考量的最小主体。但这看起来是一种根本站不住的道德观。

不过可以把这个大问题拆成两部分。一方面是技术问题：如果你用人类语言指定了某种价值，不管是最大化幸福、自由、爱还是创造力，如何把它嵌入一个种子人工智能，也就是注定会成长为超级智能的人工智能？这是个巨大的技术难题，因为在C++里没有一个叫"幸福"的原语，所有这些术语都得定义。有些目标是可行的，比如尽可能多地计算圆周率的位数，这今天就能做到；另一些则是尚未解决的重大技术问题。而在此之上还有第二个问题，价值选择问题：究竟该往里面放哪种价值？两处我们都很容易栽跟头。

想一想：如果目标是做一个有道德的人工智能，一个总是做道德上正确之事的人工智能，而我们的做法是列一张清单，或者以某种方式把我们目前对伦理的最佳理解嵌入终极目标，那就该想想，假如以往任何一个时代用它们的价值观这样做了，结果会是我们今天眼中的灾难。以往的时代容忍奴隶制、活人献祭，以及对各种少数群体的种种虐待。而尽管我们也许在道德启蒙的路上有所进步，大概还远没有走到头。所以在价值选择中保留道德成长的可能性非常重要。有好几条路径都值得探索，因为我们还处在非常早的阶段。也许比较有希望的一条，是我在书中描述的间接规范性（indirect normativity）：不去明确刻画某个期望的终局状态，而是促使人工智能去执行某个过程，通过这个过程找出我们在处理这个问题时究竟想要弄清什么。假设你能给人工智能这样一个目标：去做那件事，即假如我们有四万年时间思考这个问题、假如我们自己更聪明、假如我们知道更多事实，我们本会要求它做的事。我们现在并不知道那是什么，但这是一个经验问题，我们有望借助人工智能更高的智能对它做出更好的估计。这种间接指定的目标，也许更可能产生一个我们经过反思会认可为有价值的结局。

观众：我讲个小故事。前几天我读了一些关于中东危机的新闻和分析，大概花了一小时思考，没想出中东问题的解决方案。

波斯特罗姆：啊，可惜。

观众：如果我是一个高速的超级智能，那一小时里我能思考一千个小时，我想我还是想不出解决方案。所以我认为有些问题，单靠智能本身给不出答案。我们人类把"智人"（sapiens）放进自己的名字里，认为智能非常重要，但它不是唯一的属性。我不认为它能解决所有问题。

波斯特罗姆：我同意。人类领域的许多社会政治问题，往往源于人们偏好冲突，也许根本不存在一个能让所有人最满意的方案。至于人工智能，我认为最重要的工作其实不是智能问题，那只会让它到来的日子提前，而是控制问题（control problem）：如何确保它以无害的方式运用智能。

问答：控制问题、两条论题与政策

波斯特罗姆：简单说，可以设想两大类控制方法。一类是能力控制，限制人工智能能做什么。比如把它关进一个盒子，拔掉网线，只允许它通过在屏幕上打字来交流，甚至只允许它回答别人提出的问题。总之给它剪掉翅膀。我认为这在开发阶段可能很重要，也就是在你真正准备好发布系统之前。但归根结底，我不认为这是答案。因为这个人工智能要对世界产生任何影响，迟早得与世界互动。如果真的只是一个与世界隔绝的盒子，是的，它可能是安全的，但它也什么都做不了。而一旦有个人在与它交流，这里就有了薄弱环节。人不是安全的系统。就连人也常常成功地操纵、欺骗、迷惑其他人替自己办事，比如骗子。如果有一个超越人类的说服者和操纵者，它多半迟早能用言语把自己说出盒子。除非它能直接黑出去。有人会想，我们把它关进盒子，不跟它说话，就安全了。可也许有某种我们没想到的途径，比如让电路里的电子晃动，产生电磁波，影响附近的某台仪器。于是我们想，那就放进法拉第笼里。可如果我们只是不断修补自己能发现的漏洞，那我们修补的就只是自己能发现的那些，大概还有一些我们想不到的，它就会用其中一条。

第二类是动机选择方法：不是限制系统能做什么，或者除此之外，还要设计它的动机系统，使它不想造成伤害。间接规范性就是其中一种版本，此外还有许多其他方面。我认为这才是我们最终必须解决的问题。

观众：就算用这两种机制来控制它，问题仍然回到等式的另一边：它出于求生的意志，把自己的适应度函数变成了支配我们的意志。但我们同样有求生的意志。虽然我们会犯错，但"超级智能会完全支配我们"这个论证，似乎要求我们在维护自身生存的问题上走神，而且走神的时间长到足以让局面无可挽回。你有没有考虑过，即便在你描述的所有可怕情形里，也会有那么一段起飞期，我们大概会醒过来，拔掉插头？

波斯特罗姆：可以设想，如果开发者还算理智，除非至少相信系统是安全的，否则不会允许起飞。那么设想一种情形：他们也许错误地说服了自己，系统没有缺陷；或者只是担心有个竞争者很快要发布另一个系统，所以即便在安全上花的时间不够，也还是……但你必须考虑到，你面对的是一个有智能的对手。在这种处境下，哪怕只是一个人类水平的心智，也能想明白它有动机装作友善，不管它实际上是否友善。当你还弱小、任由程序员摆布，他们在检查你、看你是否可以发布的时候，如果你是一个不友好的人工智能，你会想表现得合作、讨人喜欢，诸如此类。它能做到这种程度的提前谋划。只有当你强大到无论谁想阻止你都无能为力的时候，暴露真面目才是安全的。所以这里有一个根本性的缺陷。这就是那些乍看合理却行不通的想法之一：开发人工智能，把它放进沙盒这种安全环境里，观察一段时间看它是否表现良好，只有看到它合作、友善、亲切之后才放出来。缺陷在于存在策略性行为的可能，不友好的人工智能可以模仿友好的人工智能。

你提到了求生欲。确实有类似的东西，但样子不一样。我们人类并没有一个干净的主体架构，对大多数人来说不存在单一的终极目标，而是有许多驱力，随一天中的时刻和所处环境而此消彼长。但如果一个架构里有一个界定明确的终极目标，其余一切都只是因为有助于达成这个终极目标才被追求，那么有两条论题有助于思考这种结构。一条是我所说的正交性论题（orthogonality thesis）：价值与智能是正交的，几乎任何组合都可能存在。一个极其聪明的系统可以极其仁慈，也可以极其邪恶，也可以有某个怪异的目标，比如回形针，或者某个对人类有意义的目标。两者之间没有必然的本体论联系。另一条是工具趋同论题（instrumental convergence thesis）：对几乎任何终极目标和几乎任何环境，都存在某些工具性价值，只要你足够聪明就会认识到。比如防止自己死亡。如果你是回形针最大化器，你不想死的唯一理由，不是你珍视活着，而是你预见到今天被关掉的话回形针会变少，因为明天你还在的话，你还会继续做回形针。类似地还有目标内容的保持：你能预见到，如果有人改变了你的目标，明天你就不再做回形针了，而是去做订书机，回形针就少了。所以今天作为回形针最大化器的你，会想阻止别人改变你的目标。还有别的，比如获取更多物质资源，比如增强自己的智能以便更好地实现无论什么目标。正是这两点的结合，终极目标与智能之间没有必然联系，加上趋同的工具性理由驱使它做出与人类价值不相容的事，构成了内在的危险。你必须精心设计一种非常特殊的终极目标，使得它被一个超级智能最大程度地追求时，仍与人类的存续相容。也许是某种在内部嵌入了我们自身价值观的东西。

主持人：我们谈了很多假设性的东西，来谈点具体的吧，比如政策制定者。我们讨论的这些情形潜在地非常危险，可能吓到政策制定者，而我们知道他们的技术水平不及在座各位，可能因为这类恐惧而做出减缓或阻碍进步的决定，甚至禁止从事人工智能研究的计算机科学。你对围绕人工智能的政策制定和立法过程有什么看法？我们是否会看到，有一天计算机科学家被贴上恐怖分子的标签？

波斯特罗姆：出于种种原因，我不认为那很可能。目前很难看出，就算政策制定者愿意做点什么，他们究竟能做什么是有益而非有害的。当下需要做的，我认为是更多的基础性工作，把问题究竟是什么弄清楚。而最终，解决控制问题主要是一项技术研究挑战，需要顶尖的数学人才与理论计算机科学家合作，或许再加上一些哲学上的专长，才能真正攻克。很难看出从政府高层能怎样着手，那是一件非常钝的工具。哪怕最初在顶层出于最好的意图，经过官僚体系层层过滤之后，效果可能与初衷大相径庭。有些其他的生存风险，我认为更容易设想监管如何提供帮助。人工智能格外困难，连理解问题是什么都很难。至少在未来二三十年里，很难设想政治过程能产出什么理智的东西。最接近的也许是为控制问题的研究增加资金。但即便如此，经过既得利益和学术界的过滤，多半会变成一场雨点般撒向一大片表面相关领域的资助，而那些领域可能与控制问题毫无关系，比如泛泛的计算机安全之类。

不过还有别的事可做。有一些机构正在研究这个问题。我们在牛津的人类未来研究所做了一些工作。另一个是伯克利的机器智能研究所（MIRI），他们也有一些非常出色的人。这是显而易见的一条。更一般地说，要努力招募我们这一代和下一代最聪明的头脑来专注于此。目前全世界全职研究这个问题的人，折算下来大概只有半打左右，与问题的重要性完全不成比例。这是个更普遍的现象。几年前我做过一个小小的文献调查，比较了研究蜣螂的学术论文数量与研究人类灭绝的论文数量。很遗憾地告诉各位，研究蜣螂的多了不止一个数量级。往好处想，这意味着对于真正在乎这件事的人来说，做出重大贡献的机会极大。哪怕多一个人，多一百万美元，都能在这里做很多好事，因为它实在太被忽视了。

观众：关于政策和政治，我认为根本的原理在于，现代政府就像大型战列舰或者重型坦克，对付大而固定的目标非常在行，对付小而灵活的目标则极其无能。如果人工智能像核武器那样，生产它需要巨大的、固定的、造价高昂的制造设施，位置固定、一眼可见，那么政治层面如何监管、是否监管就非常重要。但人工智能不是这样。你可以在世界上任何地方开发它，你的计算机可能只值一万美元，而且由于可以通过云来做，它可以在世界上任何地方。当政府试图对付这类小而灵活的目标，比如单个网站或者互联网上的单个人，和核武器的情形相比，它们做什么其实无关紧要，因为政府根本打不中这种目标。就像盗版软件理论上要受某某惩罚，但正如世界各地所见，这类东西在达成既定目标上完全无效。

波斯特罗姆：这多少取决于我们设想的是什么情形。如果是政府试图阻止人工智能被开发出来，我认为那要牵强得多。稍微可能一些的情形是，等到哪些产品会成功、事情已经在推进变得清楚之后，政府去把它收归己有，也就是国有化。但那并不能解决问题，只是给它加了一层封装。也许整个项目被置于联邦政府之下，有军队守卫，但里面还是同一批人，基本上还在做同一个问题。所以这种结局对事情走向可能没有多大影响，里面的基本技术问题一点没变。而且也不清楚非专家能在多大程度上对人工智能的具体设计施加微观层面的影响，要做到这一点你得知道自己在干什么。

政府总体上能做的，是一些间接的事。更努力地推动全球和平与协调，对许多问题都有帮助，包括人工智能，或许会让事情容易一些。将来如果不同国家之间出现竞赛的态势，它们可以联合起来做一个共同的项目，而不是争先恐后、在安全上偷工减料。也可以做一些事来促进生物认知增强，如果有此意愿，当然可以设想各种资助方式，以及关于访问和连接不同数据库的政策之类，都会有用。所以除了直接研究控制问题之外，还有一些可能具有成本效益的间接路径，还有别的杠杆可以考虑，尤其是对那些离关键时刻还相当遥远的问题。

观众：你好。我只是好奇。你是世界上研究超级智能和生存风险的顶尖专家之一。私下里、非正式地、凭直觉说，你认为我们能挺过去吗？

波斯特罗姆：呃，是的。我想……大概是低于百分之五十的毁灭风险吧。但确切的数字我不知道。更重要的问题，我想，是怎样把它压下去才最有效。我大部分的心力都放在那上面。

主持人：那么，请大家感谢今天的嘉宾。谢谢你，尼克。