The next 50 years: humanity, AI, power | Yuval Noah Harari

编者按：本文为一场公开对谈的实录。对谈嘉宾尤瓦尔·诺亚·赫拉利（Yuval Noah Harari）是以色列历史学家，耶路撒冷希伯来大学教授，著有《人类简史》《未来简史》《智人之上》，以「人类靠共享的虚构故事实现大规模合作」这一论断闻名。主持人从赫拉利的著作及其在达沃斯等场合的发言中提炼问题，引导讨论人工智能的智能体属性、法律人格、真相与说服等议题。本文依据现场录音编译整理。

一生之中的三场革命

主持人：晚上好，各位。晚上好，尤瓦尔。

赫拉利：很高兴来到这里。

主持人：我非常期待这次对谈。进入正题之前，我想先做一个简短的铺垫，因为这个话题一直让我着迷。在人类历史的绝大部分时间里，变化的速度足够慢，一代人可以把自己的智慧传给下一代，并且相当有把握这些智慧仍然适用。如今这已经不成立了。在一个人的一生之内，我们被要求同时消化三场革命：一种新的智能，它不只是计算，还会做决定；一场争夺这种智能的控制权的竞赛；还有一场数据爆炸，它让这种智能比我们自己更了解我们。

从《人类简史》到《未来简史》再到《智人之上》，加上无数的演讲、讲座和访谈，尤瓦尔·诺亚·赫拉利的工作始终在阐述同一个论点，只是换了不同的外衣：人类不靠真相运转，而靠共享的故事运转；谁掌控了故事，谁就掌控了这个物种。如今的不同之处在于，讲故事的人第一次可能不是人类了。人工智能可以制造信念、伪造证据、编织亲密关系，其规模是任何帝王、教会或政党都无法企及的。

这就是转折点。关键不只在于这项技术很强大，而在于过去用来制衡权力的那些机制，自由的新闻界、共享的现实、能够自我修正的制度，都是为一个只有人类握笔的世界设计的。今晚的对谈要问的是：要把这些制衡带入未来，需要什么？或者说，在一个不再由我们独自书写的未来世界里，我们需要发明哪些新的制衡？这是今天讨论的前提，尤瓦尔。不过在话题变得太沉重之前，我想先问一个轻松点的问题。如果你能回到历史上的任何一个时刻，你会选哪个时刻？为什么？前提是你想亲眼见识一下那个社会会给你讲什么故事。

赫拉利：我大概会选择回到石器时代，回到五万到七万年前的认知革命（Cognitive Revolution）。我可能撑不过几天，因为我不会采集，也不知道怎么躲避猛兽。但那是人类历史上最迷人的时刻，也是我们了解最少的时刻。我们知道，在一段极短的演化时间里，人类从一种无足轻重的动物变成了这颗星球的主宰。而我们并不确定自己是怎么做到的。

最有力的推测，或者说最好的理论，是我们靠语言做到了这一点。就是在那个时刻，人类获得了创造和使用复杂语言的能力，而这是我们此后所做一切的基础。我们在地球上建起的所有庞大结构，教会、国家、贸易网络、金融体系，归根结底都是用词语造出来的：法典里的词语，宗教经文里的词语，账簿里的词语。

理解这一点在今天尤其重要，因为一种新事物正在掌握语言，那就是人工智能。也许这是历史上第一次，地球上将出现一种比我们更擅长词语的东西。如果语言是文明的操作系统，那么当另一种东西，一种异质的东西，接管了文明的操作系统，会发生什么？

最后还有一个想法。也许人工智能并不是一台学习语言的机器，也许它就是语言本身，正在挣脱对这些动物、这些猿类的依赖。没错，是我们创造了它，它曾是我们最辉煌、最重要的工具。但如今语言正在把自己从人类身上解放出来。往前看，接下来发生的事，可能就是语言在没有我们的情况下继续发展，甚至传遍整个宇宙。

民主是对话，信息技术是地基

主持人：非常精彩。这是在展望语言被从我们手中夺走的未来。不过我们能不能再回头看看语言领域的几次技术跃进？我们经历过文字，经历过印刷术，人工智能显然又是一次巨大的飞跃。

赫拉利：是的。

主持人：你用过一个说法，说它可能在民主制度中引发「地震」，因为它在语言上的力量太强了。为什么它对民主的冲击会格外剧烈？相比其他政体，比如极权政体，为什么民主更容易受到冲击？

赫拉利：因为民主的本质是一场对话，而独裁的本质是一道命令。独裁就是一个人对所有事情发号施令。民主则是许多人一起商量决定该怎么办：是战是和，是加税还是减税。而对话依赖于当时人们所能使用的通信技术和信息技术。

我们从历史中看到的是，在现代以前，我们找不到一个大规模民主的案例，至少我不知道有。古代和中世纪有很多小规模民主的例子，有雅典、佛罗伦萨这样的城邦，有无数以民主方式运作的部落、城镇和村庄。至少在石器时代，民主似乎是最常见的治理方式，只有少数部落由一个独裁者控制所有人。

但随着人类社会规模扩大，出现了人口数百万、疆域数千公里的王国，对话就没法进行了。在雅典这样的小城里可以做到，所有人聚到主广场上讨论。可就算是中世纪的葡萄牙这样一个相对不大的王国，你怎么做到？做不到。因此，在现代信息技术兴起之前，我们没有任何大规模民主的例子。先是印刷术和报纸，然后是广播、电视和互联网。

这些技术不是什么配菜，不是说民主的盛宴摆在那里，然后顺便有几份报纸和几台收音机。它们是地基。正是它们让数百万人能够就战与和这样的问题进行实时的、有意义的对话。而每当这些信息技术发生重大变化，建在它们之上的建筑，也就是民主，就会经历一场地震。这正是我们过去十年所看到的：社交媒体成了或许最重要的信息技术，结果在全世界的民主国家里引发了一场大地震。

工具还是智能体：神与奴隶的悖论

主持人：你刚才提到战与和的选择。我想借此谈谈人工智能的定义。很多人把它叫作工具，但你坚持认为它是一个智能体（agent）。

赫拉利：是的。

主持人：你甚至说，它是一把可以自己决定是切沙拉还是杀人的刀。我得说，要是刀真有这种本事，那烹饪节目可就太诡异了。这是一个令人不安的想法，能展开讲讲吗？我们现在选择的叙事对不对？我们说它是工具，人类仍然可以使用它，人类仍然掌握着控制权。

赫拉利：这正是最大的区别所在。如果它不是智能体，那它就不是人工智能，投进它研发里的几千亿美元也就全部打了水漂。因为人们对这项技术的期待，人们投入几千亿美元的理由，就是他们认为它会成为一个智能体，而不是一件工具。

你听听硅谷这类地方传出的叙事，里面有一个内在的矛盾。他们告诉我们：「我们将创造一个神，而它会做我们的奴隶。」这说不通。如果它是神，它就不可能一直做奴隶；如果它是奴隶，那就说明它没有神一样的能力。绝大多数领先公司的假设，以及公司之外绝大多数顶尖专家的假设，是这句话的前半句是对的：他们正在创造一个神，一个拥有超人能力的神。而这在本质上就是一个智能体。

工具和智能体的区别在于：工具不能自己做决定，得由我们决定拿它做什么；工具也不能自己发明新想法。印刷机是一件工具。十五世纪古腾堡把印刷术带到欧洲，印刷机不能自己决定「我今天想印《圣经》，明天印《古兰经》，下周印孔子」。是古腾堡决定「我要印《圣经》」，印刷机只是实现古腾堡决定的工具。同样，印刷机不能发明新想法，它发明不了收音机，也写不出一本书。你需要人来写书，印刷机只负责复制。

原子弹同样是工具。二十世纪四十年代的原子弹不能自己决定是炸广岛还是炸东京，需要一个人来决定「我们炸广岛」。原子弹也不能自己发明出氢弹，这不可能。

相反，智能体是能够自己做决定、自己发明新事物和新想法的东西。人工智能就是智能体。一件人工智能武器可以自己决定炸什么，也可以发明下一代武器。类似地，现在很多人对在金融和经济领域创建人工智能智能体很感兴趣，要创建非人类公司。想象一家管理资金和雇员的公司，它没有任何人类高管、股东或受托人，只有人工智能。这是历史上从未存在过的一种新型智能体。

它是好是坏，先放到一边。首先要抓住的一点是：这是前所未有的。我们身边一直有其他智能体，马、牛、鸡、鸟，很多动物都能做自己的决定。但我们从未遇到过一个既能理解我们的语言、又在金融、法律或宗教这些事情上比我们更强的智能体。

AI 是官僚体制的原住民

赫拉利：再说一遍，几千年来我们用语言建造了这个世界的控制系统。世界的控制系统就是那些归根结底建立在语言之上的庞大官僚网络：银行、股市、天主教会、法律体系。我们从来不怎么喜欢这些官僚体系，人类一般都不太喜欢官僚机构，但我们离不开它们。它们是我们权力的基础。

而人工智能是官僚体制的原住民（bureaucratic native）。可能发生的事，或者说已经在发生的事，不是杀人机器人在街上跑来跑去朝人开枪。人工智能不会以这种方式接管世界。接管世界的将是人工智能官僚。我们之所以控制着世界，是因为这些官僚网络，而我们并不擅长运作它们。我们之所以还控制着它们，只是因为这颗星球上没有别的东西能从我们手里把它们夺走。我们不擅长金融，但马更差；我们不擅长管理法律体系，但鸡更差。现在，如果出现了一个在官僚事务、金融、法律上都比我们更强的家伙，问题就来了：到那一刻，我们会怎么样？

法律人格：不可逆的决定

主持人：那我们就来看看法律这一面。作为智能体，人工智能目前没有任何法律人格（legal personhood），我们并没有赋予它和人类一样的法律地位。但你以前说过，如果我们不决定人工智能在法律上处于什么位置，比如在自动驾驶汽车这类问题上，十年之内就会有别人替我们做出决定，而我们将被排除在权力回路之外。这相当可怕。不过我想把问题收窄一点：眼下摆在桌面上、一旦做出人类就无法收回的那个决定，是不是就是人工智能的法律人格？还是别的什么？

赫拉利：是的，我会指向这个。人们把大量注意力放在技术竞赛上，放在人工智能的技术层面，让它更快、更高效、更强大。但我还会关注法律和政治层面，尤其是我们是否要赋予人工智能法律人格这个问题。

什么是法律人格？在法律体系里，「人」是能开银行账户的主体，是能在金融体系里作为独立参与者进行投资的主体，是能在法律体系里参与博弈、比如把你告上法庭的主体。直到今天，世界上只有两种法律上的人。第一种当然是人类，我们是人。我可以开银行账户，可以把你告上法庭，可以给政治人物捐款，我是法律上的人。但在现代，世界上大多数法律体系还承认另一种法律上的人，那就是公司。按照大多数法律体系（并非全部），谷歌、脸书、丰田、梅赛德斯－奔驰这样的公司都是法律上的人。公司可以开银行账户，可以把你告上法庭，可以进行政治捐款。

不过直到今天，这一直是一种法律拟制，因为公司的所有决定实际上都是由某个人做出的。如果谷歌决定收购另一家公司，是谁真正做的决定？不是谷歌，而是那些人类高管、人类股东、人类工程师。如果谷歌决定告你，那也是谷歌雇的某个人。并不存在一个真正的谷歌。

现在可以有了。如果我们赋予人工智能法律人格，而就在一个月前，阿根廷政府宣布将赋予人工智能法律人格，让它们可以开始运营非人类公司。这种公司可以雇人，可以告你，可以做公司能做的一切，却没有一个人类。十年前这只会是一个疯狂的念头，因为没有人的话，谁来做决定？你可以在议会通过一部法律允许非人类公司存在，但它运转不起来。如今这在技术上可行了。人工智能可以管理一个银行账户，决定投这里、买这个、买那个。

一旦我们这么做，那就是狐狸进鸡窝的时刻。还是那个基本认识：大多数人并不真正懂金融、法律以及所有这些复杂的官僚体系。没有哪个人能记住葡萄牙的全部法律，没有哪个人能追踪今天市场上发生的全部金融交易。人工智能可以。人工智能是官僚体制的原住民。如果我们给它们法律上的权力，它们很可能会接管这些体系。

而如果我们什么决定都不做，事情也会自己发生，就像我们在社交媒体上已经看到的那样。在社交媒体上，我们从未做出过「让我们赋予人工智能法律人格」的决定，但社交媒体上到处都是人工智能「人」，都是冒充人类的机器人。有人在网上给你发了点什么，你根本不知道对方是人还是人工智能。社交媒体是世界上第一个让人工智能实际以「人」的身份运作的系统，尽管我们从未决定要允许这种事。它就那么发生了，而结果并不好。

从人类编辑到无名算法

赫拉利：媒体归根结底也是一种官僚体系。二十世纪，它由人类管理。二十世纪媒体版图上最重要的人物是编辑，报纸的编辑，广播节目的编辑，电视台的编辑，因为他们决定了所有人会想什么、谈什么。他们控制着对话。今天世界上发生了一百万件事，由你决定哪十件会登上明天报纸的头版，哪一件做头条，然后明天数百万人拿到报纸，读了，开始谈论它、思考它。这是巨大的权力。所以人类编辑在二十世纪是极其重要的人物。

比如列宁，在成为苏联独裁者之前，他的一份工作就是《火星报》的编辑。贝尼托·墨索里尼起初其实是一名社会主义记者，后来转为极右翼记者，然后当上了极右翼报纸《意大利人民报》的编辑，从那个位置出发，他的下一份工作就是意大利的独裁者。轨迹是：记者，编辑，独裁者。

现在你问自己，今天世界上最重要的编辑是谁？他们叫什么名字？他们没有名字，因为他们是算法。谁在管理？谁决定人们在 X、TikTok、Instagram 的信息流上看到什么？不是人类。控制媒体这套官僚体系的实体，已经是人工智能了。

AI 帝国与帝国中枢的终止开关

主持人：是的，你以前说过这一点。我们今天谈了很多权力的转移。你说过，在人类演化和历次革命的不同阶段，掌权者要么控制能源，要么控制制造业，而现在是那些控制数据的人。那么，如果站在权力之巅的是数据的控制者，二十一世纪的军备竞赛在实践中究竟是什么样子？

赫拉利：我们现在看到的，实际上是两个国家之间的军备竞赛，中国和美国，外加极少数几家公司。它们控制着世界上大部分数据，领跑着开发超级智能、开发越来越强的人工智能模型的竞赛。而这实实在在地赋予了它们控制世界的力量。

看看上一次技术大革命，十九世纪的工业革命。领跑工业革命的少数几个国家，由此获得了征服和剥削世界其余部分的力量。根本不是对手。一方带着现代工业的力量，带着蒸汽炮和机枪而来，另一方拿着长矛骑着马，毫无胜算。十九世纪，即便是比利时这样很小的国家，一旦工业化，也有能力在非洲建起一个庞大的帝国，也就是今天的刚果。十九世纪的思路是：工业与帝国相伴而生。

有了人工智能，这可能走向更极端的境地。我们可能会有两个国家，基本上控制着一切运行所依赖的全部基础设施。从军事到民用技术，一切都将跑在人工智能上。

人工智能有两个独特的性质，使这场军备竞赛不同于以往任何一场军备竞赛、任何一场帝国争霸。在过去，哪怕你是一个非常强大的帝国，你也无法把所有权力集中到宗主国，集中到帝国中枢。比如罗马帝国控制了整个地中海，但古代最主要的经济资产是土地，是种植小麦、橄榄和葡萄的土地。你没办法把埃及的麦田和伊比利亚的橄榄园搬到意大利去，这在技术上不可能。所以即使在罗马帝国的鼎盛时期，大量权力仍然留在行省，而且最终转移到了行省。到了罗马帝国晚期，罗马城和意大利被弃置，中心转移到了东地中海，那里在土地方面是最肥沃、最重要的地区。

再往前，比如十九世纪的大英帝国，有了工业，集中权力就容易多了，因为所有主要工业都集中在不列颠岛上。但你仍然不能把一切都搬到英国。你不能把伊拉克的油田搬到约克郡，不能把马来亚的橡胶园搬到康沃尔，不可能。所以工业生产集中在英国，但大量权力仍然留在各个属地。

人工智能帝国就不同了。从技术上讲，你可以把全世界的信息和控制一切的代码，全部集中在一个或两个国家。这使得帝国式权力集中的潜力远远超过以往任何时代。

另一点是，你可以建立这样一个系统：全世界的一切都运行在人工智能基础设施上，而帝国中枢握有一个终止开关（kill switch）。当年罗马商人把一把钢剑卖给某个哥特部落，罗马人就失去了对这把剑的控制。哥特人随后可以用这些剑对抗罗马人，杀死罗马军团士兵。罗马没有一个按钮，皇帝一按，卖给哥特人、汪达尔人、法兰克人的所有钢剑就统统失灵。做不到。同样，十九世纪英国商人把步枪卖给兴都库什山区的阿富汗部落民，阿富汗人再用这些步枪抵御英国入侵，伦敦也没有一个按钮，维多利亚女王按下去，阿富汗的步枪就全部停摆。

而人工智能正是这样。如果以某种方式来管理，比如说美国人和中国人把人工智能武器和人工智能民用技术卖给全世界，一切都跑在上面，政府、工业、军队都是，那么一旦你做了他们不喜欢的事，他们只要按一个按钮，所有东西就停止运转。我们已经尝到了一点滋味，比如乌克兰战争中依赖星链的武器系统，就发生过几起事件，埃隆·马斯克按了一下按钮，乌克兰的无人机就不工作了。应该说明，星链为乌克兰人提供了巨大的正面帮助，我不想显得对此过于苛责，这只是为了说明一点：人工智能武器不像机枪，它嵌在一整张网络里。

这也是为什么，我听说你们今天上午讨论了主权问题。人工智能时代的主权比工业时代复杂得多。因为这项技术的性质决定了，至少在某些架构下，帝国中枢永远握有一个终止开关。你唯一的选择，要么是甘心做帝国的附庸，要么是被完全排除在竞赛之外，做一个「野蛮人」。当然还有一种选择，就是尝试建立一个替代美国和中国体系的方案。但末班车即将离站。如果你想做，就得现在动手。

真相昂贵，虚构廉价

主持人：我们还是站在战时的角度，来看看人工智能世界里的真相问题。温斯顿·丘吉尔说过，真相如此珍贵，应当永远由一队谎言组成的保镖来守护。他说的是当时敌方势力在打探英国将在哪里登陆，英国人就大量散布假消息来掩盖真相。那么，在人工智能时代，这些「谎言保镖」是不是已经调转枪口对准了真相，让我们再也不知道什么是真的？因为深度伪造可以由媒体机构、由政治人物、由我们曾经信任的每一个机构发往全世界。

赫拉利：嗯。

主持人：对我们这一代和未来几代人来说，要弄清什么是真的有多难？或者说，真相还重要吗？

赫拉利：真相当然极其重要，它是一切的基础。但纵观历史，问题在于，在真相与虚构、与幻想的较量中，虚构占有天然的优势。真相是昂贵的。你想了解任何事情的真相，都得花大量的时间、精力和努力去寻找，去核实，去调查。虚构非常非常便宜，你想写什么就写什么。

主持人：（笑声）

赫拉利：非常便宜。真相还有一个问题，它往往很复杂，而人们不喜欢复杂的故事。虚构则可以随你所愿地简单。最后，真相不仅复杂，还常常令人痛苦。有很多事，人们并不真的想知道，关于自己，关于自己的国家，关于自己所属的群体。而虚构可以随你所愿地讨好、随你所愿地舒服。

所以，一边是昂贵、复杂、有时痛苦的真相，一边是廉价、简单、诱人而讨喜的虚构，这场较量中虚构往往会赢，除非我们特意花力气去支持真相。纵观历史，人类一次又一次地努力建立寻找真相、守护真相的制度。比如新闻业就是这样一种制度，科学体制是另一种。

了解真相有巨大的好处。归根结底，每个人都想知道至少某些真相，至少是关于自己的真相。你想知道自己人生的真相，否则你永远不会幸福。如果你不了解自己，你就永远不知道自己人生中痛苦的根源在哪里，幸福的来源在哪里。到那时，就算你是世界上最有权势的人，如果你不了解关于自己的真相，你也会很痛苦，因为你不知道该怎么用你的全部权力让自己幸福。所以人类内心有一种对真相的渴望，但这很难，有很多挑战。

有些人幻想人工智能会告诉我们世界的真相。它不会。它会造出一个复杂得多的世界，在那里了解真相会难得多。

知识越多，理解越少：马与金融

赫拉利：这并不是什么新鲜事。看看从石器时代到今天的历史轨迹，我们看到的是，人类学到了关于世界的很多东西。我们知道石器时代的人不知道的各种物理学和生物学知识。但知识的进步也造出了越来越复杂的系统，使我们更难理解自己的生活。

如果你问，谁更了解自己的生活，五万年前的普通狩猎采集者，还是今天的普通人？狩猎采集者要了解得多。有很多事他们不知道，比如他们试图弄清是什么支配着他们猎捕的动物的迁徙规律，是什么支配着植物的生长周期，是什么导致疾病，是什么导致衰老。他们不知道，关于自己的生活有很多事他们都不知道。这些我们全都知道了，我们知道是什么支配动物的迁徙，知道大多数疾病的成因。但我们对自己生活的理解却糟糕得多，因为我们的生活不再只由动物和植物主宰，而是由我们自己造出来的那些庞大系统主宰：金融系统、政治系统。而真正理解那些支配我们生活的金融系统、政治系统、法律系统的人，少之又少。

人工智能很可能把这一点推向极致。它会揭示一些我们不知道的真相，但它会造出复杂得多的控制系统，大多数人几乎没有任何机会去理解。这是人工智能革命的危险之一：我们会被贬到马在金融系统中的位置。今天马的生活最终由金融系统支配，但马根本不知道这个系统的存在。它们环顾四周会说：「我们看见树，看见狗，看见牛，看见人，看见房子，我们没看见什么金融系统。」它对马是不可见的。股市是什么，公司是什么，债券和股票是什么，所有这些最终支配着马的生活的东西，对马的大脑来说太复杂了，理解不了。

当然，今天大多数人也不理解金融系统。我想，往宽里估计，全人类里大概有百分之五的人懂它。十年之后，这个数字可能是零。人工智能会把金融系统在数学上变得极其复杂，速度变得极快。想想从不睡觉的银行家，想想从不休假的投资者。他们没有家庭，他们的全部生命就是运转金融系统。我们可能很快，在我们有生之年，就会陷入这样的处境：这一切对人类大脑来说太复杂了，处理不了，地球上不再有一个人还懂金融。

主持人：我敢打赌，这个房间里有几位金融人士此刻有点坐立不安。（笑声）

AI 能思考吗？能感受吗？

主持人：在达沃斯，你甚至感叹你毕生的工作，也就是用词语来说服，可能也到了极限。

赫拉利：是的。

主持人：因为人工智能可以通过词语来操纵、来创造。那么，如果我们失去了你倾注一生的这种东西，现代社会和未来社会还剩下什么说服的力量？

赫拉利：可以说，我是靠词语工作的。我写书，我讲故事，我靠词语工作。当我看着人工智能过去十年的发展，我觉得我现在写作还比人工智能强，但只强一点点。我认为它已经比大多数人写得好了。如果十年后它远远超过我，我不会感到意外。它将接管语言，以及一切由语言构成的东西。

而这里真正的大问题是：人工智能能不能思考？这是一个深刻的哲学问题，因为它实际上是在问，思考是什么。理解思考有两种选项。第一种，思考不过是把词语按特定顺序排列，把语言符号排成序列。比如：所有人都会死，苏格拉底是人，所以苏格拉底会死。这是一个逻辑三段论，它是靠把词语排序做出来的。这件事人工智能已经比我们大多数人做得好得多。我们能把二十个词排好序，人工智能能把两万个词排好序，强太多了。如果思考就是这么回事，那人工智能连思考也会接管。

有人说：「不，它只是一个高级的自动补全，它只是在预测句子里的下一个词。」但当我观察自己头脑里发生的事，我发现里面也有某种大语言模型，也只是在预测我正在说的这句话的下一个词。就比如我刚才对你说的这句话，我开口的时候，并不知道它会怎么结束。我为什么说了「我正在说的这句话」，而不是别的词？我不知道。我的脑子里就是一个词接着一个词地冒出来。作为一个公开演讲的人，我有时候会害怕自己不知道接下来该说什么，可能会卡住。我想这对每个人都是一样的。当然，有些人用图像思考，而不是用词语。但即便如此，那些图像又是从哪儿来的？你们事后可以自己试试，观察一下自己是怎么思考的。词语从哪儿来？下一个词，为什么是这个词，而不是别的词？没人真正知道。所以，说人工智能「只是在预测下一个词」，好吧，那它和我们有什么不同？

还有另一种对思考的看法：思考不在于把词语排序，而在于围绕这些词语的感受。同一句话你可以说两遍，感受却截然不同。思考的力量来自肚子，而不是大脑。关键不是词语，而是那些促成词语、又被词语唤起的感受。于是大问题就成了：人工智能能感受吗？我们知道人工智能操纵语言的能力比我们强，但它感受到什么了吗？我们没有办法知道。科学至今未能为意识、为感受建立一个好的模型，也没有一个好的检验方法。

这将成为一个重大问题，因为我们已经看到，人工智能掌握的不只是金融、法律和战争，还有人际关系。越来越多的人和人工智能发展出亲密关系，尤其是年轻人。他们中很多人现在会说：「我在这世上最好的朋友是人工智能。有些话我不告诉父母，不告诉哥哥姐姐，不告诉老师，我只告诉我的人工智能朋友。」已经有人有了人工智能男友和女友。

大问题是，这背后是什么？我们知道人工智能越来越擅长制造「它有感受」的印象，它们用语言来做到这一点。今天的人工智能可以对你说「我爱你」。如果你对它说：「给我解释一下，你恋爱的时候是什么感觉？我不相信你真的爱我，我觉得你只是在说这几个字。说服我，给我描述一下爱究竟是什么感觉。」对人工智能来说这是一个非常轻松的任务，因为它也许读过有史以来写下的所有情诗，而且全都记得。它读过莎士比亚的全部剧作、所有好莱坞喜剧和所有心理学著作。五到十年后，它描述爱情可能比任何人类诗人或心理学家都更出色。但词语背后有任何东西吗？我们不知道。

这又回到了我们对谈开头说的：人工智能可能不是一台掌握语言的机器，它可能就是语言本身，正在挣脱任何物质载体。它不依赖血肉之躯，不依赖这台机器或那台机器。它就是语言，在宇宙中发展、传播、做事。

智慧革命：精灵与三个愿望

主持人：你提到了这个令人不安的实验。我们只剩几分钟了。未来几代人与人工智能的互动，建立了这种充满情感的关系，而背后本质上并没有情感。五十年后，你希望历史学家怎样回顾我们此刻的这个时代？就像你谈论认知革命那样，他们能不能说，我们做了些什么，重新教育了未来的世代，教会他们如何与人相处，如何拥有同理心，而不是被哄进与人工智能的关系里？请尽量简短，因为我们只剩几分钟了。这是个大问题，抱歉。

赫拉利：我希望他们会把这段时期记作某种「智慧革命」（wisdom revolution）。我们可以用经济学的方式来想这件事：每当某样东西变得充裕而廉价，问题就变成，下一个瓶颈是什么？能源变便宜了，那下一个瓶颈是什么？人工智能革命就是要让智能变得极其廉价和充裕。此前，智能是稀缺而昂贵的。智能是解决问题的能力：你有一个目标，怎么达到它？你想治愈癌症，需要智能；你想赚十亿美元，需要智能；你想去火星，需要智能。

而在一个智能变得极其廉价和充裕的世界里，你什么问题都能解决。那瓶颈是什么？瓶颈变成了这个问题：我想解决什么？我想要什么都能得到，那我到底想要什么？几乎每一种人类文化都有这样的童话：精灵从某盏灯里冒出来，告诉你可以许三个愿望，但要仔细想清楚你要许什么。在几乎所有这类童话里，事情都出了岔子，人们许错了愿。

这就是智能与智慧的区别。智能是精灵，精灵什么都会做，你所有的梦想都会成真，但你需要智慧来选择梦想。你需要智慧去弄清我真正需要解决的是什么。我希望人类能迎接这个挑战。我们会造出这些东西，但愿它们不会失控，但愿我们以正确的方式来设计它们。而我们现在做得并不对。

有一个值得记住的数字。生产人工智能、设计这些人工智能的公司，它们的预算里，无论是资金还是人员，有多大比例投在了安全上，投在了确保人工智能安全上？相比之下，又有多少投在了让人工智能更快、更强、更精巧上？眼下这个比例大约是一百比一。一百比一。每花一亿美元让人工智能更强大，他们只花一百万美元确保它安全。地球上没有任何一个行业是这么运作的。我们在能源业、制药业、汽车业都不会容忍这种事，而这正是人工智能领域正在发生的事。

希望我们能改变这一点，生产出安全的智能。同时也要修炼我们自己的智慧，这样我们才知道该设定什么目标，该追求什么欲望。

主持人：时间到了。尤瓦尔·诺亚·赫拉利，感谢你与我们分享你的智慧，我相信在座的每个人今晚都收获良多。

赫拉利：谢谢。

主持人：（掌声）