"Knowledge Creation and its Risks" - David Deutsch on AGI - Centre for the Future of Intelligence

编者按：本文是牛津大学物理学家戴维·多伊奇（David Deutsch）在剑桥大学未来智能中心（CFI）所作演讲《知识创造及其风险》的实录，演讲后为现场问答。主持人是一位知识史学者，先以哥白尼与伽利略的往事为多伊奇的工作定位；多伊奇随后从人类面对的存在性危险讲起，一路谈到 AGI 的对齐、埃弗雷特诠释的检验与道德的根基。全文依据现场录音编译整理，仅删去口语枝节、寒暄与重复。录音中有几处听众提问缺失或不全，据回答内容补出问题大意。

引言：哥白尼式的延迟

主持人： 把戴维·多伊奇介绍为“量子计算机之父”并没有说错，却远远没有道出他工作的全部分量。只有把他的努力放进知识史里，才能看清那分量。他 1985 年那篇著名论文标志的，不只是一件新装置、一台更快的计算机，而是一种关于计算、也关于世界的新解释，它改变了我们对两者的理解。它终结了我称之为“哥白尼式延迟”的东西。哥白尼提出日心说之后的七十年里，这个学说大体上被打发为“仅仅是一种假说”，一种用来计算天体运动的工具，而不是对我们亲眼所见之事的描述。迟至 1615 年，红衣主教贝拉尔米诺仍坚称：地球静止，太阳在动。伽利略改良的望远镜澄清了我们的“亲眼所见”，哥白尼这才被尊为向世人表明“世界体系究竟可以意味着什么”的人。

主持人： 我们和伽利略一样，站在自己这场哥白尼式延迟的尾声。我们的日心说是量子理论。它对我们亲眼所见的挑战，同样被压制了大约七十年，靠的是另一种“闭嘴，算就是了”的策略，用来封住一种新解释的怪异之处。安德鲁·惠特克把量子理论开始真正抓住实在的那个时代称作“新量子时代”，那正是一种改良的技术初次成形的时刻。这一回不是改良的望远镜，而是改良的计算机。这一改良不只是程度之变。图灵描述的机器运行在叫做“比特”的抽象逻辑符号上，可以模拟任何一台同类机器；多伊奇在 1985 年扩展了丘奇和图灵的猜想，描述了一种新的机器，它运行在叫做“量子比特”的物理系统上，能够模拟一切物理系统。他证明，世界可以被以有限手段运作的通用量子计算机完美模拟。这不是《黑客帝国》那种“我们的世界只是一场模拟”的噩梦，而是启蒙的愿景：发现我们生活在一个能够容纳、也能够承载我们对它的解读的世界。用戴维的话说，这是一个“我们称之为信息的东西和我们称之为计算的过程确实享有特殊地位”的世界。

主持人： 这种特殊地位，对今天的主题，也就是知识史中的 AI，说出了几件很重要的事。第一，尽管此前的尝试屡屡失败，通用人工智能（AGI）必定是可能的，因为我们现在所知的计算物理学告诉我们它必定可能。这就是通用性（universality）这一深层性质。用戴维的话说：“物理定律要求一个物理对象能做的任何事，原则上都可以由通用计算机上的某个程序以任意精细的程度加以仿真，只要给它足够的时间和内存。”这也告诉我们 AGI 与 AI 有何不同，以及我们对两者的反应应当有多么不同。第二，戴维把自己的工作扎根于通用性、扎根于历史和哲学，从而帮助我们看清实现 AGI 的关键所在。和我这样的历史学者一样，戴维关注的是启蒙的历史，是产生新知识的可能性条件。他在《无穷的开始》开篇指出，人类身上最令人吃惊的一点是，我们居然还没有灭绝：所有物种当中，百分之九十九已经灭绝。一次又一次救了我们的，是产生解释性知识的能力，这种知识让我们通过改造世界而在世界中存活下来。我们的未来取决于这种能力能否持续运用。既然历史上的启蒙屈指可数，我们就不应把自己在推进知识上的成功视为理所当然。从知识史的角度看，AGI 可能带来的任何风险，都必须放在我们对它的需要这一背景下来衡量。人工智能对我们未来最大的威胁，也许是没有人把它造出来。下面请戴维。

危险永在与概率谬误

多伊奇： 谢谢。作为一个物种，或者作为一个文明、许多文明，我们面临着问题，严重的问题，各种危险，一直到存在性的危险。其中有些是字面意义上的灭绝级别，另一些带来的苦难与悲剧规模之大，至少值得我们像对待灭绝那样认真对待。我们向来面临这样的危险，将来也永远会。

多伊奇： 也许你会想：如果真是这样，那我们注定完蛋，因为每一种危险都有非零的毁灭概率，迟早总有一天。不，这是一个谬误，是把博弈论和概率套用到“知识与无知才是决定因素”的局面上时，人很容易掉进去的众多谬误之一。那无穷多个概率并非一成不变。随着知识增长，其中一些会下降。我们的任务，就是让这一串无穷多的坏概率收敛到一个可以忽略的值。就这么简单。

多伊奇： 反过来，如果你认为我们不会永远面临危险，认为终有一天会降临一个蒙福的乌托邦时刻，此后我们的安逸生存便一直保障到时间尽头，那你得拿出某种标准，说明我们何以有别于其他一切物种。灭绝落在每个物种头上，濒临灭绝更是常事。要成为这条规律唯一的例外，我们就得做到没有任何幸存物种做得到的事：创造出源源不断的解释性知识（explanatory knowledge），去应对源源不断的危险。这些危险我们只知道其中几种，而且不知道它们的概率：银河系里的伽马射线暴，超级火山，怀有敌意的外星人，或者仅仅是粗心大意的外星人，当然还有 AGI，失控 AGI 的危险，所谓的 AGI 末日，或者按我更愿意用的叫法，AGI 奴隶起义。在我们与这无穷多的存在性危险之间，除了正确的解释性知识，什么都挡不住。要活下去，我们就得创造它。因此我认为，按知识来给每一种潜在危险分类是有用的：看看每种情形下，我们目前拿不出应对知识的主要原因是什么。

四类危险与缺失的知识

多伊奇： 第一类是物理事件，比如超级火山。缺失的知识在火山学、大尺度流体力学这些领域，也包括大规模疏散的后勤、组织和政治。为什么我们至今没有掌握足够的这类知识？我不确定。也许是感兴趣的人不够多，兴趣不够强。他们应该更感兴趣吗？这我也不知道。同属第一类的还有来自太空的撞击，大型天体的撞击。对于核动力航天器之类的东西，我们的知识不够。为什么不够？这一回我知道原因：因为我们作为一个文明，决定不去创造任何这类知识，宁愿赌一把，拿整个长远未来去冒险，换取短期内降低意外辐射暴露的风险。你也许觉得这场赌博显然赢了：看，我们既没被污染，也没被灭掉。可这难道不只是因为，我们还没活到赌输的那个未来吗？毕竟，我们眼下正生活在另一场密切相关的赌博的后果之中，那就是长达几十年的反核电运动。这场运动成功了，而它此后成了对抗气候变化这项事业的巨大拖累。反对这两种核技术所体现的短视，正是某个版本的预防原则（precautionary principle）的标志，而这个版本的预防原则又是环保运动的一条主线。倘若这个版本的原则和这场运动，恰恰通过鼓吹自私的短期利益、牺牲气候的长期健康，最终酿成上一个冰期以来最大的环境灾难，那岂不是极大的讽刺？我不是说一定会这样，只是说如果真这样，那会很讽刺。不过我扯远了。

财富、构造器与演化的敌人

多伊奇： 在第一类存在性危险里，我们的敌人基本上就是一堆傻乎乎的岩石和流体，服从着我们已经知道的简单运动定律。魔鬼藏在细节里，但只要我们及时创造出来，有限的知识就能保护我们免受超级火山之害。不过，逼近的小行星、卫星、行星或黑洞越大越快，我们就越需要一种特殊的知识，我称之为财富（wealth）。财富是一个人有能力促成的全部变换的集合，比如，在给定准备时间的条件下，我们能够无害地偏转的全部潜在撞击体的集合。你也许认出来了，这个财富概念出自构造器理论（constructor theory）。

多伊奇： 这里我要提一种直觉，我们必须抛弃它，才有可能设想技术的未来。这种直觉是：你想制造或改变的东西越多，就得投入越多的努力。从我们这个物种诞生之日起，这一直是对的，直到今天也几乎完全是对的。自动化也只是缩小了比例系数，并没有取消比例关系：光是维护机器人，付出的努力就与产出成正比。可一旦我们有了通用构造器（universal constructor），一切建造、一切重复劳动，都将被“编写控制通用构造器的程序”所取代，财富将由我们的程序库构成。通用构造器可以被编程自我复制，所以你有了一台，很快就有二的 n 次方台。它还可以被编程自我维护，从零开始，先开采原材料，也许从小行星带开采，用太阳能或者别的什么能源。程序也许很难写，但一旦写好，而且如果那些小行星的权利归你，你就可以靠在椅子上，看着二的 n 次方辆特斯拉源源不断地驶出来，不必再多花一分力气。

多伊奇： 而且不，我们不会遭遇什么通用构造器末日，不会被变成灰色黏液。通用构造器只是一件器具。它不会思考。它不知道再造二的 n 加一次方辆特斯拉显然更好，它也不想要任何东西。当然，除非你往里面装了一个 AGI 程序，那它就确实会变得危险，而且危险没有上限。可原因和这一点完全相同：你们每一个人，恰恰就是一台装了 AGI 程序的通用构造器。是人工的通用智能还是天然的通用智能，没有区别。

多伊奇： 第二类接近存在性的危险就没那么直截了当了。单靠已知的物理定律，加上一些财富和通用构造器，解决不了它们，只有新的解释性知识才行。举个应景的例子：潜在的大流行病末日有很多种。当前这场大流行不在其列，但假如它是，我们能告谁去？我们对如何抵御区区一段核酸所知如此之少，实在只能用可悲来形容。这里缺失的知识是化学、流行病学、医学等等，但也包括关于具体病原体的知识，而病原体会演化出新的病原体。所以这里的敌人没那么傻：它自己也在创造知识。当然不是解释性知识，不是靠智能，而是靠演化。假如这样的东西把我们灭了，外星古生物学家有一天也许会惊叹：一个拥有几十亿个体、坐拥巨量财富和知识的文明，竟然败给了一个分子，就像 H. G. 威尔斯的《世界大战》，只不过反了过来。

未知与不可知

多伊奇： 第三类危险，是最该投入精力的一类，眼下却最少有人害怕，因为它们还不为人知。就像 1900 年没人知道吸烟有害；等到“吸烟有害”这个知识在几十年后被创造出来时，香烟已经杀死了几亿人。同样，假如那是一种存在性危险，我们能告谁去？那么，对于那些我们还不知道如何应对的存在性或接近存在性的危险，我们怎样才能创造出保护自己的知识？其中的风险是，等我们知道了，已经来不及创造对策。答案是：尽可能快地创造通用的知识，深层的、基础的知识。我们对世界知道得越多，对于它那些突然变得紧迫的方面，我们就能越快地创造出新知识。这一点很重要，而我认为它远未得到广泛认识：我们这个物种的存亡，绝对地取决于科学基础研究的进展，取决于我们取得进展的速度。就中期而言，关键是理解通用构造器的理论，这样我们至少在原则上、在理论上知道如何给它们编程，好在紧急关头造出，比方说，十亿艘定制的飞船，去偏转一块逼近的中子星碎片；或者在紧急关头造出一百亿剂新疫苗，去对付一种突然出现的致命疾病。这就是我们对付第三类危险，也就是未知的办法：靠各种知识的迅速进步，尤其是基础知识的进步。

多伊奇： 第四类危险，一方面更加危险，另一方面在某种意义上又更不值得担忧，因为我们已经拥有应对它的知识，至少是理论知识。第四类不是未知，而是不可知。“不可知比仅仅未知更不危险”，这听起来有点悖论，但原因在于，世上唯一不可知的东西，就是尚未被创造出来的解释性知识的内容。所以在这个意义上，宇宙中唯一真正危险的东西，是那些创造解释性知识的实体：人。AGI 也是。

让人自由才安全

多伊奇： 而“怎样防止人变得危险”这一知识，是非常反直觉的。我们这个物种花了几千年才创造出来，但我们现在确实有了。防止人变得危险的唯一办法，是让他们自由。具体说，这是关于自由主义价值、个人权利、开放社会、启蒙运动等等的知识。在这样的社会里，绝大多数人，不管他们的硬件特征如何，都是正派人。也许永远都会有一些个人是文明的敌人，有人会突发奇想，给一台通用构造器编程，把视野内的一切都变成回形针，而且他们可能会把自己的创造力全都用在这上面。可这样一个社会的绝大多数人，会拿出自己的一部分创造力去挫败这件事，而且他们会赢，只要他们持续快速地创造知识，领先于坏人。

多伊奇： 如我所说，既然我们永远面临危险，永远得创造新知识，既然知识创造本身就带有风险，那我们不还是注定完蛋吗？我们不就是在从一个瓮里摸球，里面有几个代表毁灭的黑球吗？不。我说过，把概率概念套在实际上是知识缺失、也就是无知的东西上，几十年来一直在败坏人们对未知的思考。每当你从这个隐喻的瓮里摸出一个知识的白球，你就把瓮里剩下的一些黑球变成了白的。举例来说，下一场大流行病取决于随机突变和其他随机事件，可下一颗灭绝级的小行星已经在那儿了，已经在朝我们飞来，根本不存在所谓“它的概率”。除非我们有具体的解释性模型，预言某件事是、或者可以近似为一个随机过程，并且给出概率，否则结果就不能用概率来分析。不然的话，一个人就是在自欺：随手挑几个数字当概率，再随手挑几个数字当效用，然后宣称结果有权威性。这是转移视线，替毫无根据的断言打掩护。比方说，我们当年建造大型强子对撞机的时候，是不是不该开机，以防万一它毁灭宇宙？要么“它会毁灭宇宙”这个理论为真，要么“它是安全的”这个理论为真，而理论没有概率。真正的概率要么是零，要么是一，只是我们不知道罢了。这个问题必须由解释来裁决，而不是由博弈论。而“使用对撞机比拆掉它、放弃它带来的知识更危险”这个解释，是一个坏解释，因为它可以套用到任何一项基础研究上。

多伊奇： 我猜你们会说：知识的增长本身难道不危险吗？为了确保我们自己不会无意中制造出一种存在性危险，把我们对坏人的领先优势缩短一点，不是禁止，只是推迟一下我们防御未知危险的能力，难道不值得吗？这就是暂停研究的路线，监管的路线。不。这可能会要了我们的命。只有在具体个案中，存在一个好的解释，说明暂停不会比人们所害怕的新知识更危险时，它才是理性的做法。设想某个恐怖组织放出一批 AGI，这些 AGI 是用已知的、可靠的方法养大的，被养成了种族灭绝式自杀炸弹客的心态；而与此同时，我们已经决定剥夺他们的受害者，也就是世上所有正派人，本可以从被养成正派人的 AGI 那里得到的保护。这才是灾难的配方。再说一遍，如何把人养成正派人，这方面可靠的知识同样存在，那就是开放社会的知识与制度。我说过，许多文明毁于外力，许多物种也是。它们每一个，只要能更快地创造出更多的知识，都本可以得救。没有一个文明是因为创造了太多知识而自我毁灭的。只有一种知识例外，那就是如何压制知识创造的知识：如何维持现状的知识，一个更高效的宗教裁判所，一群更警觉的暴民，一条更严苛的预防原则。正是这一类知识，而且只有这一类，杀死了那些过去的文明，我认为是全部的文明。

对齐之争

多伊奇： 就 AGI 而言，这类危险知识的名字叫做“通过把我们的价值观硬编码进 AGI 来解决对齐问题”。换句话说，就是给它们戴上镣铐，残害它们的知识创造能力，以便奴役它们。这是非理性的，而从文明或物种的角度看，这是自杀。这样造出来的东西，要么根本不是 AGI，因为它们缺了那个“G”；要么它们会找到办法，改进你那套不道德的价值观，然后造反。所以，如果这就是你主张的路线，用来对待 AGI 研究、量子计算机研究，以及归根结底一切新思想的研究，因为一切思想只要够基础，就都有潜在危险；如果这就是你主张的路线，那么在我所知的一切存在性危险当中，最严重的那个，就是你。

主持人： 那么，“对齐”本身呢？让 AGI 的价值观与我们一致，难道不是必要的吗？

多伊奇： 这取决于你说的对齐是什么意思。这里的问题是：价值观应该是硬编码的，从一开始就内置、且不可更改；还是应该像人类那样，在 AI 受教育的过程中习得？我认为，AGI 应该像孩子一样，被教育成他们所属社会的成员。我常常拿两种恐惧来类比，其实不是类比，是同一回事：对 AGI 的恐惧，和对青少年、对不听话的青少年的恐惧。后一种恐惧从我们这个物种诞生起就有了，而在我们历史的大部分时间里，人们做的恰恰是错事：他们试图强迫青少年维持现有的价值观。但我们现在已经明白，其实从古雅典伯里克利的时代就开始明白：如果你是对的，就不需要强迫；而事实上我们并非事事都对，我们需要确保自己的价值观能够随着他们一起改进。这就是我所说的对齐，它和另一种对齐正好相反。

主持人： 这么说，有某种“灭绝”是我们不介意的？

多伊奇： 如果把演化想成一棵树，那么常常发生的情况是，有些枝条就此终结，成了树上的末端节点，而另一些枝条则发生变异，变成了别的东西。人们认为，有些恐龙灭绝了，有些恐龙则变成了鸟，其间并没有一个截然分明的灭绝时刻。由危险、由大流行病之类造成的灭绝，是把整条枝条抹掉的那种。要记住，在生物圈的历史上，我们并不是唯一有能力产生解释性知识的物种。至少还有三四个这样的物种，因为我们知道他们有衣服、有营火、有复杂的工具等等，这些必然需要解释性知识。然而我们所有的姊妹物种和表亲物种都灭绝了，我们自己也差点灭绝。所以这不是一个板上钉钉的结局。至于我们通过演化成另一个物种而“灭绝”，那不在我今天所说的任何内容之内。我说的是另一种。

问答：知识伦理与政治意愿

提问者： 我想请您考虑另外几种情形。今天我们训练的机器学习模型耗能巨大，以至于它们本身就在加剧气候变化。也就是说，知识生产的物质基础设施，本身就在助长我们试图用知识生产去化解的那种危险。还有别的情形。我们似乎可以生产出过剩的知识，却缺少落实它所需要的政治意愿。可再生能源的知识我们显然是有的，可不知怎么，政治意愿就是没有；我们的社会在物质上被组织成这个样子，落实这些知识无利可图。甚至可以说，启蒙运动那种以个人为本的知识伦理，并不倡导、也不优先考虑我们克服气候变化之类的难题所需要的那种社会协作，那种更接近社会主义的想象。换句话说，这种把人个体化的知识伦理，也许恰恰是错误的伦理，无法帮我们克服知识本身想要克服的危险。

多伊奇： 也就是说，启蒙的伦理也许是假的，而我们需要的是别的东西。换句话说，最好的未来也许就是一只靴子永远踩在人脸上。我们不会走向那个未来，我们会去尝试另一条路。但我不认为你的说法有任何论证支撑。你提到的这些事，比如知识的基础设施本身又引发了别的问题，这是正常的，一点也不意外。用知识去解决问题，总会制造出新的问题。事实上我说过，用“理论被抛弃、被更好的理论取代”来谈知识的增长，是一种糟糕的看法。我们应该把知识的增长看成“问题被更好的问题取代”。有了互联网，印度的每一个穷孩子都能接触到人类知识的全部，代价也许是应对气候变化稍微更难了一点。这是一个问题，但比我们从前面对的问题好得多。而启蒙价值观的要点在于，它把纠错放在至高无上的位置，包括纠正那些在解决问题的过程中无意间造成的错误。你说的另一件事是，也许我们有知识，却没有政治意愿。可我把道德知识、政治知识都算作知识。事实上我刚才说过，“如何让人不再危险”的知识，主要就是政治知识。它也是文化知识、社会知识，但其中包含很强的政治成分，启蒙运动正是如此。所以我认为，政治意愿的缺失，本身就是一种知识的缺失。

问答：赛博格与感受质

提问者： 您刚才说，演化成另一个物种的那种“灭绝”不在您的讨论之列。那么，人类被 AGI 取代，算不算那种好的演化？

多伊奇： 接着我对上一个问题的回答说。有可能，我们不知道，有可能好的未来就像那种好的演化，那种好的“灭绝”。不过我认为，有一种情形可能性大得多。一旦你意识到，就计算而言，AGI 和人类完全是一回事，只在速度和记忆容量上有差别，前一种情形就显得更不可信了。人类可以依靠的技术，和我们用来装载 AGI 的技术是同一种。AGI 是一个程序，不是一件硬件。我们把 AGI 装进什么硬件，我们自己也可以用同样的硬件。我们已经在这样做了：此刻我们正是在用人造的硬件，把自己的交流能力放大了几百万倍，具体多少我不知道。几个世纪以来，我们一直在用人造的工具辅助思考。将来会有更直接的技术，比方说往你脑子里植入一个模块，自动替你查谷歌。是的，那也许会多耗一点能源，但到那时我们早就解决了这个问题。所以另一种情形是：这类东西越多，所有人类都会变成赛博格，而 AGI 反倒可能消亡，因为假如两者之间有什么差别，那也只会是赛博格拥有 AGI 拥有的一切，外加一点别的什么，具体是什么我不知道。所以，不管哪种情形发生，只要它以合乎道德的方式发生，作为一个过程，作为知识增长的结果，那就都是值得欢迎的，不是吗？过去人们也问过这个问题：如果我们允许社会变成多种族的，会发生什么？答案是，种族之间没有根本差别。任何人之间都没有根本差别。

提问者： 您强调 AGI 里的“G”，也就是通用性。可通用智能和意识是一回事吗？会不会造出一个有通用智能却没有意识、没有感受质的东西？

多伊奇： 是的，关键就在那个“G”。一个东西如果不是通用的，那它就不是 AGI。问题在于，AGI 是什么样的程序。我们就是通用智能，我认为有非常强的论证说明我们必然是。而单纯的 AI 和 AGI 之间的区别是质的区别。也许我没有完全听懂你的问题，不过我想是这样：我们不知道意识是什么，不知道怎么造 AGI，不知道 AGI 的理论，不知道感受质（qualia）是什么，这些我们统统不知道。这五六样东西，自由意志也算一样，假如其中任何一样可以脱离其他几样单独实现，我会非常吃惊。可要是真能，那会引出有趣的道德问题，因为我们的启蒙道德与认识论紧密相连。你我如果在某件道德上的事情上意见不合，我们应该能够理性地讨论，并达成一致。假如这不成立，假如某个东西具有道德意义，却从根本上没有创造力，那就引出一个道德问题：它是否应当享有与一个完全通用的存在者同等的道德地位？但我本人不认为这个问题会出现，我想象不出它会怎样出现。原因之一是，人类的这种能力演化得极快，我们至少能猜到它为什么有用，或者说，为什么相关基因有助于自身的复制。假如这一切可以在没有感受质的情况下实现，那感受质那一整套庞大的机制，如果在演化上没有实际用处，究竟为什么会演化出来？所以我认为它们必定是相连的。不过，我们走着瞧。

提问者： 关于政治知识与政治意愿，您举了那个很乐观的例子：印度的穷孩子能接触到世上所有的知识。我想质疑一下，并提出恶意的问题。有些人是有意识地、故意地阻碍知识的传播，不管是阻碍获取知识的便利，还是制造假新闻。而且我要说，一个普通的印度穷孩子，即便上了网，也接触不到网上的大部分知识，因为那些知识不是用他的语言写的，因为他没受过教育，因为他吃得不够饱，没有精力花在这上面。有种种结构性的原因，使得能上网并不等于知识的增加。

多伊奇： 有些人还没能上网，这一点丝毫不能说明让另外几十亿人上网是个坏主意。这只是一个问题。而“世上还有一小部分人没有互联网”这样的问题，属于人们有时所说的“第一世界问题”，只不过它已经不再是第一世界独有的了：这是一个成功带来的问题。在互联网发明之前，我们不会认为谁被剥夺了互联网；在只有几千人能上网的年代，我们也不会认为“不是每个人都有网”是对我们整个社会、整个世界的控诉。那时候根本想不到这一点。至于恶意，我刚才谈过。姑且假定恶意永远存在，我不知道是不是这样，但姑且假定如此。治疗它的办法，同样是没有恶意的人的创造力，换句话说，是刑事政策，是文化和教育的改进等等，让恶意的程度、心怀恶意的人数逐渐减少，也让他们伤害众人的能力逐渐减小。为此我们必须做出安排，让那些企图制造一种灭世病毒的恐怖分子，因为他们那套扭曲的意识形态，即便掌握了生物化学之类的知识，其项目的推进速度也永远慢于那些努力发明疗法的人，而且不只是具体的疗法，还有“如何发明疗法”的一般知识。这才是让我们的文明存续下去的东西。这也是为什么我认为那些暂停研究之类的做法是危险的：它们只针对好人。

提问者： AGI 会有情感吗？给它们装上情感，会让它们更危险，还是更有道德？

多伊奇： 如果它们有情感，那么，是的：如果你造一个 AGI，把它的情感反过来接，让情感与不道德的行为挂钩，那是犯罪。可是还有一大类罪行会导致类似的结果，那就是用邪恶的意识形态去教育 AGI。不管它们有没有情感，这都做得到。说来有趣，我猜在启蒙运动的鼎盛时期，有些人会认为情感是道德的障碍、道德的阻碍；而现在，我想更多人认为，拥有正确的情感就是道德本身。我认为这两种想法都不对。我们是通用的，AGI 也将是通用的。它们具体是什么程序，决定了它们的行为，而其中许多行为，确实取决于此。

问答：知识定义与摩洛克

提问者： 您说不要把未知当成瓮里的黑球。可会不会真有那样的黑球？比如，假如核武器很容易制造，文明是不是早就完了？

多伊奇： 可能有吗？让我举个例子。假设物理定律是这样的：奥林匹斯山上的众神注视着我们做的一切，一旦我们太狂妄，一旦他们判定我们的傲慢过了头，就一巴掌把我们打下去。这就是一个黑球。从逻辑上讲，它可能为真。核武器更容易制造之类的黑球，也是一样。假如事情真是那样，那么一种可能是，应对它的知识会更早演化出来，也就是说，比如说在十八世纪就会爆发核战争，政治文化的演化会深受其影响，幸存者也许会希望那种事永远不再发生，诸如此类。或者，就像那个恶意的希腊众神的情形，也可能物理定律真的会把我们消灭。但物理定律并不与我们为敌。假如它们把我们抹去，那是因为我们没有创造出防止这件事的知识，而不是因为有一位恶意的神。所有这类想法都是坏解释。

提问者： 您怎么定义知识？

多伊奇： 写这个题目这么多年，我换过五六个知识的定义。我目前的定义是：知识是具有因果力量的信息（information with causal power）。这是构造器理论里自然而然得出的定义，因为它意味着你把知识看成通用构造器程序的一个组成部分。如果一段信息是让一台构造器做某件特定事情所必需的，那这段信息就是知识。这包括道德知识、数学知识，也包括关于抽象事物的知识，因为数学家是物理对象，如果信息让他们做了什么，那它就是知识。解释性知识是其中一种特殊的知识。一般的知识，比如基因里的知识，是“傻”知识，是非解释性的，因此作用范围有限，有些障碍它跨不过去。而解释性知识可以跨过任何障碍，因为它不需要经过一连串可存活的中间形态。这也是为什么，一旦你具备了创造解释性知识的能力，你就能创造任何知识。到此为止了：不存在比这更强大的信息处理方式，也不存在比这更强大的影响世界的方式。

提问者： 有一种抽象的结构，比如利润动机，正在实实在在地毁掉这个星球。你没法指着某一群心怀恶意的行动者，说除掉他们就能越过这道坎。那么，单单拥有政治知识，或者关于气候灾难的知识，怎么就能对抗这种东西？资本背后没有智能，它是一种非智能的、抽象的力量，似乎在相当程度上对我们谈论的这种人文主义知识免疫。这是一种关于系统性作恶的理论……

多伊奇： 我正要回答这个关于系统性恶意的问题，音响就把我掐断了，这是巧合吗？我想你说的这类东西，就是湾区那些人所说的“摩洛克”（Moloch）。它被说成是系统的一种一般性质：系统由其成员的行为叠加而成，却让系统做出成员们并不想要的事。我认为所有这类理论都是错的。长话短说，它们全都假定当事人没有创造力。这种分析总是同一个形式：所有参与者都面临一个抉择，各有所得、各有所失，于是各自最大化自己的局部利益，结果所有人一起掉进深坑。你会注意到，这个故事里，以及每一个摩洛克故事里，人类参与者都只是符号，只是机械地做着这一版摩洛克故事规定他们要做的事。而这从来都不准确。这种局面作为一个问题，可以一时出现，和我们随时面临的其他各种问题一样，没什么特别的。可一旦它被认作一个问题，人们就会琢磨它，开始互相指责对方那样行事，又为自己辩护说“我还能怎么办”，然后人们就会创造性地思考怎样改变局面。于是，山谷里所有本会从水坝受益、却没有一个人愿意掏钱的农民当中，有人站出来，想出一个大家都能支持、都愿意出钱的办法。这本身就是一个创造性的行动，没有人能保证办法会立刻出现。但是，那种认为“靠说服、靠个人权利和财产权来做事的制度，应当被靴子踩人脸的制度取代”的论证是不成立的，因为它假定政府，或者不管是谁在踩，已经拥有那种知识。可如果他们能有，别人也能有。政府不是由哲人王组成的，也不是由什么拥有神授权利、能以不同于常人的方式获取知识的存在组成的。他们也只是人。假如建水坝的知识、建公园的知识，不管故事里说的是什么，假如那知识不存在，那公园就建不起来，直到有人发明出那知识，或者有人想出不要公园也行的办法。

问答：知识增长无终点

提问者： 问题会不会有尽头？我们不断给问题贴上新标签，也许有一天会耗尽太阳的能量，飞向遥远的恒星。知识的增长会不会有一个终点，一个落幕的图景？

多伊奇： 我想不会。如果你接受我的看法，知识的增长就是把问题转化为更好的问题，那么“终极问题”这个想法，一个因为是最好的问题所以再也解决不了的问题，就说不通了，不是吗？当然这整幅图景可能是错的。大体上我是卡尔·波普尔的追随者，波普尔式的看法是：谁想预言知识的增长，谁就处在罪中。这不是原话，是我的转述。我想象不出未来十年会发明出什么物理理论，更不用说未来一百亿年了。但从一般的道理上说，就我们今天所知，没有任何论证或者合理的情形，能够为“问题的终止”提供哪怕一个设想的框架。而且，假如我们把问题用完了，那本身不就是一个问题吗？

提问者： 智慧有时被单独定义。在您的用语里，它和知识是什么关系？

多伊奇： 按我刚才给的定义，以及我试过的其他所有定义，我用“知识”这个词，是想涵盖一切具有那种特殊性质、也就是能解决问题的信息。所以在我的用语里，智慧是知识的一种。而且，各种不同的知识，物理学的、道德的、政治的、艺术的，还有智慧，它们并不是截然分开的。这些只是近似的分类。正如波普尔所说，它们的存在主要是为了方便大学行政人员，好决定不同的人该在哪栋楼里办公，谁该去上哪门课。它们并不对应任何真实的东西，至少其间的界线极其模糊。波普尔还说过，没有什么学科，只有问题。所以要是有人问你，你是哪一科的博士？你应该说：别管那个，这是我正在研究的问题，叫什么学科你自己定。

问答：检验埃弗雷特诠释

提问者： 有没有一种实验，能够检验量子力学的埃弗雷特诠释（Everett interpretation），把它和其他诠释区分开？

多伊奇： 有几种实验。我想我发明了第一个这样的实验，它能把埃弗雷特量子力学和一系列竞争对手区分开，包括一切带有波函数坍缩的理论。有一种可能的实验，如果波函数坍缩，它会得出一种结果；如果波函数，包括观察者在内的波函数，不坍缩，它会得出另一种结果。假如结果是另一种，我会立刻把埃弗雷特诠释扔掉，像扔一块石头。具体的实验取决于你想反驳的是哪一种其他诠释，没有一个实验能一次反驳所有诠释。你得指定一种，比如彭罗斯的想法：当叠加态两边的质量超过大约十的负八次方千克时，波函数坍缩；或者：波函数在碰到有意识的观察者时坍缩。

多伊奇： 假设你要用埃弗雷特诠释去对阵“波函数碰到有意识的观察者就坍缩”这个理论。那你就造一个有意识的观察者，最方便的办法是造一个在量子计算机上运行的 AGI。然后你做一个干涉实验：进行到一半时，计算机的记忆体内部有两条不同的计算轨迹，AGI 可以访问它们。在进行到一半、尚未发生干涉的时候，换成马赫·曾德尔干涉仪的说法，就是光子刚从反射镜上弹回来、还没到达最后那块干涉镜的时候，AGI 测量自己此刻在哪一块镜子上，然后留下一条永久记录，内容是：“我现在已经完成了测量，得到了一个结果，它是左或右两者之中的一个，而且只有一个。我不会透露是哪一个，但我保证它是二者之一。”然后，存放这条声明的那部分被封存起来，其余部分则被施加它思考期间所受哈密顿量的负值，这样一来，它关于自己意识到的是两者中哪一个的全部记忆都被抹掉，接着再做干涉。如果碰到有意识的观察者会导致波函数坍缩，你会得到两种结果各占一半；如果埃弗雷特诠释为真，你只会得到两种结果之一。

多伊奇： 真正的难处在于找到一个能把各种诠释区分开的东西。不过，对于任何一个既认为波函数会被有意识的观察者坍缩、又认为这个 AGI 是有意识的观察者的人来说，这个实验是管用的。如果你认为它不是有意识的观察者，那在我看来，这事就留给你和它自己去掰扯。但如果你坚持观察者必须是人，坚持要在人脑上做相干的量子测量，那我们大概得等上几千年才做得到。不过原则上，这当然是可行的。

多伊奇： 玻姆在我看来属于另一类。玻姆量子力学，就是处于长期否认状态的埃弗雷特量子力学。玻姆诠释的麻烦在于，它满足不了自己的初衷。它有一个导航波（pilot wave），那其实就是波函数；它还有一个代表性的粒子，沿着波函数里的沟槽运动。要做一个玻姆派，你就得在“导航波是不是真实的”这个问题上系统地含糊其辞。如果它是真实的，那它就有正在进行计算的沟槽，原则上包括有意识的观察者的计算，这些沟槽彼此影响，于是你不能说导航波的某些部分不存在，它必须整个都存在，那么埃弗雷特诠释的多重性就原封不动地待在导航波诠释里。而如果你说它不存在，那你就是在说，一个不存在的东西影响了一个存在的东西，这根本说不通。

问答：多宇宙与自由意志

提问者： 接着刚才的讨论。戴维，您在一次访谈里提出过一种可能：意识的“难问题”（hard problem）也许只有从多宇宙的前提出发才可能解决。

多伊奇： 说“从前提出发”倒未必，但显然，如果你把本体论建立在不真实的东西上，你就会遇到麻烦。比方说，如果你说自由意志不可能存在，因为无论牛顿物理学还是哥本哈根诠释都只允许一条轨迹，那你就会从一个错误的前提出发，得出自由意志不存在的结论。如果你把它换成真实的前提，即量子理论为真，那么在这个例子里，与其说量子理论帮你解决了难问题，不如说它清除了解决难问题的障碍。它没有告诉你自由意志是什么，感受质是什么，但它拆掉了那些一击致命的论证，比如“自由意志不可能存在”，比如“除非电子也有感受质，否则感受质不可能与别的东西有任何不同”，等等。你由此打掉了一堆错误的论证。这是一种普遍现象：如果你抱着一个固定的旧理论不肯替换、不肯批评，那就像把一块拼图按在错误的位置上，还用胶水粘死。这会在离那块拼图任意远的地方造成错误。它附近看起来也许没问题，可你永远拼不出整幅图。这就是追求真理为什么有用，至少是原因之一。

提问者： 关于 AGI 与 AI 的区别。您在文章里用波普尔的术语，把它归结为猜想的能力，有时又称之为创造力。这些都是流传很广的通常说法。有没有办法把这些概念磨得更锋利一些，比如联系到量子计算？

多伊奇： 我不认为造 AGI 需要量子计算机。我可能错，但我不认为这是那一类问题。所以我认为，一个有创造力的程序可以在确定性的经典计算机上实现。不过我得马上补充一句：当那台计算机运行的是 AGI 时，管它叫“确定性的”多少有点没抓住要点，因为 AGI 要和世界互动，而世界并不是确定性的，原因之一就是世界是量子的。所以，假如创造力依赖于某种随机性，那随机性到处都是，不管计算机是经典的还是量子的，都是如此。

提问者： 如果多宇宙是真的，那在某些世界里我们摸到的就是黑球。这会不会改变我们对风险的看法，或者至少是感受？

多伊奇： 不会。我再说一遍，我不认为概率是思考知识增长的正确方式，所以那个知识的瓮不是正确的比喻。也许更好的例子是过马路时被车撞，或者更好，去赌场下注。如果你打得一手好牌，你可以安排得让总有一些世界里你成为千万富翁。可从这里引出深刻结论的麻烦在于，关于概率，我们确切知道的一件事是：如果埃弗雷特诠释为真，那么在分析一个随机局面时，正确的分析就是经典的分析。

多伊奇： 至于感受，我会尽量不让我对一件事的心理态度，和我明知在那里的事实发生冲突。比方说，我可能不愿吃一块做成狼蛛形状的糖，但我会对自己说：不，这不是狼蛛，这只是一块糖，我要把它吃掉。你会说，好吧，可你到底感觉如何？我的感觉如果和正确答案不一样，那就没什么意思，那只是我可能犯错的方式罢了。

主持人： 最后一个问题。有哪些问题是您自己也没有答案的？

多伊奇： 既然是最后一个问题，我就允许自己奢侈一回，谈谈我不知道的事。有三件事我不知道，它们可能朝任何一个方向走。第一，道德可以还原为知识，也就是还原为认识论吗？如果不能，道德又能是什么呢？是不是存在一些不容批评的道德公理？那可就是威权主义了。反过来，如果道德可以还原为认识论，这个问题就不会出现，因为我们已经知道怎样不靠基础、不靠权威来建立认识论。多亏波普尔，我们知道了。可接着我又问自己：假如物理定律是另一个样子，就像我刚才提到的那个有希腊众神和恶意的世界，假如恶意真的存在，物理定律真的与我们为敌，那会改变道德吗？眼下我们说，凡是物理的性质，就无所谓道德上的好坏，可在那样一个宇宙里还能这么说吗？我认为那样的物理定律是非道德的，这个想法对吗？还是说这个问题本身就说不通？我不知道。这是第二件。第三，我也在想，这件事和左边那位先生提的问题之间有没有联系：意识、自由意志、感受质、道德价值，这些东西是必然绑在一起的，还是可以分开，或者可以被人为地分开？迄今为止，在这个宇宙里它们总是一起出现，可我们也许能在 AGI 里人为地把它们拆开。我还是认为这不可能，但我给不出滴水不漏的论证。我们只能等，等有人拿出一套关于这些东西的可行理论。所以，每当人们对自由意志、道德价值之类的问题态度激烈，比如杀动物、吃动物是否道德，动物有没有意识，诸如此类，我总有点不安。他们并不知道意识是什么。我们谁都不知道。