Prof. Matthew Liao - Artificial Intelligence and Moral Status

编者按：本文整理自纽约大学一场关于人工智能的研讨会。上一场讨论的是如何让人工智能按人类的意愿行事，这一场则转向人工智能自身的视角：它们有没有道德地位，会不会成为权利主体。发言人为纽约大学 Arthur Zitrin 讲席生命伦理学教授、生命伦理中心主任、《道德哲学杂志》主编廖马修（Matthew Liao），随后是现场问答。本文依据现场录音编译整理，仅删去口语枝节，论证与例证悉数保留。

从对齐转向 AI 的视角

主持人：上一场研讨会讨论的题目多少有些出于我们自身的利益：怎样让人工智能去做我们想让它做的事。现在我们换到人工智能自己的立场上来，问一问人工智能的道德地位：它们有什么权利？道德地位又如何取决于认知能力？第一位讲者是廖马修，纽约大学 Arthur Zitrin 讲席生命伦理学教授，生命伦理中心主任，《道德哲学杂志》主编，也是群体博客「Ethics Etc」的创办人。他关注的哲学问题很广，集中在伦理学、生命伦理学和道德心理学上。今天的题目是「人工智能与道德地位」。

廖马修：几年前我的办公室和尼克·博斯特罗姆（Nick Bostrom）隔壁相邻，我们两个人曾经试着合写一篇论文，题目就是人工智能与道德地位，可惜一直没能写完。所以我很高兴今天有机会把这个题目再往深里想一想。

机器和人工智能正在获得越来越多的能力。我们有「深蓝」在国际象棋上获胜，有「沃森」在智力问答节目里获胜，还有 AlphaGo。其中一些还获得了行动能力，可以四处移动，比如谷歌的自动驾驶汽车。人们也在努力制造能识别情绪的机器，也就是所谓的情感智能。人工智能有朝一日达到人类水平、甚至超过人类水平的可能性，如今正被严肃地讨论，在座的许多人就在讨论它。

随着人工智能获得越来越多的能力，它们会不会获得更高的道德地位，这个问题就变得突出起来。所谓道德地位（moral status），是一个实体所具有的某种身份，它使道德主体有潜在的理由以某种方式对待这个实体。举例来说，猫因为有感知能力而具有某种地位，这种基于感知的道德地位，给了道德主体至少一个初步的（pro tanto）理由，以某种方式对待它，比如不给它造成不必要的痛苦。

那么，人工智能的能力越来越强，它们会有什么样的道德地位？有一天会达到人类水平的道德地位吗？会超过人类吗？要回答这些问题，我们需要一套道德地位的理论。所以我先来勾画这样一套理论。

候选实体与三个约束

廖马修：先列一张清单，看看哪些实体可能具有道德地位，这张清单并不打算穷尽一切。有无生命的物体，比如石头，还有环境；有人类之外的地球生命，植物、动物、细菌等等；有具备完整身体、认知、情感与社会能力的正常人类，也就是正常的成年人；有受损的人类，比如昏迷者、严重智力障碍者；有生命起点上的人类，胎儿和婴儿；有可能存在的未来人类，也就是后代；有已经不在世的人类，也就是死者；还可以谈外星人，假如他们存在的话。最后，我们要把这套理论套用到人工智能和机器人身上。

那么，怎样判定这些实体各自具有什么样的道德地位？这里有几个约束。

第一，我们似乎需要某种客观的、经验的方法。原因在于，一个实体具有什么样的道德地位，似乎没有先验（a priori）的途径可以知道。比方说，我们去火星遇到了某种外星生物，想知道它有什么样的道德地位，看来我们不可能先验地知道答案。要弄清楚，我们至少得用经验的方法去考察它具备哪些属性，再考虑这些属性在规范意义上是否重要，重要到足以让这个外星生物具有某种道德地位。

第二个约束叫做物种中立要求（species neutrality requirement）。意思是，道德地位的标准不应当预先排除任何物种。举一个会预先排除其他物种的标准：「是人类」。以「是人类」为标准，就把其他一切物种都排除在外了，所以「是人类」不满足物种中立的要求。

第三个约束是，这个经验的标准应当建立在实体的内在属性之上。这一点有些争议，不过多数人认为道德地位的确基于实体的内在属性。所谓内在属性，是实体本身内部固有的属性；外在属性，则取决于实体与其他实体之间的关系。举例说，作为道德主体是内在属性，正常的成年人通常都具备；而作为配偶则是外在属性，取决于一个人与另一个人结了婚。假设你的配偶和一个陌生人同时溺水，你当然会基于你们之间的关系更看重你的配偶，先去救她。但在一个方面，你的配偶和那个陌生人仍然具有同等的道德地位，因为他们都是道德主体。

从石头到人的地位阶梯

廖马修：下面是道德地位的一些标准：实体是否活着；是否有意识；是否有感知能力，也就是能否感到疼痛；能否有欲望；是否具备理解因果关系的能力，比如知道做了 X 就会发生 Y，并且能够有意图地促成某件事，也就是理性能力；以及是否具备理解道德理由并据此行动的能力，也就是道德能动性（moral agency）。

接下来，有些实体似乎比另一些实体具有更高的道德地位。把石头和植物放在一起比，植物的道德地位似乎更高，一个明显的解释是植物活着而石头没有。在活着的实体当中，可以说有些又比另一些地位更高。把植物和乌龟放在一起比，乌龟的道德地位似乎更高，解释是乌龟有感知能力而植物没有。最后，在有感知能力的实体当中，可以说又有些比另一些地位更高。拿一个正常的成年人和一只成年乌龟比，人的道德地位似乎高于乌龟，这里的解释大致是：人具有道德能动性，而乌龟没有。这一点我稍后再回来谈。

人类地位的基础与边缘个案

廖马修：现在来说说人类道德地位的基础。人类所具有的那种道德地位，通常叫做权利持有（right holding），人类被称作权利持有者。我们要问的一个问题是：所有人类都是权利持有者吗？一九四八年的《世界人权宣言》说，人人生而自由，在尊严和权利上一律平等。可事实证明，这个主张相当难以辩护。凡是认真考察过它的哲学家，往往要么承认并非所有人类都是权利持有者，要么就采取了彼得·辛格（Peter Singer）所说的物种主义（speciesism）立场：在没有充分理由的情况下，在道德上偏袒某一物种，在这里就是偏袒人类。

为什么会这样？问题在于，似乎找不到一种经验属性能够适用于所有人类。以实际的感知能力为例，有些人类，比如无脑畸形的婴儿或昏迷者，并不具备实际的感知能力。以实际的道德能动性为例，许多人类，包括新生儿，并不具备实际的道德能动性。按照这些关于权利持有的理论，这些人类就不是权利持有者。这就是所谓的边缘个案问题（the problem of marginal cases）。

我在别处论证过，我们可以有一种理论，既不必陷入物种主义，又看起来能让所有人类都成为权利持有者。这个理论说的是：一个实体成为权利持有者的充分条件，是它具备道德能动性的遗传基础，或者更一般地说，物理基础。

我简单勾画一下这个理论。道德能动性的物理基础，是在人类身上生成道德能动性的那一套物理编码。这套物理编码位于人类的基因组里。我们之所以知道这一点，是因为像道德能动性这样复杂的适应性表型，其发育基础需要大量的复杂性，而基因组包含了这种复杂性中相当大的一部分。要具备道德能动性的遗传基础，构成道德能动性的那些基因必须被激活，并且以恰当的方式相互协调。如果一个生物只是在基因组里的某个地方拥有能够构成某种属性的基因，可这些基因要么没有被激活，要么被打乱以致无法恰当地相互协调，那么它就不具备这种属性的遗传基础。

让我把这一点说得更具体些。假设有一本书，里面装着许多随机排列的词，这些词如果组合起来会成为一部莎士比亚的作品。这本书并不是莎士比亚的作品，因为它只是包含了正确的词而已。这些词必须以正确的方式组织和协调起来才行。

我论证过，可以证明所有人类，包括婴儿、重度残障者、处于持续性植物状态的人等等，都具备道德能动性的遗传基础。因此按照我的理论，他们都是权利持有者。而这个理论避开了物种主义，因为如果结果表明大猩猩、黑猩猩和其他动物也具备道德能动性的遗传基础，或者更一般地说物理基础，那它们同样是权利持有者。

我还要补充一句，这个理论与关于堕胎的宽容立场是相容的。我们可以跟随朱迪斯·贾维斯·汤姆森（Judith Jarvis Thomson）说：即使胎儿是权利持有者，女性仍然有权决定她身体内部发生的事，也就是说，她有身体完整（bodily integrity）的权利。

权利持有的功能，套用到 AI

廖马修：再说这个理论的另一个特征，即权利持有的功能（the function of right holding）。它是说：当权利持有者的利益与非权利持有者的同类利益，也就是可比的利益发生冲突时，应当由权利持有者的利益占上风。举个例子，假设你只能在保住一只乌龟的一条腿和保住一个人的一条腿之间选择。乌龟保住腿的利益和人保住腿的利益看起来是可比的。权利持有的功能说，你应当保住人的腿，这看起来是正确的判断。

现在来考虑人工智能可以具有什么样的道德地位。人工智能活着吗？有意识吗？有感知能力吗？能感到疼痛吗？能有欲望吗？具备理性能动性吗？具备道德能动性吗？如果一个人工智能能够获得其中一部分或全部能力，它就会获得与这些内在属性各自相应的那种道德地位。

我们想弄清的问题之一，是人工智能能否具有人类水平的道德地位。我认为有一条途径可以让人工智能达到人类水平的道德地位：只要它具备道德能动性的物理基础，这就足够了。这直接来自我关于权利持有的理论。同样地，这个物理基础必须是激活的，并且以正确的方式相互协调。这些物理编码随便散落在什么地方是不够的，它们必须被激活，而且是以正确的方式。

智力与道德再高也不抬升地位

廖马修：接下来还有一个问题：人工智能能否具有超过人类水平的道德地位？我认为答案是「可能」。但我想论证的是，即便这是真的，它也不会来自对我们现有道德地位标准的延伸，比如理性或道德能动性。让我解释为什么。

先看理性能动性。假设有两个人，一个叫「聪明」，智力高于平均，比方说智商一百五十；另一个叫「普通」，智力处于平均水平，比方说智商一百。尽管「聪明」比「普通」聪明得多，我们似乎仍会说两人具有同等的道德地位，都是权利持有者。假如两人同时溺水，我们大概应该掷硬币决定，而不会认为必须去救「聪明」，也不会认为救了「普通」就做了道德上不允许的事。

现在假设有一个人异常聪明，智商三百五十，另一边仍然是「普通」。我们似乎还是不会认为就应当去救那个异常聪明的人。如果是这样，那么一个人工智能即便也异常聪明，比方说智商三百五十，我们似乎也不会说它单凭特别聪明就具有更高的道德地位。它们的道德地位是同一种，尽管智力水平不同。

道德能动性又如何呢？我的理论说道德能动性非常重要，于是你可能会想：如果某个人特别有道德呢？如果我们把道德能动性放大呢？我同样不认为这会改变两个人是否都是权利持有者，或者让他们具有不同的道德地位。设想乔具有平均水平的道德能动性，特蕾莎具有异常的道德能动性。我们不会认为在紧急情况下就必须永远先救特蕾莎而不救乔，也不会认为救乔是不允许的。同样的推理可以用到人工智能上，可以设想具有异常道德能动性的人工智能，我们仍然会说它们的道德地位是同等的。

由此得出的结论是：如果人工智能要具有超过人类的道德地位（我不是说这不可能），那它必须来自别的地方，来自某种别的、在规范意义上重要的属性。

通往人工道德智能的两条路

廖马修：最后我想谈谈怎样才能造出人工道德智能（artificial moral intelligence）。这是关于未来的话题。关于自动驾驶汽车我也有话要说，但今天只聚焦在未来的人工道德智能上。我认为有两条路：渐进替换和编码。

渐进替换已经有很多人谈过，我简短说一下。基本想法是，把一个人的大脑逐个神经元地替换成无机的替代物。假定意识得以维持，这是一个很大的假定，因为当你替换神经元时，意识会不会在某一刻就消失了，这是一个巨大的问题。但在作出这个大假定的前提下，假设替换后的生物存活了下来，那么它似乎就是一个具备人工道德智能的实体。这是获得人工道德智能的一条路。

另一条路是编码。许多人在谈为人工智能编写道德，无论是自上而下还是自下而上，他们谈的都是把后果主义、义务论、德性伦理这些道德理论编码进人工智能。我认为这行不通。这些原则和规范太具体，层次也太高，我们没法把它们编码进人工智能，尤其是因为这样的规范实在太多，要把所有规则统统写进去看起来是不可能的。

普遍道德语法与道德理解

廖马修：所以我想提一个不同的方案，它建立在道德心理学关于普遍道德语法（universal moral grammar）的研究之上。这个想法是说，人的心智可能配备了一套普遍道德语法，让身处不同文化的每一个人都能够无意识地、自动地评价无穷多样的行为，并生成对错之类的道德评价。这个想法来自约翰·罗尔斯（John Rawls）和约翰·米凯尔（John Mikhail），他们借鉴的是乔姆斯基的工作。道德官能的运作方式是这样的：它拥有一般领域的认知机制，基于行动者、意图、信念、行动、承受者、后果、道德评价等变量，生成对行为的表征；然后由某些认知机制，比如道德官能本身，把这些表征组合起来，生成「不允许」「允许」之类的道德判断。我刚刚出版了一本书叫《道德的大脑》（Moral Brains），里面讨论了很多这方面的话题，有兴趣可以看看。

这里的想法是，也许我们可以借鉴普遍道德语法，构造某种人工道德语法。我们需要的是能够表征上述各种变量的代码，再把这些表征组合起来，生成道德判断。

还有一点：我认为真正的人工道德智能必须能够理解，为什么某个行为在道德上是对的或错的。也就是说，判断我们是否成功的标准，是它们能否理解一个行为为什么对或错，光是知道一大堆道德命题是不够的。所以我认为，人工道德智能的圣杯将是道德理解（moral understanding）。

总结一下：当人工智能具备道德能动性的物理基础时，它就能达到人类水平的道德地位；要具有超过人类水平的道德地位，人工智能需要获得理性能动性和道德能动性之外的某种其他在规范意义上重要的能力；而真正的人工道德智能，将具备道德理解的能力。谢谢大家。

问答：堕胎与希特勒

现场提问者：您在演讲前半部分定义的术语，特别是道德能动性，我对您举的一个例子有些困惑。我知道这对很多人来说是个敏感话题，但希望您能从术语上处理一下。按照您的主张，未出生的孩子具备道德能动性的遗传或物理基础，因为他有自己的遗传编码。那么您怎么为堕胎辩护？女性的身体完整权是否压过了未出生孩子的道德地位？

廖马修：是的，我认为压过了。我想我已经说到了这一点：女性拥有身体完整的权利。我在别处对人权有整套讨论，我认为身体完整是从事基本活动的根本条件，所以她们对此拥有权利，理由就在这里。

布鲁斯·加夫萨：我是布鲁斯·加夫萨。我注意到您几乎是把有人溺水时我们会作的区分当成了公理来陈述。也许屋里只有我一个人这么想，但我很难接受这条公理：我们不会说先救特蕾莎修女而不救那个男孩，或者宁可让阿道夫·希特勒淹死也要救那个男孩？希望您能就这一点多说几句。另外，如果您愿意，也可以说说您本来打算讲的自动驾驶汽车。

廖马修：自动驾驶汽车我想留到另一场报告里讲。至于希特勒之类，如果一个人做了道德上错误的事，关于应得（desert）有各种不同的理论。我的主张可以理解为一个「其他条件相同」的主张：如果说的是两个陌生人，看来你应当掷硬币；如果其中一个只是更聪明一些，比方说两个病人进了急诊室，你不会说「看看哪个更聪明，先救那个」，那看起来是完全错误的。不过这一点上确实存在分歧。如果你是后果主义者，你可能会认为，只要我们能分辨出来，就真该先救更聪明的那个。我不同意，但我承认你说的这里确实有问题。

问答：经验方法与先验前提

保罗：谢谢马修，讲得很好。我想问的是，您说判定道德地位的方法必须是经验的，给出的理由是必须用经验的方法弄清一个有机体或生物具备哪些属性。当然，这里有两个问题：它们具备哪些属性，以及在它们具备这些属性的前提下，这些属性在道德上有什么相关性。在我看来后面这一部分必须是先验的，我不知道有什么后验的办法能做到。您的意思是两者都包括在内吗？

廖马修：是的，两者都包括。我只是想说它部分地必须是经验的，这是一项部分经验的探究，至少得去看它们具备哪些属性，这是经验问题。而那个条件句，「如果它们具备这些属性，那么它们就具有道德地位」，大概是先验的。

保罗：是这样吗？

廖马修：没错，没错。你需要一个规范前提，而那个规范前提是先验的。谢谢保罗把这一点说清楚。

现场提问者：如果您采用语言与道德之间的类比，那么在尝试编写一套普遍道德语法时，您认为会遇到哪些与编写语言程序相类似的障碍？

廖马修：我也不知道。我真希望斯蒂芬·沃尔夫勒姆（Stephen Wolfram）在场，他可以回答这个问题。我是指望斯蒂芬这样的人替我解决这个难题。不过总的想法是，我们需要在一个低得多的层次上操作。关于价值对齐、最大化之类的整套讨论，已经承载了太多理论，太多东西。在那一切之前，还有更基本的东西。所以这甚至不是自下而上的路径，而是「自下而上之前」的路径：道德官能就是我们看待世界的方式，我们看见道德属性和道德价值，比如伤害、人格之类，然后有某种机制把这些不同的东西组合起来并加以权衡。看来这才是该走的路。至于这些人工道德主体会怎样作决定，那是另一个问题。也许它们因为掌握更多信息而作出比我们更好的决定，也许更糟，这是个开放的问题，我对此没有说什么。但我确实想对在座的人工智能研究者说一句：这个方向是可以探索的，而且可能大有收获。

问答：无 DNA 实体与优先性边界

现场提问者：您非常强调物质基础，这在我看来有些奇怪。几百年前的人类显然不具备我们今天的道德发展水平，尽管他们的 DNA 几乎完全相同。您也可能遇到形态十分怪异的生物，或者虚拟实体，它们根本没有 DNA，也没有办法据此评估，可它们可能是极其复杂的人工智能。

廖马修：谢谢，我同意。正因为如此，这个理论更一般的表述是道德能动性的物理基础，这样它才能容纳人工智能。只不过碰巧我们所知的一切生物都有遗传编码，但未来这一点可能改变。如果真是那样，这些其他实体同样可以具备道德能动性。

现场提问者：非常感谢。我想，区分道德身份（moral standing）与价值这两个概念也许有用。道德身份让你进入权利持有者这个范畴，然后你可以说，无论你的智力或其他方面的价值如何，你都应当像其他所有权利持有者一样享有权利。但我不确定您是否想说权利持有者总是享有优先权。哪怕是一个义务论者，恐怕也愿意承认，有时牺牲人类的一点小利益，如果确实能大幅减少动物的痛苦，那在道德上是一件好事。所以即便是义务论者，也不必认为这里只有「身份」这一个概念在起作用，而且必须像您建议的那样分等级。我们可以把它当作获得某些道德考量、被追究责任之类的资格，但不希望它成为一道屏障，使我们对其他物种造成的一切，在面对人类利益甚至基于行动自由之类的人类主张时被完全忽视。

廖马修：这完全正确。所以我在定义道德地位时谈的是初步的（pro tanto）考量，它只是一个理由，其他条件相同意义上的理由。另一件事是，我谈权利持有的功能时，说的是利益必须是可比的。如果只是你的一点小利益，比如你的茶要凉了，而那边有一只猫正要被车碾过，看来你可以去救那只猫，因为这两种利益不可比。这一点上我完全同意。它没有词典式的优先性（lexical priority），不是一张王牌。「权利持有者享有优先权」这条一般原则，是在利益可比时的一个初步理由，一个表面上的（prima facie）理由，而不是一个通盘考虑之后的（all things considered）理由。

现场提问者：如果我理解正确，您是在论证一个实体是否为权利持有者，可以根据它成为道德主体的潜能来理解。那么人工智能本身是不是道德主体，从而是与生命体平等的权利持有者？再结合您的第二个观点，即道德智能平均水平的人与道德智能异常的人地位平等，那么一个道德智能很低的人工智能，也可以与一个道德极其卓越的人类具有同等的道德地位吗？

廖马修：能否再说一遍，人工智能是不是道德主体？

现场提问者：对。按照您的定义，它是不是与人类同等地位的权利持有者？

廖马修：如果人工智能具备道德能动性的物理基础，它们就可以是道德主体，没有什么妨碍它们具备道德能动性。至于程度，我认为道德地位存在某种层级。这一点尚未展开，但我倾向于认为道德能动性的价值高于理性能动性。设想一边是你，另一边是一个极其聪明、专门制造回形针的生物，我该救哪一个？看来我应该救你，而不是那个超级智能的回形针制造者。如果是这样，那道德能动性似乎就具有某种压倒理性能动性的价值。不过这是有争议的。