Robot morality and moral machines. Colin Allen

编者按：本文是美国哲学家科林·艾伦（Colin Allen）的一场公开讲座实录。艾伦兼治动物认知、心智哲学与人工智能伦理，时任印第安纳大学教授，此次讲座围绕他与耶鲁大学生物伦理中心的温德尔·瓦拉赫（Wendell Wallach）合著的新书《道德机器》（Moral Machines）展开，由主持人菲利普引介开场。全文依据现场录音编译整理，仅删去口语枝节与重复，论证、例证与关键细节均予保留。

开场：跨学科哲学家的新书

主持人：我对今天这场讲座期待已久。科林是少数真正把跨学科研究做成了的哲学家：他兼具哲学、生物学、认知科学与神经科学的功底，能够如他自己所说，从各个角度帮助我们理解心灵。许多哲学家会朝神经科学挥挥手，许多神经科学家也会朝哲学挥挥手，生物学家则同时朝哲学和神经科学挥手，可真要把这些知识融会贯通，既懂得足够多，又足够聪明到能把所有信息整合起来，是极难做到的。今天科林要讲的题目非常有意思，也许眼下还不算贴近我们的生活，但在未来几十年里很可能变得切身相关。他将介绍他的新书《机器人的道德》。接下来的四十五分钟，有请科林·艾伦。

艾伦：谢谢菲利普。也感谢各位在周六上午赶来。我很高兴能在这里介绍这个项目，以及这本我与耶鲁大学生物伦理中心的温德尔·瓦拉赫合著的《道德机器》。

阿西莫夫三定律只是情节装置

艾伦：每当我们提起自己在做什么，这个项目总会引出各种各样的疑问，也常常惹人不快。我们最常听到的第一个问题是：阿西莫夫不是早就给出答案了吗？熟悉科幻小说的人都知道阿西莫夫的机器人三定律。事实上，对于「如何让机器合乎道德地行事」这个问题，这个答案已经出现在某些正式的政府行动里了。韩国政府向来想在一切技术领域走在前面，几年前宣布要为机器人制定一部伦理准则，并且明确表示将从阿西莫夫定律中汲取灵感。韩国信息通信部的官员朴海永（Park Hae-young）还说过这样一句话：想象一下，如果有人把人形机器人当作自己的妻子来对待，会是什么情形。这里透着一种道德义愤的意味，但这句话本身太含糊，我不打算深究。

那么，阿西莫夫究竟解决了这个问题没有？他最早提出机器人三定律，是在1941年写成、1942年发表的小说《转圈圈》（Runaround）里。从这个故事看得很清楚，阿西莫夫把三定律当作一种情节装置，一种用来制造难题与悖论的手段。故事的情境是这样的：两名宇航员被困在一颗环境恶劣的行星上，他们离开这颗星球所需的物资，人类无法靠近，于是他们命令机器人去取。第二定律说，机器人必须服从人类。机器人朝着物资所在的地点走去，途中意识到再往前走就会被毁掉，这违反第三定律。可第二定律要它照命令行事。而第一定律，也就是防止人类受到伤害，同样要求它去把东西拿回来，否则这两个人就会困死在那里。它怎么办？它陷入了死循环。它转起了圈圈，绕着那些东西一圈一圈地转，哪里也去不了，两名宇航员只能站在一旁，看着它围着他们逃生所需的物资打转。

所以这显然是一种情节装置。而且，要制造这类难题，甚至用不着三条定律，单是第一定律就够了。凡上过伦理学入门课的人都知道，哲学家最爱给学生出这种题：无论你怎么做，总有人要受害。经典的电车难题就是如此：一列火车正朝轨道上的五个人冲去，你可以用某种办法让它改道或者停下，但这样会撞死另一个人，一个而不是五个，你怎么选？很明显，单凭第一定律无法帮你解决这种局面。后来阿西莫夫又加了一条第零定律：机器人不得伤害人类整体，或因不作为而使人类整体受到伤害。这只是让问题成倍增加。

从科幻到现实：无人机与人形机器人

艾伦：有人会说，这不过是小说而已。当然，这一直是许多小说反复采用的母题，而且人们描述这些问题、描述机器人技术走向的方式，有许多确实让它听上去像是虚构。《太空堡垒卡拉狄加》的影迷会认出这幅图，这是剧中的一种人工智能战斗机。那的确是虚构，我们眼下还没有任何东西接近那种精密程度。但这一幅就不是科幻了。这是美军的「死神」（Reaper），也就是「捕食者」无人机的第二代，目前由内华达州拉斯维加斯的一个基地远程操控，飞一架至少要四个人。军方正积极设法用软件取代这些人。他们目前声称的目的是用于训练：培训一名新手飞行员的成本极高，因为另外三个座位得由三位专家来填，他们希望由软件接手这些角色，好让培训更快、更省钱。可是，如果你已经有了能驾驶模拟器的软件，那离能驾驶真机的软件也就不远了。人们还有一种迷思，以为在任何开火决定上，人类都会始终留在决策环节里。但军事专家已经开始承认，事实并非如此，这些东西将来会在外面执行任务，而人类不可能时时刻刻全面监督它们的一举一动。

同样，我们会想到《终结者》，那是科幻。可事实上，好几个地方的人正在研制人形机器人，只不过多半是服务性质的。这是本田的阿西莫（ASIMO）。在日本的语境里，它被设想为一种你会想放在家里的东西，尤其是放在老年人身边，因为日本的年轻人不够多，照顾不过来老人。用机器人替代护理人员，是日本机器人研究一个明确宣示的目标。

我想强调的是，我并不认为这是十五年、二十年之后才会变得切身的事，它此刻就已经切身了。我们正在把这些东西带进自己的日常生活。而且这不只关乎杀人机器，也关乎非常琐碎的事情。我们固然不会养一条需要训练大小便的机器狗，但确实有公司在设想让我们同机器狗建立情感上的、投入的关系。这是索尼的爱宝（AIBO），几年前已经停产，不过我想它还会回来。如今这东西在eBay上的价格，比当年零售时还贵。

看不见的软件bot已在做决定

艾伦：而且，这还不只是硬件机器人，也包括软件bot。我们所处的环境已经是这样：每次你刷信用卡消费，都是某台机器在决定批不批准这笔交易，没有任何人在直接监管。如果你不满意这个决定，可以打电话，运气好的话能和一个真人说上话，但那个人同样盯着一块电脑屏幕，按屏幕上显示的内容行事。那个程序即使没有直接指挥，也在左右这个人能替你做出什么决定。此外还有许多领域，这类被称作bot而非robot的软件已经就位。比如关键系统的维护调度：这里左上角是军事应用，用于军用装备的维护，但同样的东西也用在电网等系统上。「赌注天使」（Bet Angel）据说能帮你赌马赚钱，有趣的是他们把它包装成一位天使。「电子机器人」（ebots）则是一种交易软件，替你做买卖决定。这类软件使用极广，而且常被认为在一定程度上加剧了市场的不稳定，因为它们决策极快，事情的发生速度远超市场设计时的预期，市场本来是按人类的决策速度设计的。

所以，在所有这些正在积极开发和部署的东西当中（是现在，不是未来），我们已经有了许多做买卖、做信贷审批的软件代理或bot。我们还有一批伦理咨询系统，专门设计来帮助医务人员就病人权利和职业伦理做决定，有人正在开发这类系统，此外还有面向重症监护的分诊系统。所以，虽然我口头上说的是机器人，我其实想把bot也包括进来。只是机器人更上镜，所以你们看到的都是机器人的照片。软件很难拍出照片来。

从伦理盲到功能性道德

艾伦：当我们提起道德机器，或者我们简称为AMA的人工道德主体（artificial moral agents）这个话题时，还会遇到另一种反应：机器人不可能真的有道德吧？它们只是照吩咐办事，没有任何决策能力，也没有意识，凡是我们认为对自己重要的那些东西，它们一样都没有。我愿意承认，完整的、人类水平的道德主体性也许要等二十年、五十年乃至一百五十年之后。就这一点而言，我们谈的不是科幻，那种系统不是我心里想的东西。我心里想的是我们已经看到的那些系统：它们在自主性这根轴上不断上移，越来越多的决定不再需要人类直接介入。你也许会说，那不是真正的自主，它们没有自由意志。好吧，我不在乎这一点。要害在于，它们已经在外面做决定了，这些决定以或好或坏的方式影响着我们的生活。而这些系统总体上处于我所说的「伦理盲」（ethically blind）或者伦理迟钝的状态，也就是在横轴上靠左的那一端。

所以，在我看来，挑战在于把这些系统朝伦理敏感的方向推进：让它们能够觉察，也就是能够处理关于那些在道德上、伦理上、在福祉意义上对我们至关重要的事情的信息。在推进的过程中，你首先会希望程序员能预见到机器人将遇到的一切情形。可这是不可能的，因为我们将把这些东西投放到越来越开放的环境里，不可能把将会遇到的每一种情况都预先想到。于是就要从一种「运行性道德」（operational morality），即一切都由程序员预先写死，走向我们所说的「功能性道德」（functional morality），即机器自身就装有能处理相关信息并据此行动的系统。我们认为，功能性道德是未来十到十五年内可以实现的事。至于道德主体性，那就不好说了。我的合著者温德尔认为我们也许永远做不到。我看不出原则上有什么理由做不到，但我也认为，这方面存在大量夸大其词的乐观。

启动这个项目、写这本书的时候，我其实受到了罗莎琳德·皮卡德（Rosalind Picard）一句话的启发，她主持麻省理工学院的情感计算实验室，这句话出自她大约十二年前的书：机器的自由越大，它就越需要道德标准。这话是什么意思？我们该怎么做到？还有一件事很耐人寻味。你们有些人也许看过彼得·W·辛格（Peter W. Singer）的书，不是那位著名的澳大利亚伦理学家彼得·辛格，而是另一位在美国几乎同样有名的彼得·辛格。他的《为战争接线》（Wired for War）几个月前出版，轰动一时。奇怪的是，这本书通篇谈战争伦理，却只字未提让系统自身装载伦理引导系统这件事。而我们接下来会看到，已经有人在做这件事了。

谁的标准？军方的冷血机器人设想

艾伦：这个项目和这本书引出的另一个问题是：我们究竟要实现谁的标准？这当然是个很难的问题。但我认为，人们很容易像哲学课上常见的那样，一上来就盯着所有的疑难案例，却没有意识到其实还有大量容易的案例。有一些行为标准即便不是普世的，至少也得到了广泛认同，这似乎是一个不错的起点。问题在于我们如何获得这些标准。詹姆斯·吉普斯（James Gips）是最早撰文讨论机器道德或机器人道德起源的人之一，他画过一幅相当简单化的漫画，我很喜欢，恰恰因为事情显然没有这么简单。

那我们现在该怎么办？我提到过，军方圈子对这个话题非常认真。美国佐治亚理工学院的罗纳德·阿金（Ronald Arkin）教授，最近一个月左右也出了一本书，你们可以看出这眼下是个热门话题，书名是《管束自主机器人的致命行为》。他是一位机器人学家，拿着美国军方的经费，为军用机器人研制机载伦理引导系统。阿金的观点里有很多我其实是赞同的，但也有些地方我觉得相当天真。这段话出自与该书同名的技术报告，我想书里也有：在战争迷雾之中，可以预期未来的自主机器人也许能比人类表现得更好，因为它们在设计上可以没有情绪，不会被情绪蒙蔽判断，也不会因战场上的事态而愤怒沮丧。意思是，人会发怒，发怒之后就干坏事；而机器人不会发怒，它们将是冷血的杀手，可正因为如此，我们反而可以指望它们表现得更好。

情绪是双刃剑，伦理不是套规则

艾伦：我认为这种想法天真，因为我确实认为我们的情绪是一件双刃的东西，沿用军事的比喻，是一把双刃剑。士兵会发怒，这在某些情形下恰恰让他们打得更好。而且我认为世上确有所谓义愤，它在维护正义方面起着极其重要的作用：你对不义感到愤怒，正是这种愤怒驱使你去做点什么。所以在我看来，情绪的好用处和坏用处能否一刀切开，并不清楚。但这一点给我们凸显了一件事：人类的伦理决策不只是遵循一套干巴巴的规则，而是要以某种方式真正投入到眼前的情境之中。

自上而下进路与框架问题

艾伦：现在请你们想象一下，或者说像我们在书里所做的那样，由我来想象：我作为哲学家坐在办公室里，进来一位工程师，说，上面让我造一台合乎伦理地行事的机器人，我该怎么办？大多数哲学家的第一反应，多半是开始滔滔不绝地讲某种伦理理论，也就是采取我们所说的「自上而下」（top-down）的进路：从我们现有的最好的理论出发。这里用杰里米·边沁的功利主义来举例，当然，在座的哲学家都知道它有许多精细化的版本，还有伊曼努尔·康德的义务论，也就是以权利或义务为基础的观点。然后去考虑如何实现一个遵循这些理论所规定的准则的系统。出于时间关系，我没法展开讲，问答环节可以再谈，但这条路问题成堆。

我只说一个，而且在这点时间里也没法把它讲透，那就是计算机科学家所说的「框架问题」（frame problem）：要计算这些理论中的某一个是否被正确地应用，潜在需要考虑的东西实在太多，以至于在现实可用的时间内根本不可能算完。计算开销之所以巨大，一个原因是你得了解你所影响的那些人的心理。伦理说到底是对他人的关切，我做的事会不会让别人不快，是要紧的，而要知道我是否惹你不快，是否违背了你的某个愿望，或者你认为在道德上相关的任何其他东西，都需要对人类心理有某种深入的理解。此外，你还得知道行动在世界上会产生什么后果。功利主义的经典表述是为最大多数人谋最大幸福，可行动会产生涟漪效应，无限延续下去，你也许不得不一路算到遥远的未来，才能知道这是否真是最好的做法。还有一个始终存在的问题，就是你何时才知道自己可以开始计算了：你收集到的信息够不够做决定了？买车之类的事我们都有体会，那不是道德决定，可你照样能花上几个星期，反复琢磨自己了解得是否已经足够多，可以拍板了。当你试图用一种非常形式化的自上而下进路来做伦理决策时，同样的问题就冒出来了。

自下而上：学习、演化与情绪模型

艾伦：另一条路是某种「自下而上」（bottom-up）的进路，我前面已经有所暗示，这里再多说几句。一个想法是，我们也许可以设计会学习的机器。这在人工智能领域其实是个很老的想法。艾伦·图灵在他1950年那篇开创性的文章《机器能思考吗》里就说过，也许我们应该造一个儿童机器人，让它像正常人一样成长发育，而不是试图从零开始造出一个成人。这正是我这里展示的几张日本机器人项目照片所做的事。另一种办法是，与其让系统学习，不如让系统演化：在人工演化中，以计算机作为环境，按某种标准挑选出表现更好的那些，再从那里往上累积。我还提到过情绪。也许我们需要的系统并不是靠计算去应用某种理论，而是拥有恰当的情绪反应。这里我要小心一点，因为我已经承认过它们也许没有真正的情绪，但我们可以给这类情绪建模。这方面有大量工作正在进行：如何让机器表现得仿佛拥有情绪，并以此来引导行为。

我在印第安纳大学的同事马蒂亚斯·肖伊茨（Matthias Scheutz）正在研究会违抗命令的机器人。他发现，在某些情形下，人们能够容忍机器违抗直接命令。让人们容忍这种机器的因素有几个。一个是，人们觉得机器人在以某种方式同你合作，朝着某个更远的目标努力。即便它拒绝了你认为必须执行的某条具体命令，只要你能看出它改做的事仍然服务于那个目标，你就会容忍它。另一件事是，他的实验用的是真实的硬件机器人，随着情况越来越紧急，他让机器人提高嗓门，说「我现在必须这么做，我现在必须这么做」。机器人警告你几次之后终于动手，人们也就接受了，因为机器人身上表现出了情绪的样子。你可以说这是个卑鄙的把戏，但它管用。它再次指向了我们那种社会性的互动方式，而这正是自下而上进路所强调的。

混合进路与现有研究版图

艾伦：不过我们认为，你需要的是某种混合进路。毕竟，我们在事后能够反思，当时看起来对的事，我们是否真该照做。因此，我们需要的人工道德主体，既要保持自下而上系统那种动态、灵活的道德，能容纳各种各样的输入，又要用自上而下的原则来评估这些行动，或许还能依据这些原则来解释自己做出的决定。但话说回来，就目前而言，我们即便没有完全进入所谓的科幻长远领域，也已经接近边缘了，就实际系统而言，这些还只是我们在摸索的东西。

那么我们眼下究竟走到了哪一步？我不会逐个细讲，但书中考察了不少项目，它们正尝试把某种伦理推理或决策能力构建到机器里，采用的方法五花八门：有的用逻辑，用道义逻辑（deontic logic）；有的像MedEthEx系统那样，采用医学伦理中广受认可的一些原则；还有人工神经网络、基于主体的建模（agent-based modeling）。这些术语我没时间一一解释，但总之人们在从各种不同的方向着手。与此同时，还有另一批人在研究我们可以构建到机器人身上的那种情感的、具身的、情绪性的反应。这两个群体才刚刚开始走到一起，彼此大致知道对方在做什么，但还没有人把这些零件拼到一起。不过我认为，看到这一切拼合起来，并不需要等太久。

事实上，我最近参加答辩委员会的一位学生做过一个实验：在屏幕上呈现一位医疗病人，向被试（假定为医生）吐露某件隐私，然后问被试，你会把这件事告诉病人的配偶吗？结果发现，这个人物的长相和动作，会影响人们是否表示愿意告诉配偶。有趣的是，这对男性被试的影响大于女性被试。由此可见，伦理决策与bot、机器人、软件虚拟系统的所谓呈现层面，正在以各种方式汇合到一起。

为何叫不停：军事逻辑与情感依恋

艾伦：还有一个问题：这一切太可怕了，简直不敢想，我们为什么不干脆叫停？我们真的想要这些东西吗？我接下来的话会显得有点宿命论：我认为，现在再问这个问题几乎已经太晚了。我们已经有了朝这个方向走的东西。当然，事情从来不会真的太晚，但你等得越久，就越难办。所以，如果我说得谨慎一点，我不会说它不可避免，但就实际而言，它也许就是不可避免的。

这背后的逻辑，部分是由军事驱动的，比如美国陆军的武装机器人车辆，也就是「未来作战系统」网页上的东西。我截图之后他们已经改版了，但那些内容还在。他们正在研制越来越好、越来越强的无人机。这是他们下一款自主飞行器的原型，图上放了一枚美国一美分硬币作比例，可见它相当小，但它同样具备侦察能力，可能还有某些防御或进攻能力。这里的逻辑再清楚不过：士兵会死，如果能用机器人替代他们，那看起来就是件好事。iRobot公司是罗德尼·布鲁克斯（Rodney Brooks）从麻省理工学院分拆出来的企业，产品从机器人吸尘器Roomba到军用机器人PackBot都有。这里引用的是美国海军陆战队一位一等兵的话：「我相信你们今天救了人命。」这位陆战队员的故事很有意思。他当时在伊拉克，他们用一台PackBot探测地雷和简易爆炸装置，结果PackBot被炸毁了。他们给这台PackBot起名叫史酷比。事后他写信给公司的首席执行官，说，请把史酷比修好，它救了我的命。我们在这里看到的是，人会同外形一点也不像人的机器建立感情。他对这个东西真的产生了依恋。

当然，这条路上会有起有落。我前面提到日本大力推动机器人进入养老护理，2007年的一则报道说，一些初期实验并不完全成功。路透社这篇报道的标题是「在老龄化的日本，机器人让老人们兴味索然」。我最喜欢结尾那句话，一位老太太冷冷地说：毛绒玩具更受欢迎。但这些只是有待解决的技术问题，依恋的程度，互动的程度。何况我们眼下面对的这一代老人，成长过程中没有短信，也没有其他种种电子玩意儿。等到今天这一代人到了那个年纪，我想他们对互动设备的兴趣会远远超过毛绒玩具。

真正的担忧与造物照见自身

艾伦：最后两三张幻灯片，然后我很乐意回答各位的问题。我们该担心什么？我认为不是机器人接管世界这种担忧。几年前有本很有意思的书，写得很幽默，叫《如何在机器人起义中活下来》，书里满是这样的主意：机器人来抓你了，就往楼上跑。机器人在物理环境中的活动确实存在难题，但这些难题正在被解决。我建议各位上YouTube看看「大狗」（BigDog）机器人，你们会惊讶于它在极其崎岖的地形上有多灵活，甚至能在冰面上背着重物保持平衡。这些问题都会解决。但我认为，比起机器人接管世界，我们有的是时间去阻止那个，有一些更紧迫的忧虑。

其一，正如开场介绍里提到的，这些机器做出的粗糙伦理评估可能酿成大规模灾难。它们对该敏感的东西并不敏感，只对其中一部分敏感。你可以想象一起枪击事件之类的事故，因为情境没有被恰当地纳入考虑。这里还有一个大问题，就是人类自主性的削弱：当我们依赖这些机器替我们做决定，或者引导我们的决定时，我们究竟在对自己做什么？此外还有意料之外的后果。那位韩国部里的官员并没有离谱到哪里去，他担心的正是人们开始把机器人当作配偶会发生什么。事实上，大卫·利维（David Levy）最近就出了一本书，他的整篇博士论文写的就是与机器人正式结婚、建立伴侣关系，我认为这仍属科幻。但凡是关注过技术与色情产业如何相互作用的人都知道，色情从一开始就在驱动技术，甚至早在电话出现之前的传真机时代就是如此。所以，这类东西也正在被迅速推进。

最后，我想留给各位一个问题，这是我的倒数第二张幻灯片：创造机器人这项事业，说明了我们自己什么？我们眼下的处境是，我们不再通过观察动物，把它们作为自然界中与我们最相似的存在来对照着理解自己，而是在按自己的形象创造东西。将来，与我们最相似的将是这些造物。我们的本性或心理中有某种东西驱使我们去做这件事，这本身就很耐人寻味，它是一种自我理解的行动。我们在书里提出，思考如何建造道德机器这整个课题，实际上迫使我们认真地想一想：有道德究竟意味着什么，合乎伦理究竟意味着什么，伦理理论又扮演着什么角色。

结束之前，我邀请各位去看看我们的博客，moralmachines.blogspot.com，我们在那里跟踪这个领域的最新进展。你们可以在那里进一步了解这本书，读到其中几章，也欢迎留言评论。非常感谢。