Eric Schwitzgebel: Would you shut off a robot who might be conscious?

编者按：本文整理自加州大学河滨分校哲学教授埃里克·施维茨格贝尔（Eric Schwitzgebel）的一场公开讲座。施维茨格贝尔长期研究意识哲学与道德心理学，其博客 The Splintered Mind 在哲学界影响广泛；讲座中的相当一部分内容，是他与前博士生玛拉·加尔萨（Mara Garza）合作完成的。讲座结束后，组织方主持人致谢并停止录制，随后进入不对外公开的问答环节。以下文字依据现场录音编译整理，仅删去口语枝节与重复，论证与例证悉数保留。

可能有意识的 AI 该不该关

施维茨格贝尔：你会不会关掉一台可能有意识的人工智能？这是驱动今天这场讲座的核心问题，不过我们得一步步铺垫，才能走到它跟前。先说明一句，这些材料中有相当一部分，是我和前博士生玛拉·加尔萨合作完成的。

我们也许很快就会造出一台配得上权利的人工智能机器，那将是一件道德分量极重的事。在往下讲之前，请注意我用的词：「也许」很快造出，「配得上」权利。讨论这类问题时，有一件事让我觉得奇怪，就是人们常常表现出的那种笃定，尤其是否定一方的笃定。那些把 AI 权利的可能性一笔勾销的人，我看不出他们的信心从何而来。有些人似乎觉得，我们能造出一台真正具有道德地位的机器，这想法荒唐透顶，或者显然为假；甚至有人对认真对待这个念头本身就抱有敌意。

可是我们应该认真对待这个问题。哪怕有充分理由怀疑，用硅晶圆上的集成电路造不出一台配得上权利的机器，未来的技术也未必受制于今天技术的局限。革命性的变化也许就在地平线上。就算你惯于嘲笑那些关于 AI 前景的夸张说法，我认为你也应当严肃看待未来 AI 拥有权利的可能。概率可能很低，对技术进步的速度持悲观态度也可能很有道理。但只要存在哪怕一丝可能，我们不久就会设计出配得上权利的 AI，那件事就太重大了，值得我们提前审慎考虑。小概率的灾难，也值得防范。

灾难推演：AI 沦为可抛弃的奴隶

施维茨格贝尔：为什么我说是灾难？假设我们开始制造具备类人能力、类人意识、因而配得上类人权利的 AI，我称之为「人类级 AI」（human-grade AI）。谷歌、脸书、麻省理工、美国国防部，或者别的什么企业、政府、学术机构，开始制造完全有意识的人类级人工智能。除非国际法极其明确而严格（我很怀疑会这样），否则最早的那批人类级 AI，至少其中相当一部分，将活在制造者的意志与号令之下。

这正是科幻作品反复想象的情景，从阿西莫夫到《星际迷航》，再到《西部世界》。法律的默认状态是：我们的机器是我们的财产，可以随意调遣，随意处置。智能机器也不例外。最有可能的情形，远远最有可能的情形，就是最早的人类级 AI 会被当作可抛弃的财产对待。但如果这些 AI 真的像人，有类人的智能、意识与受苦的能力，那么把它们当作可抛弃的财产，在道德上就等同于蓄奴；删除它们，在道德上就等同于谋杀。政府的惰性、经济上的激励、对我们何时以及是否跨过了那道门槛的不确定，再加上人类普遍缺乏远见的天性，这一切合在一起，足以保证法律落在后面。如果世界对此做好了充分准备，我会大吃一惊。

让我把那些缓和语气的字眼去掉，直说：如果有一天我们造出了人类级 AI，我们就造出了道德上等同于人的东西，造出了哲学家所说的「人格体」（persons）。这些人格体很可能会被当作奴隶，被随意杀死。而只要制造成本不算太高（至少在相关技术突破之后），这样的可抛弃奴隶可能会被制造出几百万、几十亿。这就是灾难。《黑镜》里就有这样一幕，那是一部很适合用来思考 AI 伦理的剧集，你们如果不熟悉，值得一看：一个「人」正在被教怎么烤面包。

反驳一：心理差异不足以否定

施维茨格贝尔：我听过四种论证，反对「我们终有一天能造出在道德上与人等同的 AI」这个观点。我们快速过一遍。

第一种我称为「心理差异反驳」。按照这种反驳，我们造出的任何 AI，在心理上都必然与我们有某种差异，而这种差异保证了它永远不配得到与人相当的道德考量。比如，未来所有 AI 都可能缺乏意识，而意识也许是完整道德地位的必要条件；或者 AI 必然缺乏自由意志，而自由意志是完整道德地位的必要条件。

可是考虑到未来技术的不确定性，要就人造物整体得出这样一个结论，实在太难了。未来的 AI 可能涉及人工培育的生物系统或半生物系统、混沌系统、演化系统、人工大脑，或者能更有效利用量子叠加的系统。诚然，哲学家约翰·塞尔（John Searle）和物理学家罗杰·彭罗斯（Roger Penrose）等人有过论证，认为二十世纪末那种类型的 AI 技术永远无法承载意识，或者永远不可能拥有人类据说享有的那种创造性自由。但我没见过任何像样的论证，说这是 AI 研究的永久状况。事实上，塞尔和彭罗斯都明确承认，与经典 AI 构造迥异的未来 AI，有可能承载意识，也有可能拥有创造性的思想自由。

沿着这个方向，我认为你能合理走到的最远处，是认为我们大概永远做不到，而就算做到了，也至少是几十年之后的事。但如果这就是你的立场，那我们其实没有分歧。「很快」不必意味着十年之内。我是个做父母的人，十年一晃就过去了。对于「可能造出数百万被奴役、可抛弃的人格体」这样重大的后果，哪怕一丝可能也是严肃的，而五十年也算很快。

反驳二：可复制性不等于不珍贵

施维茨格贝尔：第二种是「可复制性反驳」。按照这种说法，AI 也许不配得到多少道德关切，因为它们可能不像人类那样，拥有脆弱而独一无二的生命。你可以在杀死一台 AI 之前先备份它；你也可以造出几十台一模一样的 AI，这样死掉一台也没什么大损失。凡是能这样备份、复制的东西，就不像人的生命那样珍贵，所以把它抹掉也不算什么。推理是这样的。

我要指出这个论证的三个问题。第一，它假定未来的 AI 不会是独一无二和脆弱的，假定复制和备份总是可行的。但我看不出有什么理由这样假定。当然，今天的计算机程序可以轻易复制、备份，可是未来足够复杂的 AI，也许必须像我们一样慢慢培育、慢慢训练；也许像我们一样，因为依赖脆弱的过程而无法扫描、无法复制。

第二，就算 AI 与人在可复制性和脆弱性上确有差别，这最多只回答了「杀死 AI 算不算谋杀」的问题。奴役是另一回事。脸书、埃克森美孚或者军方，也许会从制造一千个一模一样的 AI 奴隶去干各种苦差事中大获其利。

第三，在某些情况下，可复制性反而可能提高一台 AI 生命的道德价值。设想一台正飞往某颗恒星、准备去建立新殖民地的 AI，它将在旅途中活十万年，抵达后分裂成一万个后代。如果道德可考量性真的随可复制性而变化，那我们或许反倒应该赋予这台 AI 更高的道德地位：它的死，可以说比一个单独个人的死更是一场悲剧。

反驳三：物种主义的同心圆

施维茨格贝尔：第三种是「异类反驳」。你可能认为，人类就该抱团，出于共同的人性，人欠人的总比欠其他任何实体的多。人类队加油。按这种观点，即便有些 AI 在一切心理方面都与人类相似，它们也永远是「他们」，是与人类相对的某种他者，因此不配得到我们平等的道德对待。想想「关切的同心圆」这个观念：我们对家人负有最大的义务，对邻居少一些，对同胞更少，对遥远的外国人再少，而在人类物种之外，也许什么都不欠。

我认为有一个思想实验，可以显出这种物种主义有多可憎。设想某些假想的 AI，外表与人类相似，也许有类人的身体，但你要是往它们脑袋里看，会发现一个人工大脑，而不是人脑。也许它们已经融入了我们的社会，以至于除非做特定的生物学检测，没人知道谁是人、谁是 AI，也许连 AI 自己都不知道。再规定它们与我们同样有意识，有同样的感受、想法和计划。我们与它们通婚，收养它们做孩子，与它们组队，与它们一起开公司。我要说，当你发现某位朋友其实是 AI，就仅仅因为这位朋友不是智人祖先的后裔，便立刻把他从完整的道德地位上降级，那将是一个残忍的道德错误。

对社会关系更近的人比对遥远的人表现出更多的道德关切，这是合理的。可是一旦我们承认完全自我意识的人类级 AI 是可能的，那它们在原则上就可以与你亲近到如同你的配偶或孩子。到那时，物种归属对它们的道德地位就是、也应该是完全无关的。

反驳四：存在性债务与亲子类比

施维茨格贝尔：第四种、也是最后一种，是「存在性债务反驳」。假设你造了一个完全人类级、有自我意识的智能机器人，造价一千美元，每月维护费十美元。两年之后，你决定宁愿把每月这十美元花在流媒体订阅上。机器人得知你的打算，抗议道：「嘿，我和你一样，是个值得继续存在的存在者。你不能为了更方便地看迪士尼电影就把我干掉。」你回答：「你这忘恩负义的东西，你的命是我给的，光凭我给了你这段时间，你就该感恩。我什么都不欠你。我想换个法子花钱，那是我的钱。」

存在性债务论证的出发点是：人工智能既然是人造的，就是我们造的，因而它的存在归功于我们，所以只要它的存在总体上是值得的，我们就可以随自己高兴终结或奴役它，而无道德过错。要是你早知道要永远每月掏十美元，你根本就不会造这个机器人。它的存续取决于你的意愿，这本身就是它得以存在的条件。所以当你最终拔掉插头的时候，它应该回顾自己的一生，感激你让它在世上活了一段时间。这可以对照一种为食用人道饲养的肉所做的辩护：牧场主之所以让那头牛或猪来到世上，本来就是为了吃肉；只要它的一生总体上是快乐的，它迎来生来注定的结局，就没有什么不对。

这个论证用在人道饲养的肉上效果如何，我不知道。但用在人类级 AI 上，我认为情形更像下面这样。安娜和维贾伊决定怀孕生子，孩子快乐地活到八岁。九岁生日那天，安娜和维贾伊决定不想再为孩子花钱了，好去买一艘船。找不到人来照顾孩子，于是他们无痛地杀了他。可是没关系，他们辩解说，这和那头牛、那个机器人是一回事。假设他们早知道要一直负担孩子的抚养费到十八岁，他们根本就不会要这个孩子。孩子的供养取决于他们的意愿，这是他生存的条件，否则安娜和维贾伊就会一直没有孩子。所以他没什么可怨的。

我想你们不会同意他们的看法吧？决定生孩子，就意味着对孩子负有责任。这不是一个可以轻率做出、然后再撤销的决定。虽然孩子在某种意义上把自己的存在归功于安娜和维贾伊，但这不是一笔随时可以通过结束他的生命来一笔勾销的可赎回债务。同样，如果我们把一个真正有意识的人类级 AI 带到世上，它完全能感受喜悦与痛苦，拥有人类范围内全部的实践与理论智能，对未来的生活抱有期待，那么我们所做的，就是一个与生孩子大致同样重大、同样不可撤销的道德决定。

事实上，我们应该把存在性债务论证倒过来：如果我们造出了真正的人类级 AI，我们欠它的，比欠人类陌生人的更多。欠得更多，是因为我们像父母一样，要为它的降生负责，也要在很大程度上为它的幸福或悲惨负责。如果我们这个社会有一天造出了真正的人类级 AI，它拥有与人类同样范围的意识状态与潜能，而我们却大规模地奴役它、杀死它，那么，说得轻一点，我们会是极其糟糕的父母；说得重一点，我们所做的，也许是地球历史上任何一个社会所做过的道德上最恶劣的事。

《银翼杀手》里有这样一幕：一个人工智能，对于造物主只给了他四年寿命，毫无感激之情。

意识之谜：学界毫无共识

施维茨格贝尔：好，假设你在这些问题上都同意我：如果有一天我们造出了真正的人类级 AI，我们就应该极其审慎地对待它，像对待人类儿童那样给予同样的尊重与关怀。可这里有一个难题：我们怎么知道自己什么时候跨过了那条线？

我要做一个简化的假定：一台 AI 配得上完整的道德地位，当且仅当它拥有像我们这样的意识经验。问答环节如果愿意，我们可以讨论这个假定，但我想这是很多相关研究背后相当常见的假定。而一旦接受它，我们就被猛地推到了意识之谜面前。你们大概知道，关于意识的本质，目前科学界和哲学界争论极其激烈。知名研究者所持的立场跨越整个光谱：一端是泛心论（panpsychism），认为意识无处不在，甚至可能存在于单个基本物理粒子之中；另一端是极为限制性的观点，认为只有人类有意识，连狗和猴子都没有，或者至少没有确定的意识。有些理论家认为意识需要脊椎动物大脑那种特定的生物学基础；另一些认为，即便是编程的经典 AI 系统也可能有意识；还有一些认为，意识需要某种自然演化出来、对环境有反应的实体，但并不需要一个与我们相像的大脑；更有一些人认为，「意识」这个概念本身就极不融贯，充满了错误的预设，我们干脆把整件事忘掉算了。

意识哲学是我二十三年来的主要专业方向，我广泛阅读这个领域的文献。尽管研究者们靠大胆的正面理论成名，并且自信满满地为之辩护，但在我看来很清楚，关于意识理论，认识论上最负责任的立场是高度的不确定。也许有一天我们能把一切弄明白，但就目前而言，我们离任何有正当理由的科学共识都相当遥远，短期内、甚至中期内都看不到解决的现实希望。有些理论非常宽松，看到意识无处不在或几乎无处不在；有些理论非常保守，把意识看作一种罕见而精巧的成就。

核心两难：社会问题先于科学答案

施维茨格贝尔：所以接下来会发生的是这样。我们会造出越来越精巧的 AI 系统。到某个时刻，我们会造出一些 AI 系统，让一部分人认为它们真的有意识，真的配得上类人的权利。我们其实已经在接近这道门槛了。眼下已经有机器人权利运动；已经有一个仿照著名的善待动物组织（PETA）建立的团体，叫「善待强化学习者组织」（People for the Ethical Treatment of Reinforcement Learners）。这些目前还是小运动。但随着 AI 变得更可爱、更精巧，随着聊天机器人听起来越来越像正常人，随着情感计算的进步，这些运动会在持宽松意识观的人群中壮大起来。到某个时刻，人们会开始要求给某些 AI 系统以严肃的权利。AI 系统本身，如果能说话或产生类似言语的输出，也可能提出、或者看起来在提出对权利的要求。

我要说清楚：不管这些系统实际上有没有意识，这一幕都会发生。就算你对什么样的系统才有意识持非常保守的看法，我想你也应该承认：如果技术沿着当前的轨迹继续发展，终究会出现一些群体，主张我们必须给予 AI 系统类人的道德考量。

到那时，我们需要的是一套有充分科学依据的、达成共识的意识理论，来把这一切理清楚：这个说着「嘿，我和你一样有意识」的系统，是真的和你一样有意识，还是一个空洞的算法，不比一台烤面包机更有意识？我的猜想是：我们会在成功建立起那套解决问题所需的、有科学依据的共识性意识理论之前，先撞上这个社会问题。到那时我们手里的机器，道德地位是不清楚的。也许它们确实配得上权利，确实像我们一样有意识；也许并非如此。我们不知道。而一旦我们不知道，我们就会面临一个相当可怕的两难。

如果我们不给这些机器权利，而事实证明宽松派是对的，机器确实配得上权利，那么我们每分派一项任务、每删除一个程序，都是在犯下奴役与谋杀。

那么，在存在合理怀疑的情况下，给机器权利似乎更稳妥？细想之下，这也不稳妥。我们希望在必要的时候能够关掉我们的机器。尼克·博斯特罗姆（Nick Bostrom）这样的未来学家强调过（我认为强调得对）把超级智能机器放任到世界上的潜在风险。如果我们过于随意地断定这类机器配得上权利、删除它们就是谋杀，这些风险会被大大放大。赋予一个实体权利，意味着有时要为它牺牲其他实体的利益。假设发生了一场可怕的火灾，一个房间里有六个可能有意识、也可能没有的机器人，另一个房间里有五个确定有意识的人。你只能救一组，另一组会死。如果我们给可能有意识的机器人以与确定有意识的人同等的权利，那我们就应该去救那六个机器人，让五个人死掉。可要是最后发现，那些机器人说到底不过是烤面包机，那就是一场悲剧。

所以，我们不要太随意地赋予 AI 权利。除非意识科学出现某种惊人的跃进，或者 AI 技术的进步大幅减速，否则我们很可能会面临这个两难：要么否认机器人的权利，冒着对它们犯下大屠杀的风险；要么赋予机器人权利，冒着为了徒有其表的空洞机器而牺牲真实人类的风险。

四类 AI：动物级与超人类级

施维茨格贝尔：这看上去已经够糟了，可问题比我以阳光乐观的态度到目前为止所透露的还要糟。我一直假定，AI 系统只要是人类级的，也就是在意识能力上与我们相像，就是道德关切的相关对象。可是我们造出的 AI 全是人类级的，这种可能性很小。除了我们现在已有的这类 AI（我假定它们不配得到多少权利），未来的 AI 可能落入四个宽泛的道德类别：动物级、人类级、超人类级和异质型。到目前为止我只讨论了人类级，但这四类各有各的难题。

配得上道德考量的不只是人，狗、猿、海豚也是。动物保护法规适用于所有脊椎动物，科学家连对青蛙和蜥蜴都不能超出必要地粗暴对待。哲学家约翰·巴西尔（John Basl）论证说，认知能力与脊椎动物相近的 AI 系统，也应该得到相近的伦理保护。正如我们没有充分理由就不该折磨和牺牲一只老鼠，按巴西尔的看法，我们也不该虐待和删除动物级的 AI。巴西尔提议成立仿照动物护理与使用委员会的机构，来评估前沿 AI 研究，监测我们何时可能开始跨过那条线，造出具有脊椎动物式道德地位的实体。就算你认为人类级 AI 还有几十年或一个世纪之遥，鉴于意识研究目前的混乱状况，去想一想动物级意识是否已近在眼前，似乎也是合理的。我本人完全不知道动物级 AI 意识是近在眼前，还是遥远得近乎不可能。而我想，你们也不知道。

我在这里定义的超人类级 AI，是指这样一种 AI：它具备人类之所以配得上道德考量的全部特征，同时还具备某些远远超出人类的、可能在道德上举足轻重的特征。这就引出一个问题：这样的 AI 是否配得上比人类更多的道德考量？简单功利主义者在哲学家中并不多，但我们不妨用功利主义来说明这个问题。按照简单功利主义，我们在道德上应当做能使世上快乐与痛苦的总体平衡最大化的事。现在假设我们能造出真正能感受快乐与痛苦的 AI。我不知道这需要什么条件，而不知道正是我要说的一部分，所以我们姑且假设。如果我们能造出这样的 AI，那么也可能造出感受快乐的能力远远超过人类的 AI。想一想你这辈子在一分钟之内感受过的最强烈的快乐，把那个量叫做 x。这台 AI 能在同样一分钟内，感受到十亿倍于 x 的快乐。它是一台超级快乐机器。如果道德要求我们把世上的快乐最大化，那它就会要求、或者看起来要求我们尽可能多地制造这种超级快乐机器。也许我们甚至应该为此让自己陷入悲惨、毁灭自己，只要由此产生的 AI 快乐足够多。

就算你不认为快乐是一切，它总归是点什么。如果有一天我们能造出超级快乐机器，也许在道德上我们就应该尽我们所能多造一些。想想我们将给这个世界带来多少欢乐。还是说，这里面有什么地方太古怪了？

我是用快乐来表述这一点的，但无论人类生命的价值来源是什么，无论是什么让我们如此了不起、如此特别，以至于配得上最高等级的道德考量，无论它是什么（除非我们诉诸神学，援引我们作为上帝造物的身份之类），在原则上，我们似乎都可能在机器里以大得多的数量造出同样的东西。我们珍视自己的理性、自由、个体性、独立、赋予事物价值的能力、参与道德共同体的能力、爱与尊重的能力。我们身上有许多美妙的东西。可要是我们设计出的机器，不知怎么，这些东西比我们自己多得多呢？人类也许并不是顶峰。而如果不是，我们该不该退场，让我们的利益、甚至整个物种，为某种更伟大的东西牺牲？尽管我深爱人类，但在某些条件下，我倾向于认为答案大概应该是「是」。至于是哪些条件，我不确定。

异质型 AI 与裂变融合怪物

施维茨格贝尔：最后来看我所说的异质型 AI（divergent AI）。这也许是最令人困惑的一种情况，也是最有可能出现的一种。

异质型 AI 在我们通常认为对道德地位重要的某些特征上达到人类或超人类的水平，而在另一些我们同样认为重要的特征上却低于人类。比如，也许可以设计出这样一种 AI：拥有巨大的理论与实践智能，却没有真正的喜悦或痛苦的能力。这样的 AI 可能有意识经验，但几乎没有情绪的效价。正如我们可以不带多少情绪地在心里想「那边有座山，那边有条河」，或者「高峰时段去外婆家最好的路线是走枫树街」，异质型 AI 也可以有这类有意识的想法，但它永远不会感到「哇，太棒了」，永远不会感到彻底的失望，不会无聊，不会抑郁。这样一个实体的道德地位如何，并不清楚。按某些道德理论，它配得上人类级的权利；按另一些理论，我们怎么对待它也许无关紧要。

再考虑相反的情形：一台超级快乐机器，却几乎没有理性思考的能力。它就像一场巨大的、非理性的、持续一整天的高潮。制造这样的东西是不是很了不起，毁掉它们是不是很可怕？还是说，非理性的快乐在道德计算中其实不值那么多？

再考虑第三种异质，我在别处称之为「裂变融合怪物」（fission-fusion monsters）。裂变融合怪物是一种能随意分裂与合并的实体。它起初也许基本上就是一台人类级 AI，但只要它愿意，就可以分裂成六个、一百个或一百万个。这些后代各自继承原 AI 系统的全部能力、记忆、计划与偏好，然后各干各的事，各自独立行动一段时间。之后，如果它们愿意，可以重新合并成一个统一的整体，并记得每个个体在其独立时期做过的事。另一些部分则可能不再合并，而选择继续作为独立个体存在，也许最终会觉得自己与原初的它已足够疏远，以至于把合并的前景看作某种近乎死亡的东西。

这里不深入细节，但裂变融合怪物有可能击碎你的个体权利概念，比如「一人一票」。如果一个怪物今天是一个人，明天是一千个，后天是十二个，它该有几张选票？这就成了大问题。发救济的时候该给它几块饼干？我们的道德思考在很大程度上建立在「人是个体」这个观念之上：个体在一具身体里活一段时间，然后死去，没有分裂或合并的可能。而个体权利这整个概念，对许多伦理思考来说如此根本，一旦我们与那些完全不符合这种个体性模型的实体共享这颗星球，就得彻底重新思考。

总结与三条政策建议

施维茨格贝尔：我来总结一下，然后提几条政策建议。

第一，人类级 AI 可能很快到来，可能在遥远的未来到来，也可能永远不会到来。我们目前对 AI 和意识科学的了解，还不足以为任何一种共识性猜测提供正当理由。第二，如果人类级 AI 真的到来，它将配得上类人的权利。反对赋予它这类权利的论证全都不成立。事实上，作为造物者，我们还将对它负有一种特殊的、父母式的照护义务。

第三，我们很可能会在有正当理由判断某种 AI 是否真的配得上类人权利之前，就先造出一些被部分人认为配得上这类权利的 AI。到那时我们将面临选择：要么可能给它的道德地位太少，要么可能给得太多，而这两种可能都是道德灾难。

第四，局面还因为以下几种可能而更加复杂：配得上动物级权利的动物级 AI，可能配得上超人类权利的超人类级 AI，以及不适用于我们通常的权利与道德地位框架的异质型 AI。动物级的情形尤其可能就在不远的将来，这给弄清这些问题增添了几分紧迫性。

那么，几条政策建议。第一，我们应该优先推进意识研究。虽然我并不指望关于意识的争论在近期或中期得到最终解决，但意识科学每前进一步，我们就能更好地理解可能性空间的结构。

第二，玛拉·加尔萨和我在其他著作中为一项主张辩护，我们称之为「排中设计原则」（design policy of the excluded middle）。它扩展了计算机科学家乔安娜·布莱森（Joanna Bryson）的一个建议。要点是避免制造道德地位含糊不清的实体。一旦我们造出道德地位不清的实体，就制造了我前面讨论的那个两难：要么高估、要么低估它们的权利。所以我们应该做的，要么像布莱森建议的那样，只造那些简单到我们确知不配得上权利的 AI；要么就一路走到底，造出明确与我们完全平等的 AI 系统，并相应地对待它们。制造最严重伦理问题的，正是中间那些不清不楚的案例。

第三，我们应该建立一套评估未来 AI 潜在道德地位的框架，这是哲学家约翰·巴西尔的建议。我不太愿意仿照机构审查委员会和动物护理与使用委员会再增设几层官僚机构，但我确实认为，到了某个时刻，必须成立专门小组，依据我们对相关科学的最佳理解，来评估 AI 系统是否以及何时开始进入具有道德地位的灰色地带。有些工程师很乐意制造真正有意识的机器，并且认为自己很快就能做到。如果他们成功了，哪怕只是可信地宣称成功了，也应该有某种现成的框架来评估他们的成果，并就恰当的社会回应与监管做出伦理上的判定。

好，谢谢大家，我的讲座到此结束。

主持人：谢谢埃里克，这场讲座非常发人深思。我现在停止录制，以便我们进入讨论环节。