Stuart Russell: Provably Beneficial Artificial Intelligence

编者按：本文整理自加州大学伯克利分校电子工程与计算机科学系（EECS）系列学术报告中的一场演讲。主讲人斯图尔特·罗素（Stuart Russell）是伯克利计算机科学教授、人类兼容人工智能中心（CHAI）创始人，与彼得·诺维格合著的《人工智能：一种现代方法》是全球使用最广的 AI 教科书；主持人埃里克·保罗斯（Eric Paulos）是伯克利 EECS 教授，研究人机交互与城市计算，为本场报告的联合主持。演讲围绕罗素新著《人类兼容：人工智能与控制问题》展开，从亚里士多德谈到关机问题，提出以「辅助博弈」重建 AI 的标准模型。本文依据现场录音编译整理，仅删去口语枝节与寒暄，论证与细节均予保留。

开场与讲者介绍

保罗斯：欢迎大家来到 EECS 系列报告。我代表我本人和坐在前排的联合主持人伊莱·亚布洛诺维奇（Eli Yablonovitch）向各位问好。先通知一件事：下周的讲者是华莱士·马歇尔。另外，顺便说一句，电又来了，真好。上周那位讲者的报告，我们正在设法重新安排，那些在家里摸黑等消息的朋友请放心。

今天的讲者其实不需要介绍，但我还是想介绍一下。优化、控制、目标函数，这些是我们计算机科学家天天琢磨的东西，而今天的讲者，我们自己的斯图尔特·罗素教授，谈的正是这个领域的一次根本性转向，以及我们思考这些问题的方式要怎么变。他是本系教授，在牛津拿的物理学学士，在斯坦福拿的计算机科学博士，在伯克利担任史密斯－扎德工程讲席教授，同时兼任加州大学旧金山分校神经外科的兼职教授。他是世界经济论坛人工智能与机器人委员会的副主席，牛津大学瓦德汉学院荣誉院士，卡内基学者，职业生涯中的荣誉一长串。

我觉得最贴切的形容是：他是一位极具感召力的计算机科学家，也是人文主义者、哲学家、挑衅者（我是在最好的意义上用这个词），还是一位行动者。他对人工智能做出了根本性的贡献，如今又就自主武器的威胁和人工智能的长远未来公开发声，大家在各种出版物上都能读到他的文章。他刚出了一本新书，《人类兼容：人工智能与控制问题》。我本想把书带来，可惜我买的是 Kindle 版。好了，不再多说，有请斯图尔特·罗素教授。

从亚里士多德到图灵

罗素：谢谢埃里克。我先讲一点历史，这个背景很有用。最近新闻里大量谈论 AI 的好处和坏处，但这件事并不是这两年才开始的，它由来已久。大约公元前 340 年，亚里士多德就在讨论智能自动化对就业可能造成的后果，这是我们所知最早关于「技术性失业」的文字。他说，如果乐器能自己演奏，织机能自己织布，那我们就不需要奴隶了。对当时的就业数字来说，这可是个大问题。

我在书里说，亚里士多德要是有一台计算机，再加上一点电，他就会是个 AI 研究者。你读他的著作，会发现他在谈规划算法，谈带有形式语法和语义的逻辑推理，谈前向链和后向链，谈分类层次、语义网络、本体论，写得清清楚楚。可惜他没有计算机。

巴贝奇至少有一份计算机的设计图。巴贝奇和洛夫莱斯很明确地讨论过，凡是人类心智能做的事，这种机器都能做。也就是说，他们很清楚人类水平的 AI 是可以实现的，只要那些齿轮能咬合起来、转得够快。巴贝奇最终没造出他的机器，但发明的消息和预言传了出去。伊利诺伊州有一份宗教报纸叫《原初阐释者》，编辑听说了巴贝奇的想法，预言这种机器一旦造出来，终将统治世界。这是我们所知最早见诸印刷的 AI 末日论。

然后又等了一百年，才有了真正的计算机，这要部分归功于第二次世界大战。图灵以许多事情闻名，其中之一就是 1950 年那篇提出「图灵测试」的论文。不那么为人所知的是，他在同一篇文章里还讨论了真正实现人类水平 AI 之后会发生什么，而他的态度是彻底认命的。他说，我们应当预期机器会接管控制权。所以，现在埃隆·马斯克站出来说类似的话，就被人骂成什么都不懂 AI 的白痴。那他们是不是也要把图灵骂成不懂 AI 的白痴？骂完了还剩谁？

图灵早就指出了这一点。这个领域本身是 1956 年在达特茅斯正式诞生的。此后我们经历了一波又一波的乐观和失望。眼下正处在乐观期，接下来会怎样很难说。我觉得现在还悬在刀锋上，不知道这股乐观会消散，还是会有足够多的新成果持续涌现，把势头撑下去。

AlphaGo 与各国投资热潮

罗素：近年最大的几件事，其实是媒体事件，不是研究上的突破。外界完全不清楚这个领域内部发生了什么。外界把 AlphaGo 当成研究突破，尽管它建立在塞缪尔 1957 年和勒昆 1992 年的工作之上。真正的研究突破发生在七十年前和二十年前，他们把这些东西拼在一起，做成了一件大事：击败世界最强的围棋棋手。

这是中国的「斯普特尼克时刻」。正是这件事让中国醒过来，说：AI 这东西是真的，我们要主导它。于是他们宣布未来十年投资约一千五百亿美元。美国以国家 AI 研究院的新计划予以回击，投入一亿两千四百万。我们都知道，媒体常常分不清「百万」和「十亿」，现在看来美国政府也把这个重要区别搞混了。反正我相信会有帮助的。英国有它的投资计划，法国是十五亿欧元，欧盟是一百八十亿英镑，当然还有中国。如今翻开报纸，不可能看不到 AI 的头条。身在这个领域，眼下是个荒唐的时代。

对抗策略实验：AI 能力被高估

罗素：所以我想注入一点现实主义。这个例子没有李世石落败那么轰动，但也不小：OpenAI 展示了可以从零开始训练人形机器人。它们就像刚出生的婴儿，完全没有运动控制能力，几个小时之后，就能学会行走、把球踢向球门、把球拦在门外。很多人为此非常兴奋。看上去确实挺酷，行为是有目的的，踢球的一方会根据球的位置调整，守门员追踪得也不错，就是稍微有点不协调。

于是我们想，这东西到底有多真？我的学生亚当·格利夫（Adam Gleave）说，我们只改红方的程序，蓝方的程序一个字不动，看看能不能把比赛打得均衡一点，因为现在通常是蓝方赢。答案是：红方直接躺倒在地上，把腿伸到空中乱晃。注意，蓝方程序完全没变，可你看蓝方现在在干什么？它像是「啊、啊、啊，哦，哦，不好！」，彻底乱了阵脚，明明是同一个程序。

这告诉我们，人们对 AI 系统的行为和能力的感知往往过于慷慨。你看到一次良好的表现，就说「它很会踢球」，可它并不会。性能上存在巨大的漏洞，而且不用费多大力气就能找到。我们必须谨慎得多。想象一下自动驾驶汽车：你在山景城训练它，它表现很好，然后你做点奇怪的事，比如换一下路牌的颜色，它突然彻底发疯，在高速公路中间转圈漂移。在弄清它究竟在做什么之前，你并不知道它是不是真像你以为的那么好。这是一个非常重要的教训。

数据不是石油，自动驾驶的可靠性关

罗素：《经济学人》的封面说「数据是新的石油」。但我们要更小心一些。「谁拥有最多的数据谁就赢得世界」，这句流行的口号有一个具体的技术理由站不住脚。眼下各国的地缘政治战略正建立在这个口号之上，但它并不成立。事实上，AI 系统越好，需要的数据应该越少，而不是越多。人类学一个新的视觉类别只需要一两个例子。你第一次见到长颈鹿，不需要再看十八万张长颈鹿的图片才明白长颈鹿是什么。看一眼就够了。你去问任何一个心理学家，人类需要多少训练样本？一个，有时候两个。所以，随着 AI 系统能力增强，它们需要的数据会变少。光是拥有海量数据，得不到你想要的东西。

如果有什么东西会戳破这个泡沫，我认为可能是自动驾驶汽车事业的失败。不是说这个问题不可能解决，而是它必须解决得足够快，快到每年投入几十亿美元的人还没耗尽耐心。所以这里有一场小小的赛跑，一边是投资者的耐心，一边是系统的性能和安全。结果如何我不知道。他们的进展非常可观，但要达到八个 9 的可靠性，而他们现在只有五个或六个 9。听上去差别很小，但换算过来是错误率要降低一百倍或一千倍，这一步很大。

未来十年：仓库、助理、语言、卫星

罗素：话虽如此，我还是相当乐观地认为，我们会看到越来越多的系统，不只是那种说服你买下一辈子都用不完的卫生纸的 AI，而是真正走出工厂、进入现实世界的机器人。道路是一个场所，但仓库很可能会先到来。机器人已经在仓库里做简单的搬运工作了，只是不太依赖感知。而「从箱子里拣出任意物品」这个问题，我认为我们正在解决。这听起来不难：一大箱东西，你说，把西瓜拿出来，或者把水枪拿出来。可一旦有系统能做到这一点，一千万个工作岗位就没了。那会是非常大、非常显眼的一步。

家庭大概是最后才到的。我们会看到一些玩具式的小应用，比如调酒送酒的小机器，但那是非常蠢的机器人。家是一个变化极大、不可预测、物理上极其复杂的环境，要做出真能在家里运转的系统，比前面那些问题都难。

数字这一侧，我认为会出现真正的智能私人助理，它能充分理解你的生活、你的活动、你的人际关系、你的承诺和你的通讯，从而真正派上用场。不像现在多数系统那样，只是搜索引擎的一个语音界面，像鹦鹉学舌，而是成为你生活中的伙伴。高管们有昂贵的人类私人助理，你将会以每月九十九美分得到同样有用的东西，而且人人都能拥有。多数人其实更需要它，因为他们的生活更艰难。

如果要说下一个十年最有可能被解决的问题，我认为是语言理解的下一个层次。回顾即将结束的这个十年，最大的进步是视觉物体识别。下一个十年，我想是从语言中提取内容的能力：读一段文本，生成数据库条目或逻辑断言之类的东西。这不是深度理解，它们不会读乔伊斯然后写篇论文，但它们能读遍网上所有的文档、每一份报纸、每一种语言的每一档电视节目。对人类来说，这将是一种不可思议的能力。如果说搜索引擎值一万亿美元，现在可能两万亿，那么这东西对人类的价值是它的十倍。

还有一件有意思的事。我最近加入了 Planet 公司的董事会，这是一家旧金山公司，拥有世界上数量最多的卫星。现在已经可以每天把地球的每一平方英尺都拍一遍。如果人手够多，大约三千万人，你就能看完所有这些图像，掌握地球上所有东西的动向。而把计算机视觉用在这个数据流上，我们就能把地球变成一个持续更新的数据库。在它之上，可以构建成千上万种应用。我们正在和联合国合作，设想如何把它用于可持续发展目标：城市规划；在非洲平原上管理牲畜，那里没有围栏，是个很棘手的管理问题；反盗猎；管理航运；查缉走私。这份清单可以一直列下去。

这些应用如果各自单独去建，每一个都要花十亿美元，因为收集、存储、处理这些数据是一门昂贵的生意。但如果只做一次，然后把结果提供给任何想在上面构建应用的人，那么做出一个全天候、高价值的全球服务大约只要一百万美元。我认为这很快就会发生。

算力堆叠为何造不出通用 AI

罗素：那么，这一切是否意味着人类水平的 AI 就在眼前？不同的人有不同看法。比如伊利亚·苏茨克维（Ilya Sutskever），他曾与杰弗里·辛顿一起做出视觉物体识别的突破，现在是 OpenAI 的首席科学家。他认为还有五年。他们刚从微软拿到一大笔投资，其中很大一部分用来扩充本已庞大的计算资源。我说庞大，是指一个谷歌 TPU 集群相当于一千万台笔记本电脑。它并不算大，大约十二英尺长、八英尺高，能放进你的卧室，却已经比两年前世界上最大的超级计算机还强。这些数字是天文数字。每秒十的十七次方次运算，与大脑理论上能达到的最大状态变化次数在同一量级。而他们还打算再扩大一千倍，并且认真相信这样就能达到人类水平。

我完全不信。因为那些是电路。计算机科学教给你的东西里，如果只有一条，那就是：电路是电路，程序是程序，程序要强大得多、表达力也丰富得多。设想用电路语言写国际象棋的规则，要写几十万页，因为每一个格子都得有单独的一块电路，每个格子、每一步、每一个兵，一切都要重复。这种表达力贫弱的语言带来的膨胀是荒唐的。而用编程语言写，一页；用英语写，一页；用一阶逻辑写，一页。这些语言篇幅相当，是有原因的：应对一个充满各种「事物」的庞大复杂世界，正需要这个级别的表达力。事物，事物极其重要，世界里有大量事物。这意味着你需要一阶逻辑那样的表达能力。命题逻辑，也就是电路的语言，里面没有「事物」。你无法在电路语言里谈论「所有的兵」「所有的格子」「所有的时间步」「所有的人」，或者所有的驴、所有的长颈鹿。所以我的看法是，靠把电路越做越大来解决人类水平 AI 的问题，没有任何可能。

我们需要的是真正的概念突破，而这类突破很难预测。你不能画一条摩尔定律式的曲线，说「看，它在 2029 年越过人类智能」。你只能等待概念突破。我列了几项，不逐一细说，但最大的一项大概是第三条，因为正是它使人类得以在现实世界中成功运作：我们能在跨度极大的尺度上无缝行事，小到单个运动控制动作（打字时，你的大脑要向手指发送一整串复杂指令，每条指令的尺度是几毫秒），大到读一个博士学位（五年，大约一万亿条运动控制指令）。这一万亿是在指数上的。学过 AI 的人都记得，b 的 d 次方，b 是分支因子，d 是解的深度，这里 d 就是一万亿。单靠更多算力，绝无可能把规模扩展到那里。人类靠的是在多个抽象层次上无缝推理。如果有人提供了抽象层次，给你一个不同尺度上的动作层级，我们大致知道怎么把它们巧妙地串起来。但这个层级从何而来，机器如何在行进中自己发展出层级，我们至今毫无头绪。在我看来，这是最大的开放问题。它可能被解决，也许在我讲话的时候已经有人解决了。这类事情可以发生得很快。

核能史的教训：别赌人类无能

罗素：举个例子说明这一点。回头看我们上一次发明足以终结文明的技术，也就是核能。二十世纪初的共识是：他们知道能量就在那里，有 E 等于 mc 平方，能测量不同同位素的质量，能精确算出引发某个跃迁会释放多少能量，但他们绝对相信这是做不到的。卢瑟福，分裂原子的人，诺贝尔奖得主，大概是最著名的核物理学家，9 月 11 日在莱斯特发表演讲，有人问他，未来二十五到三十年内有没有可能做到？他说，没有，这么想都是痴人说梦。爱因斯坦同意他，说自己想不出任何可以想象的办法引发这种跃迁。第二天早上，利奥·西拉德在《泰晤士报》上读到这条新闻，出门散了个步，过马路的时候，发明了核链式反应。从「所有顶尖物理学家都认为这完全不可能」到基本解决，只隔了一夜。而仅仅十二年之后，第一颗原子弹就爆炸了。

所以，别赌人类的智慧会失败。有些人对 AI 可能带来的任何风险持怀疑态度，他们的论证之一就是：有能力的 AI 根本不可能，所以不必担心。我觉得这种论证很怪。它等于是说：没错，我们正开着一辆大巴，载着全人类，以最快的速度冲向悬崖，几千亿美元的投资用于创造这项技术，油门踩到底，但我向你保证，我们会在冲下悬崖之前把油耗光。你会上这辆车吗？没有任何论证能说明人类水平的 AI 不可能，也不可能有，因为我们知道它是可能的：我们的大脑就能产生这个水平的智能。你不能说这在物理上不可能。所以这是一个令人失望的发展：连 AI 领域内部的人，为了回避谈论风险，都愿意说「AI 会失败」。这很怪。想象一下癌症生物学：我们这个时代最顶尖的癌症生物学家站起来说，你知道吗，我们永远治不好癌症，请继续给我们大量经费，但我保证我们永远治不好癌症。你在说什么啊？这就是我们面对的局面。

我认为，审慎的做法是承认你无法保证。当然，我们可能在那之前就毁灭了自己，但审慎的假设是：我们终将造出在决策能力上根本超过人类的 AI 系统。它们显然会掌握多得多的信息，能比人类看得更远，就像它们在棋盘、围棋盘和电子游戏里已经做到的那样。我认为这最终会转化为现实世界中的决策能力。

AI 的上行空间：GDP 十倍与资源逻辑

罗素：这可能是好事。如果没有好处，我们根本不会有这场对话，因为如果没有好处，我们不会花这么多钱，也没人会做 AI。所以好处当然是巨大的。可以这样说：我们的文明就是智能的产物。如果突然获得多得多的智能，就能拥有好得多的文明。所以，别去想那些小改进，比如更好的医疗诊断、更安全的汽车。是的，那些很好，但不够有雄心。想想旅行。两百年前你想去澳大利亚，那是一个耗时数年、花费几十亿美元的项目，死亡概率大约百分之八十。现在你想去澳大利亚，掏出手机，点几下，明天就到了，而且相对于过去，几乎是免费的。想象同样的变革发生在一切事物上，一切现在还很昂贵的事物，比如建设工程：我们需要一所新医院，需要一条路把村子和大城市连起来，需要这个，需要那个，我们的学校没有老师。凡是现在困难、昂贵、耗时的事，AI 系统都可以为我们提供。

我说的不是 AI 发明癌症疗法或超光速旅行之类的科幻，只是把我们已经会做的事大规模地提供给所有人，这就意味着 GDP 增长十倍。仅仅让所有人达到伯克利的生活水准，就是世界 GDP 的十倍，折合净现值一万三千五百万亿美元。这就是它值多少钱的现金等价物。中国之所以在这上面投入几千亿美元，原因就在这里。看看奖池的大小，那个数字微不足道，任何以十亿计的数字与可能创造的价值相比都微不足道。所以我很确定，随着事情推进，限制我们的不会是研究经费，也不会是产业界能投入的钱，而是我们能不能有足够多的人，把这场变革真正落到实处。

在那样一个世界里，物质财富就像报纸的电子副本。为自己有几份报纸电子副本而争斗是疯了，想抢占更大比例的电子副本也是疯了。所以我认为这会改变历史动力中与资源竞争相关的那部分，与获取「让生活在物质上值得过」的东西相关的那部分。我们仍然可能为宗教原因互相残杀，但这一切可以改变。唯一不变的是土地。我们可能为了土地互相残杀，因为至少目前，AI 系统造不出更多的土地。

自主武器与人类衰弱的风险

罗素：人们谈论过许多坏处：扰乱我们对现实的认知，直截了当地互相杀戮。我本来想放一段短片，叫《屠杀机器人》（Slaughterbots），YouTube 上能找到。它用政策制定者能懂的简单方式说明一件事：如果你造出能在无人监督的情况下自行定位、选择并杀死人类目标的武器，那么，你们都是计算机科学家，你们懂什么叫可扩展性。你们知道谷歌不是靠十亿个员工来回答我们发去的那些问题。那几十亿个问题他们是怎么处理的？买更多的硬件。所以，正如谷歌每天能回答几十亿次查询，你也可以靠买更多这种武器来杀死几百万人。你不需要庞大的军队和军工复合体，只要买得够多，把它们放出去干活，就拥有了一件大规模杀伤性武器。

可惜音响坏了，我不放整部片子了。但我想指出，2017 年这部片子出来的时候，俄罗斯驻联合国大使抱怨说这纯属科幻，三十年内都不会成为现实，我们把这种东西拿到联合国来是对他的侮辱。而现在，你已经可以买到比片中武器更糟糕的东西。土耳其公司 STM 正在生产 KARGU 无人机，销售材料里宣传它的能力：自主打击，基于图像选择目标，追踪移动目标，反人员，人脸识别。他们还宣布打算用它来对付库尔德人，原定 2020 年初，也许托特朗普总统的福提前了。所以我们可能会在叙利亚第一次看到这类自主武器对人类发动攻击。

还有就业的终结。有邪恶的人滥用 AI 来统治或毁灭世界。还有过度使用 AI 导致人类逐渐衰弱。我认为最后这个问题非常难办，因为我们天生懒惰。即使知道长远来看会衰弱，你还是总能说：好吧，就今天，你帮我系鞋带吧，我明天再学。几千年来我们都知道，人有这种把「怎么把事情办好」的知识交给别人的倾向。而现在，我们可以把它交给机器，这是从来没有过的事。要让文明延续，以往你只能把它交给下一代人类。为了维持文明运转，我们已经做了大约一万亿人年的教与学。现在不必了，可以把它交给机器，让机器来运转文明。而这一步可能是不可逆的。

推荐算法改造人：目标设错的代价

罗素：最后十分钟左右，我来谈可能最严重的问题。人们为什么写那种标题？马斯克说「召唤恶魔」，他在说什么？他的意思是：你正在制造比自己更聪明的东西，你打算怎么控制它？你打算如何永远保持对一个本质上比你更强大的东西的权力？这就是我们面对的问题。

我们那些友善的社交媒体公司已经给我们发出了一个小小的警告，这么做真是有公益精神。他们在全球范围内部署了一些相当简单的机器学习算法，用于优化一个特定目标，也就是点击率。你可能会想，怎么优化点击率？算法只是学习人们想点什么，不给他们推不感兴趣的东西，听起来还行。但即便如此，也会造成回音室和过滤气泡，你永远接触不到自己舒适圈之外的想法。

而实际情况糟糕得多、多、多。因为算法做的不是这个。算法做的是改造人：不是学习人们喜欢什么，而是改变人本身，让他们变得更可预测，因为这样能从他们身上赚更多钱。这不是什么邪恶的心理学阴谋。算法不知道人类存在，不知道人类有心智。在算法眼里，一个人就是一段点击历史。我们只是这个：你被推送过什么，你点了什么。而事实证明，要产生更多点击，办法是给人推送越来越极端的内容。他们可能一开始处于某个光谱的中间，比如看 YouTube 视频，你给他们推一点更暴力的，再更暴力一点，他们的重心逐渐移动，直到成为极端暴力视频的瘾君子。这是有据可查的过程，正在政治领域发生，也在其他媒体消费领域发生。

原因在于，你给一个足够强大的系统设定了一个目标，而这个目标如果是错的，就会造成巨大的附带损害。这就是我们担心的问题。对人类来说，这不是新问题。我们有迈达斯王的传说，他的目标是「我碰到的一切都变成金子」，听起来不错，直到你意识到这包括你的食物和饮水，然后你就死了。还有给你三个愿望的精灵，第三个愿望是什么？是「请撤销前两个愿望，因为我许错了」。许许多多的文化都有这类故事，它们指向同一件事：我们无法正确地陈述自己的目标，无法预见目标可能被以何种方式优化，以及随之而来的种种附带损害。

标准模型的错误与三条新原则

罗素：所以我要说的是，从五十年代起，我们定义 AI 的根本方式就错了。我们大致是这样说的：在这个语境下，人类智能指的是选择能够预期实现我们目标的行动的能力。这是经济学的理性概念，也是哲学的理性行为概念。我们把它直接照搬到机器上：机器是智能的，当且仅当其行动可以预期实现其目标。这不仅是 AI，控制论也是这样，统计学是最小化损失函数，运筹学是最大化奖励之和，甚至经济学也是最大化利润或福利、GDP。你设定一个目标，然后造出优化这个目标的机器。而如果目标设错了，系统又比你强大，你就进入了一场棋局。我们知道结果：机器实现它的目标，而你实现不了。这就是问题的本质。

这其实就是糟糕的工程。这种工程方法只有在人类能够正确设定目标时才有效，可我们知道我们做不到。你不会设计一架只有长了七只手才能开的飞机，那是愚蠢的设计，因为你没有七只手。那为什么整个领域的设计都要求我们正确设定目标，否则就要承受这些恶果？

所以我们必须面对一个事实：目标在我们身上。我们可以提供线索，其中一些会是错的；系统可以从证据中，比如我们自己的选择行为中，推断出我们真正的偏好和目标。但从根本上说，机器对自己应该做什么，也就是对人类有益，是无知的。所以我们想要的是这样一句话：机器是有益的，当且仅当其行动可以预期实现我们的目标。这是规格说明。

我把它写成三条原则，因为据说最多只能有三条。第一，机器人的目标是造福人类，或者说满足人类偏好。我说的偏好，不是你想吃哪种披萨，而是你希望未来如何展开，你想要哪种未来，不想要哪种未来。第二，机器人对这些偏好始终是不确定的。第三，偏好有一个落脚点：我们的偏好会以某种形式体现在行为中。我们做出的每一个选择，包括你选择坐在这里听我讲，都是关于你潜在偏好的证据。这是不完美的证据，因为我们并不理性行事，我们的行动并不总能最大限度地满足我们的偏好，事实上几乎从来做不到。所以，理解人类行为提供的证据是一个复杂的问题。

辅助博弈：回形针实验与关机问题

罗素：把这些变成数学，就得到我们所说的「辅助博弈」（assistance game）。博弈是涉及多个主体的决策问题，这里的主体是人类和机器。从数学上讲，这是一个人类持有收益函数、机器试图优化它却不确切知道它是什么的博弈。要点在于：当你解出这个博弈中机器的那一半，无论解得多好，哪怕以远超人类的方式去解，机器仍然对我们有益，仍然会顺从我们。这是关键。没有天花板，你不必说「我们不能把机器做得比这更聪明，以免失去控制」。这是另一种机器。我希望，长远来看，它们是可证明有益的。当然，人类也是博弈的一部分，我们也得想清楚当机器存在于世界中时，人类该如何行事。

用图形模型来表示。这是传统图景，也是教科书前三版的图景：人类行为是人类目标的结果，但我们假设人类目标是被观测到的，所以那个节点是填实的，表示我们有它的证据。一旦你有了这个变量的证据，机器就去追求它所感知的人类目标；如果你观测到了，或者至少相信自己掌握了人类目标的正确值，那它就是充分统计量，人类行为就变得无关紧要了。你可以跳上跳下地喊「不要，你会毁灭世界」，但机器有它的目标，它做的一切都是对的，它会一路追求下去，你无关紧要。而当目标不可观测时，从数学上讲，这些变量仍然耦合在一起。它们不是绝对独立的，只是在给定目标的条件下才条件独立。所以这里的解都涉及机器与人类之间的耦合，这不可避免。它让问题更复杂，你不能跑去单独解马尔可夫决策过程那种单主体决策问题。更复杂，但无法回避。

我跳过谷歌把人标成大猩猩的那个例子，直接讲辅助博弈。记住，拥有偏好的是人类，我们把偏好统称为 θ，假设人类根据 θ 行事，不必完美或理性。机器要最大化人类偏好，并对人类偏好持有某个先验 p(θ)。当你求解均衡，在人类一侧，你会看到人类在教机器人，因为人类希望机器人多了解 θ，好变得更有用。机器人会学习，会把人类的教导行为理解为传递偏好信息，会提问，会请求许可，会顺从人类，而且如我将要说明的，它会允许自己被关掉，这是我们能控制它的关键标志。

如果你了解逆向强化学习，它是这个模型的单向版本：机器隔着窗户观察人类做自己的事，而人类被视为一个孤立的个体。这个假设一般来说不成立。一旦人类意识到有机器存在，人类的行为就只能被解释为这场博弈的解。想象你是医学生，站在专家外科医生旁边。外科医生不会只顾埋头缝、缝、缝，切、切、切，缝完收工。他们会开始解释：看，如果你这样做，血就全流出来了，别这么做。这些举动，如果你假设人是孤立行事的，就说不通；它们只有作为这场博弈的解才说得通。所以你只能通过求解博弈，来看人类那部分该如何解释。

我用一个非常简单的博弈来说明，这是我们找到的能体现这一现象的最简单的例子。偏好只有一个维度：回形针和订书钉之间的汇率。θ 就是这个汇率的值，假设 θ 等于 0.49，你可以理解为一个回形针值 49 美分，一个订书钉值 51 美分。机器人完全不知道你的 θ 是多少，有人喜欢回形针，有人喜欢订书钉。博弈中人类先行动，可以选择做两个回形针、各做一个、或者做两个订书钉，三个选项。然后轮到机器人。

如果只有人类自己，会怎么做？回形针 49 美分，订书钉 51 美分，那就做两个订书钉，值 1.02 美元，从人类自身角度看，1.02 美元占优。但在这个博弈里，人类做完之后，机器人可以做 90 个回形针，或者各做 50 个，或者做 90 个订书钉。那么人类现在该怎么办？这取决于机器人会如何解读人类的行为。人类希望机器人做出让自己最开心的那种东西，可它怎么把 θ 的值告诉机器人？它唯一的选择就是做两个回形针、各做一个、或者做两个订书钉，它没法说「我对回形针的估值是 49 美分」，只能从三个动作里选一个。同样，机器人该如何解读人类的行为？解决这个问题的唯一办法就是求解博弈，找到纳什均衡，也就是一对策略，在对方策略不变的情况下，任何一方都不会改变自己的策略。这个博弈只有一个纳什均衡：当人类对回形针的估值是 49 美分时，选择「各做一个」。事实上，只要你的汇率落在 0.446 到 0.554 之间，「各做一个」就是最优的。也就是说，从博弈的解中，一套编码浮现了出来。这套编码告诉机器人「我的汇率落在哪个区间」，好让它做出正确的事。机器人则假定人类通过这个选择正确地编码了自己的偏好。你可以看到，「各做一个」并不是人类孤立行事时会做的选择。

我再简要说明这类机器的另一个重要性质，也就是关机问题。所有足够大、足够壮的机器人，比如我们的 PR2，重 440 磅，你可不想被它不小心压扁，所以它有一个关机开关。如果用经典方式编程，给它一个目标，比如「去拿咖啡」，那么只要它足够聪明，就会意识到：有一种情况会让我拿不到咖啡，就是有人把我关了。于是它的第一件事就是禁用自己的关机开关，以此消除失败的可能。这是本次演讲的一条教训：死了就拿不到咖啡了。

来看当机器人对行动的价值（从人类角度看的价值）存在不确定时会怎样。我们设置一个非常简单的决策问题。机器人先行动，起初有两个选择：按下自己的关机开关，也就是自杀，以免对人类造成危险；或者做一个可能有危险的动作，比如「这儿有个大红按钮，上面写着『按我』，那按一下大概是好事」。这由一个概率分布表示，正的那一侧概率质量更多。如果只有这两个选择，而我们把自我关机的价值设为 0，那么机器人会去按大红按钮，而且不会让你关掉它。这正是我们要避免的。

所以我们给它第三个选择：什么都不做，允许人类来关掉它。问题是，机器人为什么会这么做？既然它自己也能关掉自己，而它又不想关掉自己，为什么要让人类来关？这看起来违反直觉。答案是：如果人类没有关掉它，机器人就知道它准备做的那个动作，也就是按大红按钮，是好的。这就抹掉了概率分布中「这个动作从人类偏好来看不可取」的那部分负值。于是，等待被证明严格优于另外两个选项，允许自己被关掉实际上比不允许更好。这是一个非常简单又非常一般的定理，与信息期望价值非负定理是同一个定理。因为无论人类关不关你，都在向你提供关于人类潜在偏好的信息，而这信息正是你对人类有用所需要的。

这里的安全余量，机器之所以允许我们关掉它，是因为它对我们的偏好不确定。一旦它对我们的偏好变得确定，就不会再允许自己被关掉了。所以不确定性与安全、与我们控制机器的能力之间存在直接关系。

多人偏好聚合与预测准确者胜出

罗素：可以想见，相关研究非常多。我们基本上要把 AI 教科书的每一章都按这种新思路重写一遍。因为每一章，我可以保证，因为都是我写的，每一章都建立在目标已知的假设之上。看搜索算法，有一个目标和一个代价函数，你得先知道这两样才能调用算法。可如果你不知道呢？我们还没有相应的理论。所以 AI 的每一种形式都有大量工作要做，比如损失函数不确定的机器学习：把人叫成大猩猩，和把苹果叫成橙子，哪个更糟？算法起初可能不知道，它对损失函数是不确定的。

我们还必须面对人类不完美这个事实。我说过，人的行为并不完美反映其潜在偏好，所以你得逆向工程人类认知。就连李世石也会下出输棋的着法。这不意味着他想输，他想赢，只是不够聪明，所以下出了输棋的着法。你得理解这一点，才能解释他的行为。

我们还必须处理「有很多人」这个事实。这非常重要。校园里那么多社会科学院系，甚至一些人文院系，就是围绕「人有很多」这个事实存在的。怎么处理？举一个简单例子：一个机器人服务多个人，他们都想当宇宙的统治者，可他们不能都当宇宙的统治者，你该怎么决策？代表不止一个人行事时，你必须做取舍，该怎么取舍？

约翰·海萨尼（John Harsanyi）是伯克利的经济学教授，诺贝尔奖得主。我从未见过他，但在做这项工作的过程中读了他很多东西，一位极其睿智、极有洞察力的人。他证明了有时被称为「社会聚合定理」的结果：当人们拥有共同先验，也就是所有人对未来如何展开持有同样的信念、对未来状态序列持有同样的概率分布时，所有帕累托最优的策略，也就是所有不被其他策略严格支配的策略，最终看起来都像是对个人偏好取线性组合。纳什议价理论认为，线性组合中的权重取决于个人的议价能力，比如他们退出整个安排的能力。海萨尼则基于平等，主张权重应当全部相同。这是福利经济学、公共政策以及许多其他领域的基本定理。

结果是，当人们没有共同先验时，你会得到完全不同的解。我们去年发表的结果是：所有帕累托最优策略，对个人偏好所赋的权重，反映的是那个人的预测与现实的吻合程度。这是一个定理，我们改不了，你可能不喜欢它。它意味着，如果你对未来持有怪异的信念，而且不断被证明是错的，那么任何代表你和其他人行事的系统都会降低你的偏好的权重。为什么？因为每个人都相信自己是对的，所以他们会同意这一点。他们会同意一项奖励「说对的人」的政策，因为每个人都认为自己就是那个人，没有人真心相信自己的信念是错的。于是你会同意一份条件合同：如果你的预测对了，你拿奖；如果他的预测对了，他拿奖。你们俩都同意，因为你们都认为自己会拿奖。这就是代表许多人行事时必须遵循的数学事实。

它的社会后果如何，我还不知道，甚至还没和社会科学家讨论过这个定理，但它是真定理。它也很有用。这意味着你可以在美国和俄罗斯之间谈合同，因为双方都认为对方会作弊而自己不会。你可以谈成双方都会同意的条件合同，尽管他们在事实上、在对彼此的看法上都不一致。

我得跳过利他、冷漠和施虐这几节，感兴趣的话可以读书。我也没带书，但我有一张照片，而且书在网上。哦，你们那儿有一本，这是美国版，刚才那本其实是英国版。谢谢兰迪。

假如我们运气好，把处理多个人之类的难题都解决了，就得到一个非常好的利他机器人，它对每个人的偏好赋予同等权重。你工作了漫长的一天回到家，它来迎接你。你说：今天真糟糕，我连吃午饭的时间都没有。它说：那你一定很饿了吧。你说：饿坏了，晚饭有什么吃的？它说：有件事我得告诉你。接下来是什么？索马里有人比你更急需帮助，所以请你自己做晚饭。这是个问题。一个对全人类偏好一视同仁的利他机器人，大概不会太在意你这些西方中产阶级的舒适需求。这是真问题。你刚花五万美元买了这个机器人，它做的第一件事就是跑去索马里，你不会高兴，那家公司很快就会倒闭。所以我们必须解决这个问题。你不能把简单的功利主义、利他主义方案塞进机器，然后指望会发生什么理智的事。

总结一下：AI 领域正在发生很多很酷的事，进展迅速，还有很多好东西在路上。很难预测我们何时会拥有通用人工智能。但我在书里论证了，它将是人类历史上最大的事件，而我们对此完全没有准备。这是一个严重的问题，我们正在设法解决。今天讲的是一种方案，也许能让我们永远保持对任意智能的机器的控制。我提到的其他问题，滥用与过度使用，我没有任何接近解决方案的东西。它们是社会和政治问题，涉及治安、文化等等，不是技术问题，尽管更好的网络安全方案在滥用这一侧会有所帮助。这些问题我们都必须面对，而且越早开始越好。谢谢。

问答：电路与大脑

保罗斯：非常感谢。我们稍微超时了，但这实在太精彩了。我想我们还有时间回答一两个问题。这是我们神奇的新话筒，这样拿着，然后提问。有人有问题吗？不问就睡不着觉的那种。

听众：我是做电路设计的，不是计算机科学出身。能不能回头澄清一下，您说更大的电路无法以正确的方式编码信息，具体是什么意思？在什么意义上，大脑不是像 TPU 那样的电路？

罗素：你说得对，你的笔记本电脑是电路，TPU 是电路，你的大脑也是电路。但至少就计算机而言，它是一个实现了更高抽象层次的电路，那个层次就是编程语言，无论是汇编语言还是高级语言。这些语言给你循环之类的东西，而循环让你能够枚举任意多的对象。看看用 C++ 实现的国际象棋规则，里面到处是循环。如果不能用循环，而是循环的每一次迭代都要有一块单独的电路，这基本上就是当前深度学习系统的做法，那它根本无法扩展。

问答：神经科学与 AI

听众：谢谢您的演讲。刚才介绍说您在神经科学的院系任职……

罗素：我在神经外科有一个教职，其实跟神经元没什么关系，研究的是如何让脑损伤患者不至于死亡。

听众：我想问的是，我们还需要对自己的大脑如何运作、自己如何学习了解多少，这跟我们编写和创造一个同样能学习的东西之间是什么关系？

罗素：好问题。我认为这个关系随时间变化。AI 初期，人们对心理学、神经科学、AI 以及一定程度上语言学之间的交叉授粉非常兴奋，这就是我们所说的认知科学。这门新的综合学科曾激起巨大热情，但它多少失败了，退回到各个组成学科。因为神经科学家总体上专注于一个事实：仅仅弄清大脑由什么构成、在单个回路层面如何运作，就已经难得不可思议。所以「研究大脑就能知道如何做 AI」的承诺大体没有兑现。从七十年代到十年前，人们不太关注这条线。但后来发现，卷积神经网络，部分受到我们对视觉皮层认识的启发，效果远远好于预期。于是这条关闭已久的管道又重新打开了。

随着工具进步，情况可能会变。功能磁共振不是特别好的工具，你并不能从中看出大脑是怎么做事的。现在我知道「卷心菜」在我大脑的哪个位置，但我仍不知道我拿它做什么。而光遗传学之类的技术，可以修改神经元的 DNA 并直接观察其运作，我认为我们可能很快就会在理解大脑（至少是简单动物的大脑）如何工作方面取得真正的进展。

另一件有意思的事是脑机接口。我们把机械臂接到大脑上。我做一个非常高层的概括：起初我们以为必须理解运动皮层的编码，把它解码，再告诉机械臂该做什么，也就是得先解决神经科学的一大块问题才能让它工作。结果发现不用。是大脑自己想出了如何使用机械臂，而不是反过来。所以我们可以在不真正理解原理的情况下取得进展。比如，我们可以增强人类记忆，同样不必理解它如何工作：在大脑里找个地方接上一个像存储芯片一样的东西，大脑自己就会想出如何用它来存取信息。我们仍然不知道发生了什么，但我们的智商变成了 290。或者我们把大脑彼此相连，获得某种我们不理解的心灵感应，变成一个蜂群心智。我们仍然不知道自己的心智如何运作，可我们造出了蜂群心智。是不是很酷？谁知道接下来会怎样。

听众：但您认为这会转化为我们创造独立 AI 系统的能力吗？毕竟那些都是在更直接地与我们的大脑互动。

罗素：可能会。在这个过程中，我们会发展出更好的技术来理解和绘制神经活动。比如伯克利这里的「神经尘埃」项目，可以给你精细得多的实时神经活动图，也许我们就能理解它。但它非常难理解，我认为这一点已经很清楚了。

问答：偏好的可塑性

保罗斯：好，最后一个问题。

听众：很有意思。我想问问演讲中数学的部分。您说可以在数学上证明，机器人会为了解更多人类偏好而顺从、而采取行动，或者在多人问题中会去看谁对未来的预测更准。可是，机器人的行动本身可能改变人类的偏好或行为；或者在多人的例子里，最初选择跟随谁的偏好，会改变未来展开的方式，如果机器人当初选了别的，就会是完全不同的人被证明预测更准。这在数学上容易解决吗？

罗素：你提到了几个问题，但核心是可塑性。这一点在幻灯片上有，我一带而过了。是的，你要避免一种失败模式：机器通过把人类偏好改造得极易满足，来「满足」人类偏好。如果机器把我们都变成海洛因成瘾者，那我们唯一想要的就是海洛因，而机器很容易造出大量海洛因，问题就「解决」了。所以需要对模型做扩展。这个模型假设人类偏好是固定的，显然不是。但你也不能让人类偏好完全不受触动。光是有一个机器人仆人就会改变你的偏好，你大概会变得更娇惯一点、对其他人更没耐心一点，诸如此类。所以这是一个开放问题。

哲学家在偏好变化上很头疼，因为至少按简单的看法，改变自己的偏好从来不是理性的：那样一来，你未来的行为将违背你现在的偏好。我为什么要把自己变成一个会去做我认为不该做的事的人？说不通。可我们的偏好确实会变，有时我们还决定希望它变。我们说，我想如果我环游世界一圈，回来会成为一个更好的人。这是一场实验，你只能希望实验的结果是你事后会庆幸自己成为的那个人。这件事连要说清楚都很难。下学期我会和两位哲学家、一位经济学家合开一门课，这正是我们打算深入的话题之一。好问题。

保罗斯：好，谢谢斯图尔特，感谢你抽出时间。我觉得你最有价值的贡献之一，不只是思想上的深度，还在于让这些问题真正在领域之外的人那里引起共鸣，把他们带进这场对话，这意义重大。谢谢。

罗素：谢谢。