The Ethical Algorithm | Michael Kearns & Aaron Roth | Talks at Google

编者按：2019年秋，宾夕法尼亚大学计算机科学教授迈克尔·卡恩斯（Michael Kearns）与亚伦·罗斯（Aaron Roth）应邀到谷歌，围绕两人合著的新书《算法伦理》（The Ethical Algorithm）作报告并对谈。卡恩斯是计算学习理论的奠基人之一，曾主持贝尔实验室的人工智能研究；罗斯是差分隐私与算法公平领域的核心研究者，与辛西娅·德沃克合著过差分隐私的标准教材。对谈由谷歌研究院研究科学家艾米莉·丹顿（Emily Denton）主持，她的研究方向是机器学习公平性、数据集伦理与生成模型的社会影响。本文依据现场录音编译整理。

算法决策的兴起与锤子类比

罗斯： 我们这本书的出发点是一个观察：机器学习虽然已存在多年，但直到最近，我们才开始把它用在越来越要紧的事情上，在座的谷歌同事对此一定深有体会。举几个例子。最近新闻里就有，信贷决定，比如你申请一张苹果信用卡，额度是高是低，现在往往完全没有人参与，纯粹由算法说了算。人力资源部门做招聘和薪酬决定时，也会参考机器学习算法的判断。在美国若干个州，包括宾夕法尼亚州，保释和假释的决定都有训练出来的模型参与。

所以很自然，一旦开始用机器学习来做关乎人的重大决定，你就会担心：这些算法会不会违背我们对人类决策者理所当然的那些社会规范？而且证据确凿，这种事确实在发生。每周都能看到这类报道，也已经有好几本很出色的通俗著作指出了这个问题。这里列了三本我们很敬佩的书。但这些书做的事，主要是指出问题。至于怎么解决、解法是什么，它们说得少。它们会谈到监管的必要，这一点我们大体同意。可它们不谈在技术上究竟该怎么做，才能让算法守规矩。而这正是我们写这本书的目的：用大白话解释一门正在成形的科学，我们称之为把伦理规范嵌入算法（embedding ethical norms into algorithms）。如今已经有数以百计的研究者在做这件事，我们也在其中。

我们常听到一种质疑，我们的一位早期审稿人就问过：这本书的前提，乃至书名本身，「伦理算法」，到底说不说得通？因为算法归根到底是工具，是人造物，就像锤子。锤子当然可以拿来干坏事，可以当凶器，我可以拿锤子砸你的手。但如果我真这么干了，没有人会认为这是锤子的道德缺陷，对吧？责任会直接落到我头上。我们规范和立法处理锤子造成的暴力，也正是这个思路：我拿锤子砸你的手，很可能要坐牢，而我决定要不要动手时会把这一点考虑进去。

但算法不一样。我们说「算法」，其实指的是模型，就是机器学习流水线末端产出的那些训练好的模型。它们在很多方面都不同，但与本次讨论最相关的一点是：对于一个按机器学习原理训练出来的算法，你很难预测它在每一种情境下会输出什么。

机器学习流水线为何难以问责

罗斯： 在座许多人都熟悉机器学习流水线的样子，但我们还是简单回顾一下。你从一个数据集开始。如今一个数据集可能包含数百万人的记录，每个人有数十万个特征。在最理想的情况下（如果你走运的话；你并不总是走运），作为开发算法的数据科学家，你算是「理解」这个数据集：也许你知道数据是怎么收集的，也许你知道每个特征代表什么。但要说你真正理解这样一个庞然大物里包含的全部信息，那很难说。

接着，你用这个数据集定下一个通常很狭窄的目标函数，某种分类误差或者利润的代理指标。然后你用随机梯度下降之类的工具，在一个极其庞大的模型类里搜索，找出在这个狭窄目标上表现最好或者相当好的那一个。最后你得到一个模型。如果你训练的是深度神经网络，它可能有数百万个参数。关于这个模型，你几乎说不出任何东西，只知道按你设定的目标函数来衡量，它大概表现很好。

问题就在这里。当这个模型日后对某个人或某个群体造成伤害时，通常并不是因为幕后那位软件工程师或科学家心怀恶意。如果真是恶意，事情反而简单多了，现有的监管工具就能把坏人清理出去。麻烦在于，我们看到的算法伤害，通常是对大规模模型类进行优化时产生的意料之外、并非有意的副作用，而优化正是机器学习最基本的前提。所以，如果我们要防止训练出来的算法干坏事，就得想办法把我们的社会价值观，把我们不希望算法出现的行为，嵌入到设计过程本身。

从模糊价值到精确定义

罗斯： 这很难。因为隐私、公平、问责这些词又大又模糊，各有各的含义。而当你说隐私或公平，尤其是当你说你要一个算法「隐私」或「公平」时，定义必须精确。像哲学家那样谈论这些概念是不够的。原因非常实际：如果你要把这些东西作为约束嵌入某个优化问题，你就必须在数学上说清楚。

即便撇开嵌入数学约束的需要，认真想一想你到底想要什么，本身也很有启发。隐私有哪些不同种类？公平有哪些不同种类？努力把这些东西说精确，这个动作本身就能带来洞见，能揭示出原本不那么显眼的取舍。

这张幻灯片上，我们把这些词按灰度递减排下来，从隐私开始，到道德结束，最后一个你已经看不见了。迈克尔向我保证，他在最底下用白色写了「奇点」。灰度深浅大致对应我们在数学精确层面理解这些概念的进展，以及我们对把这些约束嵌入算法之后果的思考进展。这不是说我们已经解决了隐私，或者对隐私的种种形态都有了精确的思考方式。但正如我们马上要讲的，我们取得了一些进展。公平还没到那一步，但走在正确的路上。至于其余那些，问责、可解释性，以及越往下越模糊的那些，有人在研究，也确实重要。可我们觉得，还没有找到正确的定义，而正确的定义是取得书中所说的那种科学进展的必要前提。

匿名化为何失败：链接攻击

卡恩斯： 谢谢亚伦。接下来大部分时间，我们想讲两个简短的案例，一个关于隐私，一个关于公平。照亚伦刚才那张幻灯片的说法，对于我们所讨论的这类科学研究或算法研究，这两者相对而言是最成熟的。亚伦也说了，有时候，光是被迫如此精确地思考这些社会规范的定义，这件事本身就大有益处。它不仅可能揭示你没意识到的取舍，还可能暴露你直觉里的漏洞，如果你只停留在道德哲学家的讨论层面，这些漏洞是看不出来的。

隐私就是个很好的案例。我们在书里主张，至少对我这里要谈的那种隐私来说，存在一个正确的定义，就是差分隐私（differential privacy）。但在它之前有一批定义，我们和很多人都认为它们在根本上是有缺陷的。不幸的是，如今实践中几乎清一色采用的，恰恰是这些有根本缺陷的概念。你去看一家大公司的最终用户许可协议或隐私政策，如果它们还算精确的话，谈的都是各种形式的匿名化，或者移除个人身份信息（PII）。

为了说明我们为什么认为这些定义有根本缺陷，我准备了一个玩具例子：两家医院各有一个病历数据库。出于隐私考虑，数据库做过一些匿名化处理。匿名化大体上就是两类操作：删减，即整列整列地从数据库里去掉；粗化，即把信息弄模糊。然后人们指望，处理完之后，就有了某种隐私保障。

上面这个数据库里，有人决定把姓名整个删掉；年龄不给精确值，按十年分组，十到二十岁，二十到三十岁，如此类推；邮编保留一部分，隐去最后两位；再保留一些医疗信息，比如是否吸烟（吸烟一会儿还会讲到）以及这次就诊的具体诊断。当然，现实中像宾夕法尼亚大学医院这样的大医院，数据库要庞大得多，可能有几万条记录。但概念上的缺陷，在这个玩具例子里就已经能演示出来了。

假设你在这个数据库之外还掌握一些额外信息。比如你有位邻居叫丽贝卡，你知道她是女性，五十七岁。你知道这些是因为她是你邻居，你们是朋友。现在，带着这点旁证信息，你又设法拿到了这个据称匿名的数据库。那么数据库里恰好有两条记录符合你对丽贝卡的了解，就是红色高亮的那两条。注意，仅凭这点旁证，你已经可以推断出你的邻居要么是 HIV 阳性，要么患有结肠炎。她完全有理由认为，单是这一点就已经侵犯了她的隐私。

在真实的大型数据库里，在这些方法的真实应用中，你可能会追求一种叫 k 匿名（k-anonymity）的标准。什么是 k 匿名？它要求你做足够多的粗化和删减，使得匿名化后数据库里的任何一行，都至少有 k 条与之完全相同的记录。刚才那个是二匿名的数据库，一般来说我们希望通过要求一百匿名而不是二匿名，来获得更多隐私。

真正的麻烦来了。假设你还知道，邻居丽贝卡碰巧也去过第二家医院，它的数据库在下面。这家医院为了提供某种隐私保护，也做了同样的删减和粗化，那里有三条记录符合丽贝卡的情况。真正的问题当然在于这两个数据库的连接（join），有时也叫链接分析、三角定位，或者别的什么名字。把上面的红色记录和下面的红色记录取个交集，我现在就唯一地确定了：丽贝卡是 HIV 阳性。

你可以试图用更花哨的定义，或者诉诸规模，把这些问题挥开。但这类定义的真正问题在于，它们假装你眼前的这个数据集，是此刻乃至永远世界上唯一会存在的数据。它们没有预见到来自多个数据库三角定位的隐私攻击，没有预见到你可能掌握的关于他人的其他信息，甚至包括那些人并未刻意隐藏、公开宣告过的信息。

在座许多人可能看到过主流媒体对某些文章的狂热报道，我想这些文章大概不会让这个房间里的什么人感到意外。其中一篇是大约一个月前的，大意是：这里有十八个看似无害的属性，只要我知道你的这十八项，它们就能在全体美国公民当中充当你的指纹。我不太确定具体是哪十八项，但你可以想象：你告诉我你开什么车、你的邮编、你的眼睛颜色、你养狗还是养猫。每一项当然都在指数级地削减剩余的可能性。用不了多久，这些无害的信息就能把匿名化方法承诺的隐私拆得干干净净。所以，正如书里讨论的，这些是糟糕的隐私定义。

零伤害标准与吸烟研究悖论

卡恩斯： 那什么才是好的隐私定义？让我先提一个定义，我想它至少从七十年代起就有人提过。如果能实现，它会是个很好的定义。但我们在书里论证，它要求得太多了：如果强制执行这种隐私，我们就永远无法用数据做任何有用、有意思的事，包括医学研究。

这个定义是什么？你可以把它数学化，我这里就不费事了。想象我们规定：只要一项数据分析里包含了你的数据，就不得因此对你造成任何形式的任何伤害。把它当作隐私定义想一想。它无疑是很强的隐私保障。我把「伤害」的概念完全放开，然后说，只要用了你的数据，这项研究就不得给你带来伤害。

那为什么说它要求太多了？想象现在是一九五零年，你是个吸烟者。既然是一九五零年，你就是吸烟者，因为那时几乎人人吸烟。吸烟没有任何社会或医学上的污名，反倒被看成一种有派头的习惯，所以你在公开场合大大方方地抽。认识你的人都知道你吸烟。甚至你的健康保险公司也知道。谁在乎呢？

现在假设有人请你把病历贡献给五十年代在英国做的那一系列著名研究，正是这些研究确凿地建立了吸烟与肺癌之间的关联。你的数据被纳入了分析。这项分析向全世界宣布：吸烟与肺癌有关。于是我们可以说，这项研究给你带来了实实在在的伤害。因为这项研究，所有人对你患癌概率的后验判断都上调了，而你的数据正是这项研究的一部分。特别是，可能有实打实的经济损失落到你头上：你的健康保险公司可能决定把你的保费翻倍。

所以，如果我们采用刚才那个定义，这项研究就会被禁止。它侵犯了每一个数据被纳入其中的人的隐私。但关键的观察在于：使吸烟与肺癌的关联得以确立的，当然不是你那一份病历。任何足够大的病历集合都足以确立这一事实，因为吸烟与肺癌有关，并不是关于你个人或你的数据的事实。它是我们所说的「关于世界的事实」，只要数据够多就能发现。

差分隐私：正确的定义

卡恩斯： 这就把我们带到了我们所主张的正确隐私定义：差分隐私。它对我刚才给的定义作了一点细化，以照顾到「你的数据并非分析中缺失的那块关键拼图」这一事实。这是一张示意图，用大白话说，差分隐私要求什么？它要求你考虑两个平行世界。一个世界里做了一项分析，你的数据包含其中，假设总共有 N 份病历。另一个世界里做的是同一项分析，但只有 N 减一份病历，缺的那一份就是你的。我们要求的是：在这两种情形下，落到你头上的伤害基本相同。无论你怎么定义伤害，无论你担心的是什么，包含你的病历时这种伤害发生的概率，与仅仅排除你的病历时的概率，二者之间的差距是可控地接近的。

在座许多人都知道，差分隐私的定义首先是算法的属性，而不是某个特定数据集的属性。一个算法要么是差分隐私的，要么不是。差分隐私一般通过在计算中加入噪声来实现，于是你从确定性算法转向了随机算法。加噪声的方式，通常是在保留总体统计量的同时，掩盖任何一条数据对分析的个别贡献。

亚伦研究差分隐私的时间比我长得多。我记得第一次看到这个定义时，我想：定义很棒，可我还是担心它太强了。它里面有很多全称量词。算法必须在绝对任何输入数据库上都提供差分隐私；伤害的定义可以是你想要的任何东西；即便如此，纳入你的数据所带来的伤害增量仍然受控。所以我的第一反应是，也许用这个定义我们照样什么都做不了。幸运的是，事实远非如此。实际上，你所知道的统计学或现代机器学习里的几乎任何技术，都有一个变体。它原始形式不是差分隐私的，但存在一个提供差分隐私的变体。比如神经网络的反向传播、随机梯度下降，都有差分隐私版本。

近几年，差分隐私才刚刚开始走出实验室，或者更准确地说，走下白板，进入实践。差分隐私的大型登月工程明年就要来了：美国人口普查局决定，基于原始普查数据发布的每一份报告、每一项统计，都将在差分隐私的约束下发布。这是一项浩大的工程，结果如何值得关注。下面交给亚伦谈公平。

公平性：几十种定义互不相容

罗斯： 公平方面，我们还没到那一步。我们敢断言，只要你把差分隐私琢磨一阵子，读读书的第一章，你们当中许多人会同意：至少对于某一种隐私，也就是数据集中的统计隐私，它多少算是正确的定义，它抓住了你想要的东西。公平的文献里还没有这样的东西。关于公平可能意味着什么，有几十种定义，而对每一种，我都能告诉你一个它不够好的理由，它没有抓住你想要的全部。事实上，我们甚至已经知道，公平的研究注定比隐私的研究更复杂。因为已经存在若干种各自合理的公平定义，单独拿出来你会点头说「对，我要这个」，但它们被证明是相互不兼容的。你或许可以把机器学习中的公平研究，看作十五年前的隐私研究。

尽管如此，这仍是极其重要的问题。幻灯片上是上周的两则新闻标题，两个引来纽约州监管审查的应用。一个是信贷应用，就是你们可能听说过的苹果信用卡，一些知名人士发推文指称，决定信用额度的算法表现出性别偏见。另一篇讲的是一个广泛部署、用于分配医疗干预的算法，似乎表现出种族偏见。

我不想在「不公平」的定义上多谈，因为我认为我们还没找到确切正确的那一个。但我想说说，机器学习为什么一开始就会不公平。很多人的第一反应是：我们谈种族歧视、性别歧视时所说的那种偏见，是人的属性；把人从决策流程里拿掉，换成客观的优化程序，偏见自然就消除了。事情比这复杂一些。

招生漫画：误差最小化如何压制少数

罗斯： 用一幅小漫画来说明。假设迈克尔和我自告奋勇去帮宾大招生，要设计一个机器学习算法来录取学生。在这幅漫画里，每个申请者有两项观测值，SAT 分数和 GPA。我们要预测某个具体的东西。比如，预测学生入学后能否在五年内以不低于三点五的 GPA 毕业；或者预测他们毕业后三十年内会不会捐款至少一千万美元。无论是什么，总之是某个具体目标，我们想录取标为正号的人，拒掉标为负号的人。

收集这类数据可能有各种各样的问题。你可以想象，过去招生官的偏见可能已经嵌在数据里了。但我们把这些统统撇开，假定在这个漫画例子里，数据就是它所呈现的那样。因为我想向你们展示：即便在数据良好的最佳情形下，事情也会更复杂一些。

有两个群体。你们现在看到的是绿色群体，请注意两点。第一，绿色群体中略少于一半的人够格上大学，也就是说，这页上的负号比正号稍微多一些。第二，存在一条相当不错、虽不完美的判定规则：我可以在空间里画一条线，大体上（虽非绝对）正例在线上方，负例在线下方。

这是绿色群体。再看橙色群体，同样请注意两点。你可能首先注意到的是，橙色群体是少数群体。我的意思仅仅是，橙色的点更少。在这个语境里，「少数」只意味着人数少。第二点，这些点似乎来自不同的分布，具体说，在图上整体往下移了，他们的 SAT 分数系统性地偏低。原因可以有很多种。比方说，绿色的点来自富裕人群，他们上 SAT 辅导班，考三次只报最高分；橙色的点则是裸考一次。这自然会让绿色群体的 SAT 分布更高，但并不意味着他们更够格上大学。

事实上，看标签，看我们真正要预测的那个东西，反而是橙色群体更优秀。优秀在两方面。第一，平均而言他们更够格：一半是正例，而绿色群体不到一半。第二，甚至更容易分辨谁是谁：现在有一条线性判定规则，一个错都不犯。

好，两个群体，在这个例子里，少数群体是更优秀的那个。所谓更优秀，我指的是平均更够格，而且更容易判定谁够格。现在把两个群体放到一起。记住，我们只给算法 SAT 分数和 GPA，你看得见点的颜色，算法看不见。假设我们提出的是机器学习的标准目标：找到那个犯错最少的模型，在这里就是线性判定规则。还有什么比这更客观的？让错误数最小。

你得到的，就是最贴合绿色群体的那条规则。想想为什么。如果我把判定边界往下挪，橙色群体上的错误会减少，但绿色群体上的错误会增加。从最小化总体误差的角度看，这不划算，因为绿色的点更多，绿色群体上的错误在总体误差里分量更重。

于是我们有了这样一个例子：橙色群体比绿色群体更优秀，只是来自略有不同的分布。当我要求找到总体误差最小的模型时，它拒绝了橙色群体的每一个成员，尽管他们更够格，尽管他们的特征里实际上蕴含更多信号。顺便说一句，如果允许我在模型里使用群体归属，也就是颜色，比如允许我建一棵决策树，规定「绿色的点用蓝线，橙色的点用紫线」，情况就能改善，而且对所有人都改善。模型会更准确，绿色群体的决定不变，而橙色群体突然就得到了正确的判定。

从这幅漫画里我希望你们学到两点。第一，如果你只是盲目地为误差做优化，结果往往是贴合多数群体，代价通常由少数群体承担。这不是因为目标函数里烙着什么潜在的种族主义，而仅仅是因为人数多的群体对总体误差贡献更大。第二，人们的条件反射是：既然我不想让算法有种族或性别偏见，那就别用这些特征。这并不总是对的。这个例子里，使用这些特征反而能把事情做得更好，不光是在公平上（我们还没定义公平是什么），在准确率上也是如此。

公平旋钮与帕累托前沿

罗斯： 这是一个直觉上显得不公平的例子：有一个更优秀的群体，我们学出来的模型却仅仅因为他们人少就把他们全拒了。如果我们想设计算法来纠正这一点，就必须选定一个定义，说清楚我们所谓的不公平是什么意思。我不想在定义上纠缠太久，但举个例子。在这个应用里，你可能认定，被算法的错误所伤害的，是那些够格却被错误拒绝的申请者，也就是正例。算法拒了他们真是太可惜了，他们若来我们学校本会表现很好。你对这个模型的不满，也许就在于算法在两个群体中造成伤害的比率，在这里就是错误拒绝率，即假阴性率，相差悬殊：橙色群体是百分之百，绿色群体接近零。

于是你可以要求（这已经成为一种流行的要求）：找一个模型，让两个群体的错误拒绝率接近相等。也许完全相等，也许差距控制在百分之五、百分之十或百分之五十以内。这样你就有了一个可量化的不公平概念，可以提出要求。这就有了一个旋钮，可以调节这种不公平与你在乎的其他东西（比如误差）之间的取舍。当你开始设计实现这些目标的算法，你就有了这个可调的旋钮。顺便说，差分隐私也自带这样一个旋钮，所以考虑隐私时也能画出类似的图。

你会发现，尽管不可避免地要面对取舍，但你可以把这些取舍揭示出来。这几张图是帕累托前沿（Pareto frontier），来自不同数据集上一个真实的机器学习任务。纵轴是你能达到的最优不公平率，这里用两个群体假阴性率之差来度量；横轴是你能达到的最优误差率。对于特定的模型类，你可以实现这条帕累托前沿上任何一点所代表的误差与不公平的组合，而不可能得到一个在两项指标上同时更优的模型。

你可以看到，如果走运，比如左边那张图，有时你能让不公平指标（这里是假阴性率之差）在起始阶段大幅下降，而误差只付出很小的代价。曲线很陡时就是这种情况。当然，随着你提出越来越严苛的条件，取舍会越来越严峻。

所以正如书里所说，科学只能把你带到这一步。它能阐明取舍是什么，却不能告诉你，作为一个社会，在某个特定应用里，你想住在这条取舍曲线的哪个位置。这不会有普适的答案。有些应用里我们想更看重公平或隐私，另一些应用里我们想更看重准确率或其他东西。艰难的决定总归要做，躲不掉。科学能做的，是帮助我们睁着眼睛做这些决定。

博弈论转向：导航均衡与竞技科学

卡恩斯： 到目前为止讲的内容，加上引言，大约是书的一半。书的中段，我们来了一个大幅左转，我们觉得这个转向很有意思，也理由充分。我想给它做个预告。

我们前面谈到的各种场景和应用里，作为一阶近似，可以把个人、消费者看作算法的受害者。你可能被不公平地拒于心仪的大学门外，你的隐私可能因某个数据集或某次计算而泄露。你甚至可能并不知情，也可能不知道你的数据正被用来构建模型，而那些模型正被用来对别人做决定。但还有另一类情形：有一个算法，或者更准确地说，一个应用，它有庞大的用户群。它表现出的反社会行为，不那么容易完全归咎于算法本身，因为这种行为既是算法的函数，也是使用这个应用的用户的激励的函数。这就把我们带进了博弈论的领域。

如今有太多应用，本质上可以用一个常用词来概括：个性化。但用博弈论的术语，我们可以称之为「计算你的最优反应」（best response）。一个具体例子是用 Waze 或谷歌地图这类应用通勤。应用根据实时路况（主要就是路上所有其他司机的活动）计算你的最优反应：从 A 点到 B 点，这条是延迟最低或距离最短的路线。你可能觉得，还有什么比这更好的？它利用此刻的实时路况，告诉我该走哪条路。

但它正在把我们所有人集体推向一个极其庞大、复杂的多人博弈的自私均衡，字面意义上的纳什均衡。任何学过一点基础博弈论的人都知道，某样东西处于均衡状态，并不意味着它对你、或者对博弈中的任何一方是好事。具体到驾驶应用，既有众所周知的玩具例子，也有现实世界的证据表明：尽管我们每个人都在用这些应用时时刻刻做个体优化，我们集体上可能反而开得更多，因为我们陷在这个竞争性均衡里。

在书里，我们把这个半隐喻推广到一些不像通勤那样能清晰地数学化为博弈的领域，比如亚马逊这类服务上的商品推荐，或者你在脸书信息流里看到的内容。我们讨论个体优化、个体私利与集体均衡之间的张力，这种集体均衡在脸书的例子里表现为过滤气泡，或者对假新闻的易感性，诸如此类。

书的最后一章之前（最后一章是个大杂烩，从可解释性一直谈到每个人工智能末日论者最钟爱的反乌托邦：奇点），我们专门谈了机器学习已经变成的那种竞技体育。特别是，我们用博弈论的方式思考这件事，以及它对科学界的可复现危机之类问题的影响。用最简短的话概括：在座许多人都熟悉，机器学习在某种意义上已经变成了竞技体育。有那些基准数据集；结果报告中存在选择偏差，因为期刊大体上不发表阴性结果；这个领域现在人多到我们根本不知道究竟跑了多少实验，也不知道该如何为这些实验的数量和复杂度做校正，以确保我们不会重蹈食品科学的覆辙，那个领域里相当大比例的已发表结果无法复现，属于伪发现。这就是书后半部分的预告。下面请艾米莉上来，跟我们聊聊。

对谈：算法解法的边界

主持人： 我想从你们工作的一个核心论点开始：算法决策系统的普及所引发的伦理问题，其解法本身也应当在很大程度上是算法性的。能谈谈你们是怎么走到这个立场的吗？过去几年，你们在这一点上的想法有没有变化？

卡恩斯： 我想我们是通过技术研究工作走到这个立场的。和在座许多人一样，我们算是比较早接受机器学习和算法的公平、问责与透明（FATE）这套视角的人。所以，当我们读到自己领域违反基本社会规范的报道时，我们和其他人已经在想：你可以等更好的法律和监管出台，也可以现在就去代码里把这个问题修掉。

我们的观点确实在演变，连书稿本身也在演变。我们和许多计算机科学与机器学习圈子之外、但关心这些问题的人谈过，比如监管者，政策制定者，以及在社会机构工作、亲眼见到带有性别或种族偏见的刑事量刑模型造成什么损害的人。至少就这本书而言，最主要的演变是我们指出：我们并不认为算法能解决所有问题；法律、监管和更传统的解决办法仍然大有空间，仍然重要。而且，有些问题，那些真正难的、剩下来的问题，本质上是社会性的。如果街头警察在决定逮捕谁、拦截搜身谁时带有种族偏见，这会体现在数据里。你可能察觉不到，而唯一的解法是让警察少一点种族歧视。这不是算法问题，甚至也不是容易解决的监管或政策问题。

罗斯： 我只补充一点。所有这些问题当然都很复杂，它们的解法大概不可能仅仅通过思考某个范围很窄的算法得出，而不去考虑它们所处的更广阔的社会与算法生态。但是，思考算法公平时浮现出来的许多问题，比如不同的合理公平概念之间的取舍，并不是算法决策特有的。它们只是到现在才浮出水面，因为一旦使用算法，你就躲不开量化的度量，躲不开精确地说明你要什么。可这些取舍，是任何决策过程都无法回避的根本问题，对人类决策者同样适用。很多人觉得「算法」是个吓人的词。作为计算机科学家，作为谷歌的人，我们大概觉得它没那么吓人。但重点不在于对算法做些简单调整就能修复复杂的问题，而在于「废掉算法」同样不是可行的方案，它什么都解决不了。

主持人： 书里还谈到，很多这类后果，是专业的科学家和工程师在庞大复杂的数据集上非常严谨、非常审慎地应用有原则的机器学习方法所产生的。你们也稍微谈到了这套标准方法论里缺失的东西。我在想，这其实说明，我们所追求的严谨科学实践中的许多方面，落在了标准机器学习框架和教育训练之外。比如你们刚才幻灯片上那个例子，那个复制了医疗领域种族偏见的医疗算法系统。如果我没记错，那个系统的问题之一是把医疗需求等同于医疗费用。算法公平社区对此有过一些讨论：人们未能精确地阐明并论证，如何把抽象的社会构念操作化为精确的变量，然后交给机器学习系统去预测。你们能否谈谈，什么样的新型机器学习教育和实践，能触及这些略微超出传统机器学习思维、但仍处在算法框架之内的问题？

卡恩斯： 某种意义上，可以把我们书里公平和隐私那两章看作一份教程：不用离开机器学习领域、不用转行去当社工，你能做些什么来把事情做得更好。顺便说，写这本书的过程中，我们常遇到有人对我们说：你们要是真想帮忙，就该辞了现在的工作去当社工。我说，好吧，我不会那么做。但我想，我们要传达的一个要点，尤其是对这样一群听众，就是有些事情我们能做，而且就紧挨着我们现在正在做的事。

难的部分在于亚伦展示的那些帕累托曲线，误差与公平、误差与隐私之间会有艰难的取舍。但这不是另一种怪兽。如果非要用最干巴巴的话说，这就是从你现在求解的优化问题，变成求解一个带约束的优化问题：目标不变，但加上了公平或隐私的约束。所以在很多方面，对机器学习社区而言，这是唾手可得的果实。当然，摘这颗果实之后，你可能要和业务部门的负责人做艰难的谈话，你得告诉他们：这样做我们的广告投放会更公平，但点击率预测会差这么多，折合每年少赚这么多利润。可至少，你把讨论放到了科学的基础上，而我认为这些部分本来就应该放在科学的基础上。

罗斯： 我觉得这里有两件不同的事。我们在那张幻灯片上的讨论，处于一个理想化的世界：数据干净、正确，标签也对。即便如此，仍然有东西要学。那才是真正涉及带约束的优化问题、需要面对取舍的场景。

至于联合健康（UnitedHealth）那个案例，给不了解的人解释一下：那个模型本应根据患者的一组症状预测其健康结果，以便有针对性地安排新的干预。但他们没有健康结果的数据，于是改用医疗费用来训练：这位患者后来给医疗系统花了多少钱，背后的想法是病得越重花得越多。人们认为，模型之所以表现出偏见，即对两个病情相仿的患者，一位白人，一位黑人，模型倾向于给白人患者建议更多医疗干预，原因在于病情相仿的黑人患者花的钱往往更少。不是因为他们的健康结果更好，而是因为他们获得医疗服务的机会更少。

所以这个案例里，你不一定要面对取舍。问题在于你用错误的数据训练了模型。如果你能出去把正确的数据找来，那不仅可能解决这种不公平问题，还能同时让算法更擅长预测你真正想预测的东西。不过我还是要说，这件事之所以引人注意，只是因为人们恰好在关注公平。但这本该是数据科学教育的一部分，即便我们不在乎公平也一样：哪怕你只在乎总体准确率，用正确的数据训练也能让模型更准确。而它之所以被揭露出来，只是因为有人在《科学》杂志上写了一篇关于这个模型不公平的文章。

主持人： 对，这正是我想说的。相关领域里已经有很严谨的科学实践，专门处理如何把抽象构念转化为可测量的变量。这种跨学科的工作，我认为采纳得远远不够，而且我并不觉得它与算法设计是截然分开的两件事，我认为它们真的应该整合起来。很高兴听到你们也认为这很重要。

再问一个高层次的问题。你们详细描述了机器学习社区里许多令人不安的做法：报告中的偏差，对少数几个数据集的依赖，等等。这些做法既导致了可复现危机，也导致了大量在伦理上可疑的算法设计与开发。我想知道，你们认为整个社区该如何开始转变做法，你们希望看到什么样的新激励结构？这显然不是速效药，是很长期的事，但在座很多人都是这个学术共同体的成员，所以我很想听听，我们作为一个群体，如何朝着更有益于社会、更有伦理意识的方向转变。

罗斯： 简短的回答是，我们在书里确实提了一些技术性建议，也讨论了预注册（pre-registration）运动之类的东西，不过我们认为那种方案限制过严。

卡恩斯： 要是回答得更宽一点，做个更广泛的社会评论，我想，机器学习这个领域如果能不再那么像竞技体育，会是好事。这是相当晚近的现象。我想它是深度学习等方向巨大经验成功的副产品：需要海量数据集，需要大量人手在一段密集的时间里心无旁骛地聚焦于此。这一切都很好。我绝不是要贬低这些技术上的实际进展，在视觉、语音和自然语言处理方面，进展是巨大的。

但请允许我倚老卖老指出一点：机器学习这个领域，过去人们考虑的是许许多多不同类型的学习框架、不同的学习模型，数据集远没有现在这么整齐划一。即便有，也都是些玩具数据集，没有人把它们当作开发和部署服务的正经基准，比如加州大学欧文分校的那些数据集，你拿它们来核对一下结果罢了。绝不会是「我在欧文分校的数据集上开发了这项服务，现在要把它放出去给十亿用户用」。我希望这个领域会自发地重新平衡，回到早先那种状态，不再一门心思盯着单一的学习框架和少数几个数据集。预注册，或者我们书里讨论的更聪明的排行榜，也许是解决方案的一部分。但另一部分，也许就是一种周期性的回摆，回到更多样化的研究图景。

观众问答：政治广告与个体公平

主持人： 好的。有问题吗？

观众： 推特的杰克·多尔西宣布，他们将完全不投放政治广告。而机器学习算法正被用来向用户定向投放这类广告。算法问责与公平的问题，我们经常被问到。你们和亚伦的说法是，并非所有算法都是坏的，我们正努力让它们变好。那么，一个玩家退出赛场，是否给场上其余玩家增加了压力，逼他们真正把这件事做准确？

卡恩斯： 简短说，我对这个具体问题没有很深的想法。我认为，彻底撤下这类广告的政策，比完全没有政策要好。另一方面，我并不认为撤掉那些被「认定」为政治广告的东西，就能消除人们围绕社交媒体政治化的整片阴云。比如，我不认为它直接触及假新闻之类的问题。但有一个清晰的政策，总比没有政策好。

其次，我确实认为，科技行业的竞争格局里，有一些参与者在这些议题上表明立场，在行业内部制造压力，促使大家更认真地思考并采纳这些做法，这是好事。举个例子，苹果成功地（至于有多名副其实可以争论）树立起更关注消费者隐私的声誉，也是差分隐私的早期采用者。我认为这确实营造了一种环境，让更多压力来自行业内部，而不只是来自监管者。

观众： 谢谢。

观众： 我想问，你们认为这本书在多大程度上是当下这个时刻的一张快照？它显然不可能在十年前出版。又在多大程度上，它讨论的是一组持久的问题？因为那份清单上的问题，我们理解得越来越少，而这本书是在勾勒一个提纲和框架，将来会产生重大影响。

罗斯： 正如我们在书的开头所说，这是一门正在成形的科学。你可能合理地认为，这意味着现在写这样一本书为时过早。但我们认为，此刻恰恰是正确的时机，因为正是在想法还在发展的时候，思考它们的智力过程最令人兴奋。我确实认为，尤其是沿着那份清单往下走（甚至可能包括清单上排第二的公平），十五年后的技术路径可能与今天大不相同。

但我认为，关于该做什么的基本前提是持久的。这个前提在隐私上已经成功走通了从白板到产品再到国家级部署的全程。它就是：你必须以严谨、精确的方式认真思考，当你说你要算法「如何如何」时，你到底是什么意思。这个「如何如何」可以是任何词，问责、公平、透明，你对一个人说这些词，对方自然明白你的意思，但对算法而言这绝不是不言自明的。然后，在你提出一个像样的定义之后（提出定义是最难的部分），你还得思考一个科学问题：如何设计满足这个定义的模型，并定量地思考取舍，因为这些东西通常不是免费的。我认为这套总的方法论必定是持久的。即便十五年后人们思考这些问题的具体方式会不一样，他们仍然会在思考这些问题。

主持人： 我快速插一个观众提交的问题。除了计算机科学之外，研究伦理算法最需要哪些技能？对于成功的跨学科合作，你们有什么建议？

卡恩斯： 如果技能指的是某种学术上或技术上的具体本领，我想倒不如说，我最想建议的是一种意愿，一种真正的兴趣：愿意去和邻近领域的人交谈，那些人思考同样的问题，只是从非技术的角度。比如，我们从与宾大法学院同事的交谈中获益良多，他们从法律视角认真思考公平和隐私，包括技术情境下的公平和隐私，而理解他们的观点很有帮助。尤其是理解他们那个世界带来的种种限制。和监管者交谈也是如此。跟科技监管者聊聊，你会发现他们面临的障碍之多，很有启发。他们是聪明人，但身上套着重重镣铐，能做什么不能做什么处处受限，这在很多方面迫使他们落后于他们所监管的公司。所以我认为，在这个领域工作，重要的是理解这幅图景，哪怕它不是那种「你跟某位监管者聊了聊，然后得到一个研究想法，接着去做」的模式。比起计算机科学或机器学习之外的任何具体学科，我更看重对这幅图景的理解。

观众： 我注意到一件事：当人们发现某个算法可能不公平时，算法设计者乃至整个社会往往会去想快速的修补办法，而这个修补办法本身未必公平。举个例子，就拿你们展示的那张大学招生幻灯片，有两个群体。最初那个统一分数线的解法显然有问题。但正如你们刚才建议的，可以把两个群体分开考虑，这看起来是个还行的做法，人们甚至可能会赞同。可是再看数据，你会发现，即便在绿色群体里，也可能有一些正例的点，落在了第二个群体的分数线范围之内。我认为现实中这种事也很常见：容易的解法是抓住一个很容易观测到的变量，比如群体类型。但真正需要考虑的隐变量也许是别的，比如你提到的收入，比如你只能考一次而不是三次。于是今天的情况可能变成，绿色群体里某个人落在了分数线之内，他也同样彻底完蛋了。所以我想问，作为设计者之一，这个问题怎么解决？因为看起来我们是在追求最大效率，有那条曲线，但结果总会有一部分人被落下，哪怕总体上那是最优解。

罗斯： 我认为你恰好点中了这类统计公平概念的一个主要弱点。我们在书里谈过一点，而且这实际上是我们研究的主要焦点之一。顺便说，这也正是我们认为机器学习公平作为一个学术领域落后隐私十五年的原因。我们并没有说现有的任何一个定义有多好。

你指出的是：当你看这些统计公平概念时，比如「我希望橙色人群和绿色人群的错误拒绝率相近」，光是把它说出口的第一步，你就得先说「好，有这么两个我关心的群体，橙色人和绿色人」。而这通常并不容易。而且，仅仅因为我在两个大群体的总体层面上保证了某种统计上的平等，并不意味着我们得出的解法，在各种技术意义上对你这个个体是公平的，甚至对你自认为所属的某些大群体也未必公平，只要它们不恰好是我们事先指定的那些群体。

我不多说了，这是一个活跃的研究领域。有一些办法可以做。有一些公平概念比这些更令人满意，它们不要求事先列出少数几个粗略定义的群体。也有办法在个体层面谈公平。或许我们可以会后再聊。但这就是研究前沿，对于保证这类保护的方法及其含义，我们理解得还不多。所以这是个非常好的问题。我要说，有人在思考它，你也应该去思考它。它还不是一门定论已下的科学。

观众： 好的。

主持人： 非常感谢两位。