Fairness, part 1 - Moritz Hardt - MLSS 2020, Tübingen

编者按：本文整理自二〇二〇年图宾根机器学习暑期学校（MLSS 2020）线上课程，主讲人为加州大学伯克利分校电气工程与计算机科学系助理教授莫里茨·哈特（Moritz Hardt）。哈特于普林斯顿大学取得博士学位，曾任职于 IBM 研究院与谷歌，是「机器学习中的公平、问责与透明」研讨会（FAT/ML）的联合创办人，亦是教材《公平与机器学习》的合著者。本讲为其「公平性」系列教程的上半部分，聚焦分类问题中的统计公平准则及其局限。全文依据现场录音编译整理，仅删去口语枝节，问答部分保留了聊天区听众的提问。

开场与讲者介绍

主持人：大家好，欢迎回到二〇二〇年机器学习暑期学校。今天很荣幸为大家介绍下一位讲者莫里茨·哈特。哈特是加州大学伯克利分校电气工程与计算机科学系的助理教授，研究方向是算法与机器学习，尤其关注其可靠性、有效性与社会影响。他在普林斯顿大学获得计算机科学博士学位，之后曾在 IBM 研究院与谷歌任职。他是「机器学习中的公平、问责与透明」研讨会的联合创办人，也是教材《公平与机器学习》的合著者。他获得过美国国家科学基金会的职业奖、斯隆研究奖，以及 ICML 2018 与 ICLR 2017 的最佳论文奖。话不多说，有请哈特。

哈特：非常感谢介绍，也感谢这次演讲的机会。我先共享屏幕。大家能看到了吧？好。

感谢各位来听这场报告。我想给大家做一个关于公平与机器学习的小型教程，讨论在后果性决策（consequential decision making）场景中使用机器学习的局限与机会。内容分为两部分，今天是第一部分，第二部分在周四。

这是一个很难切入的话题，甚至很难说该从哪里开始。我觉得有一点必须先承认：我们生活在一个不平等、压迫与歧视无处不在的世界里，当下的政治事件就足以证明形势之严峻、行动之紧迫。而当我们用机器学习去把这个不平等世界里的种种流程形式化、规模化、加速化时，我们就有延续既有不公的危险。所以，在一个极不平等、充斥着既有不公的世界里用机器学习解决问题，必须格外小心。

不过我也想说，这里面还存在一个稍显脆弱的机会：借此重新审视决策本身，重新审视我们在各个领域是怎么做机器学习的，进而改革现有流程，而且有可能是往好的方向改。我希望机器学习也能成为这场改革的一部分。

从某种意义上说，我的教程甚至不是正确的起点。你们应该先去读那些指出人工智能与自动决策潜在问题的重要著作。近年来这方面的学术成果非常丰富，我举五本书为例：鲁哈·本杰明（Ruha Benjamin）、梅雷迪思·布鲁萨德（Meredith Broussard）、弗吉尼娅·尤班克斯（Virginia Eubanks）、萨菲娅·诺布尔（Safiya Noble）和凯茜·奥尼尔（Cathy O'Neil）各有一本。这些书对用人工智能与计算机技术去解决有社会影响的问题的危险，都做了极其重要的记述。要想了解危险究竟在哪里，应该从这些书读起。你们还应该去看乔伊·布奥拉姆维尼（Joy Buolamwini）、凯特·克劳福德（Kate Crawford）、蒂姆尼特·格布鲁（Timnit Gebru）、拉塔尼亚·斯威尼（Latanya Sweeney）、梅雷迪思·惠特克（Meredith Whittaker）等人的教程与主题演讲，他们在这一领域做了大量工作，对这项技术的危险给出了准确而重要的论述。这才是这个话题的自然起点。

我引一句本杰明的话，我觉得非常精彩。她提出了一个概念，叫「新吉姆法典」（the New Jim Code）：指的是那些反映并复制既有不平等的新技术，却被宣传和理解为比先前那个时代的歧视性制度更客观、更进步。这句话点出了一件事：机器学习与人工智能会给人一种比旧式官僚流程更中立、更进步的印象，而旧式流程构成的是赤裸裸的歧视；可到头来，它只不过是把那些不平等原样复制了一遍。她对这种危险的论述极有说服力。

范围界定：后果性决策中的歧视

哈特：记住这些之后，我来交代本教程的焦点：我主要讨论后果性决策场景中的歧视。也就是说，我关心的决策者通常要做一个二元决定，比如接受或拒绝，而这个决定对当事人有实际后果：招聘、大学录取、申请信贷、刑事司法等等。你们应该以这类场景为参照。

我得说明，这一下就排除掉了世界上许多其他形式的不正义甚至不公平。不是所有的不正义都是决策场景中的歧视。所以这已经是一层范围限制。

第二个限定是，我主要从美国的视角来谈，尤其是我举的例子和法律背景。我知道在座听众的地域分布非常多样，有很多欧洲听众，也有来自世界各地的人。我的例子不一定适用于你们所在社会的法律框架，这是一种局限。但各国的法律状况本来就是碎片化的，把歧视问题当作一个全球性问题来谈并没有意义，它在不同国家呈现出截然不同的形态。

最后，我当然会讲用来处理这些问题的形式模型与框架，因为那是我的专长所在。但这绝不是要削弱或转移刚才提到的那些学术研究，它们依然成立，依然值得牢记。而且至少在我看来，这明确地为非技术性干预留出了空间，也就是不依赖预测或机器学习来解决问题的那些办法。在这个教程里，我们会遇到一些场景，你们当中许多人会被迫追问：我们究竟该不该一开始就用预测或机器学习来解决这个问题？

这就是本教程的焦点。我看到有一些问题，如果现在就有问题，我可以先答一个。好像暂时没有，那我继续。

什么算歧视：不正当的区分依据

哈特：有些人接触这个话题时会说：歧视不就是机器学习的全部意义吗？这也是这个话题早期引来的一种反应。机器学习不就是画一条决策边界，把一些点标为接受、另一些点标为拒绝吗？这必然排除一些人、接纳另一些人。既然如此，指责机器学习构成或参与歧视性做法，岂不是有点过分？

所以我要说明，本教程追究的是不正当的区分依据（unjustified basis for differentiation），而不是任何形式的区分，不是任何形式的接受与拒绝。

什么叫不正当的区分依据？一种情况是实际上不相关（practical irrelevance）。比如性取向与雇佣决定：我们不认为性取向与工作有实际关联，那它凭什么参与招聘决策？还有一种更复杂的情况，可以叫道德上不相关（moral irrelevance）。比如残障状况：为残障员工提供便利可能给雇主带来额外成本，但我们作为一个社会已经决定，这是雇主必须承担的成本；在招聘决策中，我们认定一个人有残障在道德上是不相关的，哪怕纯从统计上看它可能影响其工作表现。同样，怀孕的可能性也不应影响招聘决定，哪怕它可能减少一个人未来的工作时数。这些就是道德上不相关的例子，也正是歧视这个概念想要捕捉的东西。

还要理解一点：歧视不是一个泛用的概念，它是特定领域的。它不适用于所有领域，它针对的是那些关乎重要机会、影响人们生活的领域，而不是机器学习的任何一个无关紧要的应用。它也是特定群体的：它关乎那些具有社会显著性的类别，这些类别在历史上曾被用作不正当的、系统性的不利对待的依据。种族、性别、残障状况，这些在过去曾是歧视的靶子，至今仍是歧视这个概念的核心。所以我们关心的不是随便哪种群体身份。

这就是法律登场的地方。我只简单交代一下法律做了什么、没做什么，作为一个框架。在美国法律里，有一些受规制的领域，也就是存在某种反歧视立法的领域，也有一些不受规制。信贷是重要的一个，有《平等信贷机会法》；教育有一九六四年的《民权法案》；此外还有就业、住房、公共设施。这些都是私营部门的领域，不包括政府领域，那里的法律可能更复杂。

对机器学习来说有一点很重要：我们的很多应用，至少从经济动机上看，机器学习目前最主要的应用可能就是广告。而这些受规制的领域延伸到营销。如果你为信用卡打广告，或者为招聘打广告，那么相关规制同样适用于广告。我再次略去各类政府法律，它们有不同的规则。

美国法律承认的受保护类别包括种族、肤色、性别、宗教、国籍、公民身份等等。这些类别来自不同时期的不同立法。并不存在某一部统一连贯的反歧视法规在某个时刻诞生。这些是几十年的行动争取来的，往往是对政治运动和事件的回应，比如我们现在称作二十世纪六十年代民权运动的那段历史。这些类别至今仍然重要、相关，而且处于变动之中。

就在几周前，最高法院有一个重大判决，基本上是确认了我上一张幻灯片上的内容：针对性别的反歧视法保护延伸到性别认同和性取向。这在奥巴马政府时期被认定成立，在本届政府下曾有反复，这次判决重新确认了它继续适用于这些领域。这个例子说明，这些东西一直在演变，一直有争议，一直是政治讨论的来源。

美国反歧视法的两种原则

哈特：在美国，主要有两种法律原则。我简要说明，这样你们听到这些术语时大致知道是什么意思。要证明某人歧视了你，有两条路。

一条是差别对待（disparate treatment）。它要捕捉的是诸如有意考虑群体身份的情况：我确实查看了你在某个受保护群体中的成员身份，并据此做决定。它也试图捕捉有意的歧视，哪怕没有明确考虑群体身份，但我怀有歧视的意图和目的。可以说，这条原则追求的是程序公平：你给人分类的程序本身，表面上看不构成歧视性做法。

另一条原则叫差别影响（disparate impact）。它要捕捉更间接的歧视形式，那些可以避免的、不正当的、可能是间接的损害。它的目标更偏向分配正义，或者说尽量缩小结果上的差异。差别影响原则允许你这样论证：即便决策者的程序看起来没问题，但结果上出现了巨大的差距，你可以要求雇主为其决策造成的这种差距负责。

人们已经注意到两者之间的张力。有时候，为了避免差别影响，也就是避免不同群体在结果上出现差距，你可能需要明确把群体身份考虑进去，而这恰恰与差别对待原则相冲突。这一点也是这个领域的形式化工作一直在纠结的。稍后我们会看到，有些公平准则明确引用了群体身份，你可以追问：在差别对待原则之下，这算不算问题？它们会不会构成差别对待？

我不是法律学者，这里面显然还有很多东西，我只想让你们有个大致的把握。有几点关于法律的告诫值得记住。美国的反歧视法并不反映某一个连贯的道德理论，它也不是那个道德理论的操作化。这些立法是对社会运动、对民权运动的回应，每一部都是历经时日、经过多番争斗、在不同政党之间达成某种妥协才诞生的。它比一个自上而下的歧视概念要碎片化得多。

尤其要注意，法律没有给我们一个可以直接形式化或操作化的公平定义。作为计算机科学家，我们如果想用形式模型处理这个话题，不能指望翻开法律说「这就是定义，我们只要用正确的方式把它形式化就行」。很遗憾，事情不是这样运作的。

「无意识即公平」为何失败

哈特：那么关于这个话题，我想让你们理解的第一件事，也是我认为这个社群最先学到的一课是：不存在「无意识即公平」（fairness through unawareness）这回事。你不能指望忽略或删除敏感属性就能消除这个担忧。把所有看起来像敏感属性的东西，也就是受保护群体身份的编码，从数据里清除掉，然后祈祷一切顺利，这个想法会错得很惨。

我提到的那几本书里有大量例子，我只举一个。二〇一六年彭博社有一篇报道，讲亚马逊当日达服务的覆盖范围。亚马逊向一批美国城市推出了当日送达，以波士顿为例，你会看到恰好有一个街区被排除在外。蓝色阴影区是当日达覆盖区，灰色区没有覆盖，而那个被排除的街区是罗克斯伯里（Roxbury），一个以黑人或非裔美国人为主的街区。

人们看了这些地图就说，等一下，这太令人警惕了，因为它看起来和旧时的「红线」地图非常相似。这是一张费城的红线图：当年的贷款员手里有秘密地图，把某些区域划掉，标成红色的「危险」区，在那些街区不做生意、不放贷。《平等信贷机会法》的一部分目的就是废除这类做法，让你不能再这么干。人们看到当日达覆盖图，看出了这种相似。

这就是「无意识即公平」失败的一个例子。亚马逊几乎肯定没有看种族，那篇报道也是这么说的，报道甚至说也许他们应该看。我不在场，不知道内情，但亚马逊也许只是在预测各邮编区或各街区的购买量。购买量与社会经济地位相关，而在美国，社会经济地位又与种族相关。所以他们也许只是在预测购买量，一个标准的机器学习问题：看历史数据，跑一遍机器学习，然后画地图。这个例子说明，不考虑这些问题就直接用机器学习，会一路导致各种问题，最终撞上这种让人觉得不公平的结果。

所以，「我们的数据里没考虑那个」这种说法从来不是相关的辩护。这一点必须说得非常清楚，因为至少到二〇一六年，公司还经常拿这个理由说事：我们的数据没考虑那个，我们的模型是中立的，等等。

那么，如果忽略问题行不通，我们该做什么，或者说人们尝试过什么？这是我第一部分的提纲。我会讲一种标准视角，或者说我称之为较窄的视角：分类中的公平准则。我们会讲标准的决策理论设定与监督学习，讲人们在分类的语境下讨论过哪些公平准则，看看它们之间的关系与各自的局限。周四我会转向一种更宽的视角，主要探讨两条研究路线：一是决策的因果模型能对公平说些什么，二是社会技术系统的动态模型可能如何带来对这个问题的不同看法。

主持人：聊天区有一个提问，来自一位听众：这个议题是否应该和那个很成问题的「我不看肤色」的说法联系起来？

哈特：是的，我认为这肯定是相关的。所谓「色盲」政策的想法，确实和「无意识即公平」这一套是一路的：似乎只要你不看某人的种族或其受保护群体的身份，问题就自动消失了。所以是的，两者肯定相关。

这也是个好时机，可以多问一些关于框架的问题，因为我马上要离开背景部分，进入技术内容了。如果有人对这些还有问题，现在正合适。我给大家一点时间打字。

主持人：如果有人有问题，也可以在 Zoom 里举手，然后直接提问。

哈特：好像目前没有别的问题，那我就进入第一部分，统计公平准则。

统计公平的学术渊源与形式框架

哈特：关于公平与分类的形式化工作是从哪里来的？计算机科学绝不是最早研究这个问题的。事实上，先驱性工作来自教育测试界，也就是关心标准化考试的那批人。一位值得注意的学者是安妮·克利里（Anne Cleary），她早在一九六八年就写了一篇论文，讨论教育测试中不同的公平准则，即一场考试公平意味着什么。这和机器学习非常相似，因为归根结底你是在给人打分，试图预测某人的表现，而考试里存在群体差异，这个问题最早就是在那里浮现的。

经济学也有早期工作。加里·贝克尔（Gary Becker）一九五七年的博士论文提出了「偏好型歧视」（taste-based discrimination）的概念；菲尔普斯（Phelps）与阿罗（Arrow）在七十年代对「统计型歧视」（statistical discrimination）做了重要工作。用偏好型歧视和统计型歧视来思考歧视，至今仍是经济学家概念化这些问题的主要方式。

计算机科学基本是二〇一〇年之后才加入的，或许二〇〇八、二〇〇九年有一些早期工作，然后从二〇一六年开始研究爆炸式增长。二〇一六年是个转折点，计算机科学拥抱了公平问题，它成了我们各大会议的主要议题，人们开始广泛地做这方面的工作。

你可能会问，为什么是现在？为什么当年的工作没有解决这些问题？我认为今天算法决策的紧迫性、规模与影响范围都不一样了，算法决策这个想法走得比我们当初设想的远得多。此刻，作为机器学习研究者与工程师，我们不得不做出这些关于「某件事应当如何做」的规范性判断，而在很多情况下我们并没有做好准备。这就是为什么它现在是个紧迫的问题。

你也可以问，为什么要在机器学习的语境下研究它，而不是决策理论或经济学？那些领域也研究这个问题，也应该继续研究。但机器学习推动了算法决策的大量落地，由此催生了新的技术问题。更重要的是，这是想法落地的地方，是这些问题真正冒出来的地方。结果就是我们被迫直面它们，再也不能视而不见。

让我先回顾标准的形式化预测与决策设定，这只是标准决策理论。数据由协变量 X 描述，把它看作一个随机变量。X 可以是多维的，可以是一组特征。有一个结果变量 Y，通常是二元的，我的例子大多是二元的，它有时也叫目标变量。目标一般是给定 X 预测 Y，也就是给 X 分配一个与 Y 一致的标签。X 与 Y 是同一概率空间中的随机变量。

通常我们用监督学习产生一个评分函数，它是 X 的函数，于是成为一个新的随机变量，我记作大写的 R。评分函数把这些协变量概括成一个实值分数。然后我们按阈值规则 D 做二元决定：分数高于某个阈值就是 1，否则就是 0。可以把 1 解释为接受、0 解释为拒绝。这一切应该都很熟悉。这些随机变量在同一个概率空间里，定义在一个总体上，在我们关心的场景中总体通常由个人构成。

评分函数从哪里来？这个暑期学校里很多人在讲这个。它可以来自数据的某个参数模型，比如似然比检验，决策理论讲的就是这个：如果你有数据的参数形式，就能这样得到评分函数。也可以考虑非参数的分数，比如贝叶斯最优分数（Bayes optimal score），也就是给定数据后目标变量的条件期望，至少在平方损失下它是贝叶斯最优的。这是一个重要的评分函数，我之后会时常提到。最常见的情况是，评分函数是用监督学习从有标签的数据中学出来的：用深度学习或者任何技术，在有标签的训练数据上最小化某个损失函数。

不过对本次报告而言，评分函数怎么得来的不是重点，重点是你拿它做什么，也就是决策那部分。所以我们主要谈决策，不谈训练过程，忘掉优化和正则化，甚至忘掉泛化，因为我们谈的是总体层面。我写这些随机变量，就是因为我在总体层面讨论一切，不谈有限样本问题，不谈总体与有限样本之间的差异。

谈到决策，就有标准的混淆表：结果可以是 1 或 0，决定也可以是 1 或 0。两者都是 0，叫真阴性；都是 1，叫真阳性，这是你做对了的情况。错误的情况有两种：结果是 0 而你判为 1，是假阳性；结果是 1 而你判为 0，是假阴性。

有了这些定义就可以谈比率。真阳性率是在结果为 1 的条件下决定为 1 的概率；假阳性率是在结果为 0 的条件下决定为 1 的概率；真阴性率是在结果为 0 的条件下决定为 0 的概率；假阴性率是在结果为 1 的条件下决定为 0 的概率。这就是混淆表上的四种可能，以及由此派生的四个自然的统计量。可以把它们理解为按行归一化，所以有时叫「行统计量」，因为它们谈的是这张表的行。这只是标准图景。

那么统计公平准则做的是什么？到目前为止我们只讲了标准决策理论，根本没谈公平。公平是怎么进来的？人们把公平，或者至少把群体差异，引入这个图景的最简单方式，是再引入一个随机变量 A，编码在某个受保护类别中的成员身份。A 可以是种族的某种编码，或者性别、残障状况等等。先不管怎么编码，也先不管这种编码本身、以及一开始就收集这种数据本身可能带来的伤害。你引入这个随机变量 A，它可以与 X 相关，不必独立于 X，甚至可以是 X 的一部分，是你已有特征中的一个，只是另外给它一个字母。

有了群体身份之后，就可以谈涉及群体身份的各种统计量，进而谈群体差异，也就是这些统计量在群体之间如何不同。这正是人们所做的。这个想法至少可以追溯到六十年代克利里的工作，她当年做的正是这件事，与她当年提出的看群体统计差异是等价的。

我们会回顾三个常见准则，我逐一带大家过一遍。几乎所有已有工作都以某种方式与这三者之一相关。理解了这三个准则，文献里看到的东西大体都能在概念上归到其中一个，未必是形式上等价，但至少在概念上相关。

标准一：独立性与接受率均等

哈特：第一个也是我认为最常见的准则，是接受率均等。你可以直接要求，对任意两个群体 a 和 b，做出正向决定的比率相等。也就是说，接受率在所有群体中相同：如果一个群体有百分之八十的接受率，其他每个群体也必须是百分之八十。

可以把它推广为要求 D 与 A 统计独立，有时就叫独立性准则（independence）。你可以自己验证，如果决定独立于 A，那么这些条件接受概率必然全都相等，心算一下就能得出。你也可以把它施加在评分函数上，要求分数独立于 A，那么对分数做阈值处理，也能保证正向决定率相等。这些说法都紧密相关。要求分数独立于 A，我觉得是一种很自然的表述，它蕴含其余所有说法。当然，人们还提出了这个准则的各种变体、松弛与等价表述。

我们来对这个准则做一点压力测试：设想一些情形，其中满足这个准则并不能排除不公平的做法，决策者可以在满足准则的同时，藏起在直觉上明显不公的决定。这个准则还有别的问题，但我喜欢举的例子是这样的：你可以在一个群体里做出高质量、有依据的决定，也许你对这个群体经验丰富，而对其他群体没有；于是在另一个群体里你做的是糟糕、任意、随机的决定，但你调整得恰好让正向决定率相匹配。你可以说，在多数群体里我照常行事，经验丰富；在某个少数群体里我就抛硬币随机挑人。

我要说，这种情况可能自然而然地发生：如果你在某个群体上数据更少或者质量更差，模型在那个群体上基本失灵。举个例子，有一个叫弗雷明汉风险评分（Framingham risk score）的冠心病风险评估工具，如果我没记错，它是在二十世纪初的一个白人男性队列上建立的，后来用于其他患者，表现差得多。

在一个群体里做糟糕的决定、在另一个群体里做好的决定，这当然令人担忧。这里的道德直觉是：你不应该能拿一个群体里的真阳性去匹配另一个群体里的假阳性。我不该能说「这个群体里我有很多真阳性，为了补上，我在另一个群体里造出很多假阳性」。因为如果你随机接受，你大概率没有挑到最好的那批人，结果是给那个群体建立了一份糟糕的记录。所以我认为这类准则有这个问题。

尽管如此，这个准则非常流行，有大量工作围绕它展开。我特别想提一下里奇·泽梅尔（Rich Zemel）等人关于公平表示（fair representation）的工作。大致来说，目标是用对抗学习等深度学习技巧，训练一种独立于群体身份的数据表示，同时尽可能保留原始数据的信息。也就是从某个特征表示 X 出发，得到另一个表示 Z，让它尽可能代表 X，同时独立于群体身份。人们把这看作一种数据去偏，这个概念有一些问题，我们稍后会回到，但这方面的工作仍在持续。

我想让你们记住的是：当你看到一篇论文说「公平表示学习」之类的东西时，问问自己，它真正达成的公平准则是什么？底层的公平准则不会因为用了深度学习就变得更好。堆砌了大量机器和技巧去达成这个准则，并不意味着它就更公平，或者比独立性多了什么。掀开引擎盖，它仍然是你刚才看到的那个独立性准则。

主持人：有一个给你的问题：对二元决定而言，给不同群体设不同的接受阈值，是不是就足以满足这个准则？

哈特：这是个好问题。的确，如果你只想要独立性，有个更容易的办法：设置群体特定的阈值，把它们调到让接受率相同就行。这正好说到我的点子上：既然有这么直接的办法达成这个准则，那你指望从更复杂的办法里得到什么？应该尽量明确、精确地说清楚这一点。我认为有些论文在这方面做得比另一些好，而且我欣赏泽梅尔的工作，所以这不是针对那篇开创性的论文，而是对这一整条研究线的一般性看法。

主持人：还有一个问题：接受率均等听起来像是「结果平等」（equality of outcome）？

哈特：在某种「结果平等」的意义上，我觉得你说得对。但「结果平等」可以有不同含义，而我已经把「结果变量」这个词用在 Y 上了，所以我不太想用这个说法。不过我想你心里想的大概是对的。

标准二：错误率均等与 ROC 曲线

哈特：认识到用假阳性换真阳性这个问题令人担忧、似乎违背某种道德直觉之后，人们提出了另一组准则：错误率均等。它明确不允许你在真阳性与假阳性之间做交换，要求所有群体有相同的假阳性率和相同的假阴性率。

同样可以推广，而且推广得很漂亮：要求决定 D 在给定结果变量 Y 的条件下独立于 A。不再是简单的独立性，而是条件独立性。对评分函数也一样，要求 R 在给定 Y 的条件下独立于 A。如果你要求的是这个，其余的都随之而来：如果分数在给定 Y 的条件下独立于 A，那么用阈值规则得到的决定也满足这一点，假阳性率和真阳性率的均等也随之成立。这可能是最简洁、最温和的表述方式。

关于错误率均等（error rate parity）有一点要认识到，这让它有点棘手：它是一个事后准则。我解释一下。在决策时刻，也就是必须说是或否的时候，决策者并不知道谁是正例、谁是负例，所以无法在决策时评估这些错误率，它们对决策者是未知的。事后回看，有人可以在每个群体里收集一批最终结果为正的人和一批最终结果为负的人，看看他们当初是怎么被分类的。凭借后见之明，你可以检验这些错误率，但在决策时你做不到。

于是，在这种事后审计的场景里，群体之间的错误率差异常常让人觉得不公。这里又有强烈的道德直觉：等一下，如果一个群体里那些最终结果良好的正例，被判为负例的比率远高于另一个群体，这看上去就不公平。如果这个准则被违反，就好像某个群体承担了不成比例的不确定性负担，成了统计误差的首当其冲者。换一种说法：你希望误分类带来的伤害或不利在所有群体中相同。

可以用 ROC 曲线把它可视化。ROC 曲线是讨论阈值规则的简单办法：假设评分函数取值在 0 到 1 之间，对每个可能的阈值，画出真阳性率和假阳性率，通常得到一条曲线。你可以为每个群体各画一条，表示你的阈值规则在该群体上达到的真阳性率与假阳性率；滑动阈值，就描出这些曲线，一个群体一条。错误率均等告诉你的是：如果你的分数满足这个准则，它的 ROC 曲线必须位于所有这些曲线之下。所有曲线交集下方的区域，就是在满足这个准则的前提下可以实现的真阳性率与假阳性率的权衡。

主持人：聊天区有一位听众提问：对于招聘这类场景，似乎即便事后也无法评估这些反事实结果，那么这个准则在这类场景中还有意义吗？

哈特：问得很好。他指出，有时候一个人没被接受，我们就永远看不到其结果，没有任何记录。比如你没进哈佛，我们永远不知道你在哈佛的绩点会是多少。这一点很重要，答案是：是的，这是个必须处理的问题。以贷款为例，人们会这样估计错误率：你被这家银行拒了，但从另一家银行拿到了贷款并且还清了，那你大概也会还清第一家银行的贷款，这就给了我们估计的依据。但一般来说，这些东西就像潜在结果，你只能观察到其中一个，观察不到两个，所以通常很难估计。好问题。

回到 ROC 曲线相交的这张图，你会看到一件事：如果你强制执行这个准则，可能意味着在某个群体里你做得没有本可以做到的那么好。也就是说，你实际上让某个群体的决定变差了。我认为这是对这个准则的一个合理担忧：仅仅为了让错误率相等，你在某个群体里做得更差，而这本身可能构成对该群体的伤害，因为你明明可以做得更好，这种伤害是不正当的。这就是关于错误率的故事。

标准三：校准与充分性

哈特：回到混淆表，正如我之前说的，你也可以谈谈交换条件之后会发生什么。不谈行准则，而谈列准则：均等形如「给定决定为某值、群体为某值，Y 等于某值的概率」的表达式。也就是把 Y 和 D 对调，现在 Y 出现在事件里，D 出现在条件里，之前是反过来的。这些叫列统计量，它们在统计上同样有意义。两个标准的列统计量是错误遗漏率（false omission rate）和错误发现率（false discovery rate），取决于你选取 Y 和 D 的哪种取值。这两个量在统计学里也很重要，你同样可以问，把它们均等化会得到什么公平准则。从语法上说这样做没有任何问题。

但人们实际上做的是一件密切相关、我认为更自然、也更受欢迎的事，那就是校准（calibration）。我来解释校准是什么。一个分数 R 是校准的，如果给定分数值 r 时观察到正结果的概率恰好等于 r。这意味着你可以把分数当作概率来用，虽然它可能并不真是概率，在个体层面肯定不是，但平均而言你的分数表现得像概率。如果你看到某人分数是 0.8，你就知道，在分数为 0.8 的人当中，正结果率是 0.8。如果我看到你的心脏病风险分数是 0.9，我就知道，在分数为 0.9 的人群里平均来看，患心脏病的概率是百分之九十。

然后你可以要求分类器不仅在整个总体上校准，而且在每个群体内校准。这是一个更强的条件：多加一层对群体的条件，要求分数在每个群体内都表现得像概率。即便你只看某一个群体，该群体内的分数仍然名副其实。

想一想就能证明，按群体校准可以从一个条件独立陈述推出：结果变量 Y 在给定分数的条件下独立于群体身份。换一种说法：就预测结果这个目的而言，你的分数已经包含了你需要知道的关于群体的一切。换句话说，如果我唯一的目标是预测 Y，那么在观察到分数 R 之后，我没有兴趣再去询问你的群体身份。这是一个很自然的保证：知道了你的分数，就不必问你的群体身份。看到 0.7，它在所有群体里意思相同，我不必说「请再告诉我你的群体，如果是这个群体我加 0.1，如果是那个群体我减 0.2」。不需要做这种心理体操，分数在所有群体里意思一样。

因此，校准是一个事前的保证。决策者看到分数值 r，在决策时就知道正结果的频率是多少：分数 0.8 意味着，在每个群体内，得到 0.8 的人平均有百分之八十的心力衰竭率。你不需要询问群体身份。

但别对校准过于兴奋。它不是关于个体的保证。玛丽拿到 0.8，不意味着玛丽个人，在她精确的特征条件下，有百分之八十的心力衰竭概率。它只意味着，在得到 0.8 分的人当中平均而言，正结果的频率是百分之八十。这就是校准。

还有一件事要注意：按群体校准，以及一般意义上的校准，往往是无约束学习自然产生的结果。它不一定是对学习的一个约束，而常常是机器学习本来就给你的东西。有一个定理说，在某些条件下，偏离按群体校准的程度，也就是如果你放松这个条件之后偏离了多少，被你的分数相对于贝叶斯风险、或者说相对于贝叶斯最优分数的差距所上界。比较你学到的评分函数与贝叶斯最优分数，两者性能的差距给出了按群体校准被违反程度的上界。你机器学习做得越好，越接近贝叶斯最优分数，按群体校准就满足得越好。这来自我和刘丽迪雅（Lydia Liu）、马克斯·西姆乔维茨（Max Simchowitz）几年前的工作。换句话说，看到无约束监督学习近似地产生校准，你不必惊讶。

这里有一张图：在 UCI 成人数据集上直接跑逻辑回归，不做任何调参，就会看到这样的校准图。按分数十分位从一到十，看正结果的比率，男性和女性基本都是对角线。完美校准就是一条对角线，这已经非常接近了。

主持人：聊天区又有一个问题：分数校准与道德相关性的问题怎么联系起来？我们可能校准得同样好，但某个群体的人在现实中还是可能处境更差，怎么调整分数来处理这一点？

哈特：这是个很棒的问题，我很喜欢你的思路，你已经把道德相关性这个概念内化了。我可以用一个例子说明校准的问题，而且我认为这同样是最优学习本身的问题，因为最优的机器学习总是校准的，贝叶斯最优分数总是校准的。

假设我想预测职场生产力，并把生产力定义为你未来十年的工作小时数。假设我机器学习做得极好，给出的正是精确的贝叶斯最优分数：我知道在你的特征条件下未来工作小时数的确切期望。问题在于，一个有残障的人，或者未来可能怀孕的人，分数会更低，仅仅因为分数正确地识别了未来工作时数的损失。可这正是我们认定在招聘中道德上不相关的东西。所以这是个很好的例子，说明按群体校准解决不了道德相关性的问题，最优预测一般也解决不了。最优预测会利用它能利用的一切：只要某条信息能提升预测精度，它就会纳入，哪怕我们作为一个社会认定它不相关。

子群体漏洞与不可能性定理

哈特：关于这些群体公平定义还有一点要说，它不限于校准，而是对所有准则都成立：如果你在两个群体之间保证了某个公平准则，这可能导致在其中一个群体内部出现违反，而且往往是更触目的违反。这催生了关于子群体公平的工作，有两篇论文开启了这条线：一篇是卡恩斯（Kearns）、尼尔（Neel）、罗斯（Roth）与吴（Wu），另一篇是赫伯特-约翰逊（Hébert-Johnson）、金（Kim）、莱因戈尔德（Reingold）与罗斯布卢姆（Rothblum）。

卡恩斯等人有一个虚构的示例：有蓝、绿两个群体，你在每个群体里接受相同比例的个体，用这些圆圈表示。然而，在一个群体里你只接受男性候选人，在另一个群体里只接受女性候选人。这样一来，只要看这些子群体，就会发现独立性准则被严重违反。你可以为所有准则构造类似的例子。

我认为这是一个真实的担忧。宾夕法尼亚大学卡恩斯团队把它叫作「公平选区操纵」（fairness gerrymandering），我喜欢这个说法。如果你强制施加某个约束，机器学习通常会以最偷懒的方式去满足它，所以你不应指望在子群体内部会有什么聪明的事发生。均等化某个统计量之后，子群体里很可能有恼人甚至令人警觉的事情在发生。

我们回顾一下进展到哪里了。还有半小时，时间充裕。我们看了三个准则：第一个是独立性，第二个是条件独立性，R 在给定 Y 的条件下独立于 A，第三个是另一种条件独立性，Y 在给定 R 的条件下独立于 A。第一个蕴含接受率均等，第二个蕴含错误率均等，第三个蕴含按群体校准。我喜欢这样表述，因为用条件独立性来理解它们非常容易。我想你们到这个阶段应该已经听过图模型或因果的课，理解条件独立性，这也是记住它们的好办法。

把多个公平准则摆出来之后，人们自然会问：能不能全都要？能不能构造一个神奇的预测器，同时满足这一切，得到最好的世界？人们很快发现，答案是不能。形式上可以这样陈述：这三个准则中的任意两个在一般情况下互斥。除非在退化的条件下，你不可能全部拥有。

我只给出一个形式陈述，略去其他可以证明的陈述，这一个是错误率均等对校准。定理如下：假设基础率（base rates）不相等，也就是两个群体的正结果比率不同，一个群体的正结果率高于另一个；再假设你的决策规则不完美，错误率非零，至少有一个假阳性和一个假阴性。这是一般情况，因为我们生活在一个不平等的世界里，群体的基础率往往不同，而我们通常也没有完美的预测器，预测器会犯错。在这些一般性的假设下，如果满足按群体校准，那么错误率均等必然失败。特别地，如果你只做无约束的机器学习，得到了按群体校准，那就意味着你默认就违反了错误率均等。强制其中一个，另一个就变成假的。

最初的工作来自乔尔德乔娃（Chouldechova），以及克莱因伯格（Kleinberg）、穆莱纳森（Mullainathan）与拉加万（Raghavan），他们证明了类似的陈述，不完全是这个。后来有大量跟进工作研究放松这些准则之后会怎样。放松之后的情况不那么容易说清，对某些松弛版本存在一些非平凡的权衡是可能的。

COMPAS 之争与两重告诫

哈特：但我想转而谈的是，这些权衡如何主导了围绕一个重要问题的学术讨论，那就是美国的再犯预测。二〇一六年五月左右，ProPublica 发表了一篇里程碑式的报道，题为《机器偏见》，指控全国各地使用的一款预测未来罪犯的软件对黑人存在偏见。它引发了大量讨论。

COMPAS 之争的核心，至少投射到学术圈、投射到计算机科学界所讨论的部分，是这样的：有一个叫 COMPAS 的风险评分，美国许多司法辖区用它来评估被告获释后再次犯罪的可能性。当你必须决定是羁押还是释放一名待审被告时，它用来估计该被告获释后再犯的风险。法官可以部分依据这个分数决定羁押，它不是法官看的唯一东西，但可以用。

ProPublica 考察了那些最终没有再次犯罪的被告，注意到在这些人当中，黑人被告被评为高风险的比例远高于白人被告。换个说法，这个分数的假阳性率对黑人被告显得远高于白人被告：黑人被告更可能被贴上高风险的标签，尽管他们并没有再犯。

COMPAS 的开发商 Northpointe 回应说：没错，但我们的分数是按群体校准的，而黑人被告在美国的再犯率更高，所以这是不可避免的。他们的意思是，我们只是在做本职工作，把分数校准好。如果分数不校准，法官就得做心理体操：被告是白人就加三分，是黑人就减一分之类。为了避免这种事，分数必须按群体校准，而这不可避免地导致那个差距。

不管好坏，这大体上就是那场讨论的内容。学者们被这个想法吸引：这个复杂的问题似乎归结为某种统计上的权衡，可以用数学工具和严格论证去处理。

我想对 COMPAS 之争加两重告诫。第一重是，错误率均等和校准在这个场景中都不能排除不公平的做法，所以争论它们已经有点像在打稻草人，因为两者都排除不了你真正该担心的事。特别是，刑事司法中什么是公平，不是靠符合其中某一条准则就能解决的，我们不能把正义或刑事正义的问题归约为其中一条准则。我想给你们一个构造性的例子来说明这一点，说明这两条性质都不是公平证书，不是公平的证明。

先看错误率均等在这种场景里为什么有问题。考虑两个群体，蓝色群体和橙色群体。阈值规则是：分数高于 0.5 的一律羁押，低于 0.5 的一律释放。分数写在这些小人下面，蓝色群体从 0.1 到 0.7，橙色群体从 0.2 到 0.9。再假设这些分数就是这些人真实的再犯概率，也就是给定个体协变量后再犯的条件期望，姑且当作真实概率。

基于这些真实概率，可以算出羁押率和假阳性率：蓝色群体羁押率百分之三十八，橙色群体百分之六十一。橙色群体被羁押的人多得多，所以独立性被违反了。橙色群体的假阳性率也高得多，所以错误率均等也不满足。

你可能会问，怎么修？假设你是一个警察部门，被指控在一个群体里的羁押率远高于另一个群体，你能做什么？这个例子的要点是：达成错误率均等有非常坏的办法，达成独立性也有非常坏的办法。比如，你可以对橙色群体更激进地执法，逮捕更多低风险的人，也就是那些再犯风险很低的人，然后把他们释放。这样你只是在给橙色群体里将被释放的被告数量注水。这么做之后，羁押率可以降到百分之四十二，假阳性率降到百分之二十六，两个群体看起来就相近了。

主持人：这里有一个问题，问答区里的：对于一个具体问题，我们该如何选择正确的准则？有什么建议吗？

哈特：好问题，我稍后会回到这个问题。先让我把这个例子讲完，因为正讲到一半。等我讲到公平准则的用途时，请提醒我。

所以，这很令人警惕。它说明，如果你激励某人去满足错误率均等，他们可以用偷偷摸摸的方式达成，甚至用伤害更大、引入额外伤害的方式达成。作为激励、作为要追求的目标，这可能是一个非常成问题的准则。

校准也有一个值得指出的问题。再次假设这些是真实的再犯概率，假设我们知道它们。现实中通常不是这样，但为了这个例子姑且假设。顺便说一句，这两个例子都来自科比特-戴维斯（Corbett-Davies）、皮尔逊（Pierson）、费勒（Feller）、戈尔（Goel）与胡克（Huq）二〇一七年的论文，是他们慷慨提供给我的。

还是羁押所有高于 0.5 的人，要求满足校准，但我想释放这个群体里的所有人，就想给这个群体放一马。校准允许我做的一件事是：选出一个子集，让它们的分数平均到某个特定值。这里我挑出分数为 0.1、0.1、0.2、0.2、0.2 和 0.6、0.6、0.6、0.7、0.7 的这些人，它们平均下来是 0.4。校准允许这样的平均操作：把所有这些人的分数都替换成它们的平均值 0.4。这样得到的分数依然是校准的，而现在没有人被羁押，所有人都低于 0.5 的羁押阈值。所以在校准之下也可能发生这种偷偷摸摸的操作，而这个准则检测不出来。

未出庭案例：该不该做预测

哈特：现在说关于刑事司法这个例子的第二重、也是更重要的告诫，然后再谈这些公平准则的适用范围，也就是刚才那个问题。

人们在刑事司法的语境下长篇大论地讨论这些公平准则，讨论所有这些权衡，讨论从不同准则中能学到什么。但还有一个问题：我们一开始就把自己绑在预测视角、统计视角上，是不是错过了问题的大部分？这个问题是不是比统计视角所暗示的复杂得多？学术辩论围绕这些准则之间的张力展开，人们也正确地指出警务中存在反馈回路，会扭曲测量：你只在你执法的地方测得犯罪，这就不利于那些执法更密集的群体，在美国主要是黑人街区，你在那里收集到更多犯罪记录，所以你一开始的数据就很糟糕。但这也不是我的主要观点。

我的主要观点是：有时候问题不在于我们怎么预测、用什么数据、选什么目标函数，而在于我们一开始就选择把这个问题表述为一个预测问题。有一个例子我觉得非常有说服力，就是未出庭（failure to appear）问题：预测被告会不会到庭。这在美国刑事司法系统里同样是个重要问题。一种做法与再犯预测类似：你有一个被告，给他定了三个月后的开庭日期，你希望他到时出现，又不确定他会不会来，于是你可以做机器学习来预测未出庭。很多人在做这件事，很多人在推动把它作为全国刑事司法改革的一部分落地，用预测未出庭的风险评分取代人类法官。想法是：分数高就继续关押，分数低就释放。

从这个时点到开庭可能相隔三个月甚至更久。如果你先被关三个月，第一，把人关在监狱里通常很昂贵；第二，这对当事人是毁灭性的。他们会丢掉工作，失去社会联系，生活被彻底打乱。即便他们原本处境相当安全稳妥，等到出狱、洗清指控时，很可能也回不去了，要挣扎着重新站起来。审前羁押是极具破坏性的。

我觉得有说服力的替代方案是认识到：人们未能出庭，往往是因为缺少托儿服务或交通工具，因为工作时间冲突，雇主不放人，或者仅仅是因为开庭次数太多。几年前的一届「公平、问责与透明」会议上，有一位曾经身为被告的黑人讲述，他在最终被免除指控之前经历了二十二次开庭。不是一次，是二十二次。如果你在第十五次没有出现，就会被记录为未出庭，哪怕其余各次你都到了。

认识到这一点，更合理的做法也许是给人们发放托儿券或交通券，强制雇主放人出庭，同时努力减少开庭次数，让这份负担更容易承受。你可以采取这些措施去缓解问题，而它们没有一项和预测有关。这个替代方案实际上已经成为哈里斯县（Harris County）诉讼和解协议的一部分。哈里斯县是得克萨斯州的一个县，有人对该县使用这类风险评分提起诉讼，和解协议要求哈里斯县在法院提供免费托儿服务，建立双向沟通系统等等，落实这类结构性干预，让贫困被告不至于一开始就处于劣势、被这个系统进一步惩罚。

在这种情况下，我很难为一开始就使用预测辩护，因为落实这些别的措施显得更直接、更重要。我个人一直觉得这条论证很有说服力，作为一个搞机器学习的人，面对这些替代方案，我很难继续坚持预测那一套。

统计视角的局限与总结

哈特：这里我要回到刚才那个问题：这些统计准则究竟窄在哪里，什么让它们受限？统计公平准则把数据生成分布当作既定的，只用 X、Y、R、A 这些随机变量的联合统计量，也就是观测性的联合统计，你也可以往同一个总体里加入任何其他随机变量。结果是，它们能告诉你的，被限制在总体的联合统计量所能告诉你的范围之内。特别是，你不能改变总体，不能考虑反事实假设，不能干预产生这个联合分布的世界。从某种意义上说，它非常被动：把世界的现状照单全收，于是失去了一整套干预手段。

周四我要做的，就是探讨这个问题：如果我们承认统计视角可能太窄，排除了太多干预，把焦点放在了不一定针对正确问题的地方，那么我们该如何把显著的社会事实与社会语境纳入考量？如何让我们的模型更能感知那些真正重要的更宽泛的问题？这是周四第二部分的主题。

现在总结一下，然后再回答一些问题。第一件要记住的事：「无意识即公平」是失败的。

第二件事更微妙一些。我仍然觉得这些公平准则有意思，因为它们能触发不同的道德直觉，我认为这是一个被低估的机制。人们常常想要一个公平的定义，然后失望地发现这些东西不是公平的定义。它们确实不是公平的定义，绝对不能证明某件事是公平的。但它们确实会触发道德直觉，这只是一个经验陈述。ProPublica 对错误率均等不成立感到愤怒，这就是一种道德直觉，而且很难反驳，因为它捕捉到了我们关于决策应当如何做出的某种道德理解。

因此，这些准则仍然可以用来揭示关于决策的各种规范性问题，帮我们更好地把握在某个场景里，决策的做法究竟哪里让我们不安。它们会引出各种权衡与张力，我认为这是一场重要的对话。这场对话不是要一劳永逸地裁定什么公平、什么不公平，它是一个更微妙的机制，帮助我们讨论自己对决策应当如何做出的理解与期待。

但正如我说的，公平准则本身不能作为公平的证明。我认为至少在我描述的这个统计设定之内，不可能有公平的定义。我确信，在这个统计设定之内不存在令人满意的公平定义。公平准则本身也不是好的目标函数。正如我在错误率均等与警务的例子中展示的，你不希望把这些准则变成激励，不希望激励人们去追求它们。把它们当作衡量现实世界的量规、测量工具，是一回事；要求人们去优化它们，是另一回事。

问答：干预、多分类、内容审核、身份

主持人：有几个问题，问题还在不断进来。第一个来自一位听众，他说：你对预测是否过于悲观了？在有些场景里我们不知道什么是正确的干预，而对给定 X 时 Y 的条件期望做出好的估计，实际上可能帮助我们找到干预。比如在未出庭的例子里，可能会发现带着幼儿的女性更容易未出庭，从而凸显出托儿服务是更好的干预。

哈特：这是很好的观点，谢谢提问，也谢谢你来听报告。人们是怎么发现缺乏托儿服务是未出庭的重要因素的？他们大概也在某处用了统计。我绝不是在对统计的使用做笼统的指控，那确实走得太远、太悲观了。但他们提问的方式很可能非常不同：我们对未出庭的原因做因果推断吧。的确，这个条件期望可能以某种方式融入那种理解，或者某种形式的统计至少能给出好的答案。也有可能，仅仅是把预测做得更好，你就能通过观察模型找出一些显著因素，从而帮助理解。这些我都同意。

但我认为这是一种不同的问题框架，我们首先要在「这是我们要追求的问题框架、这是我们做统计的目的」上达成一致。只要我们说目的就是把这些风险评分装上去，用来给审前羁押分类，我们就可能无意中放弃了问题的这些不同框架。不管怎样，我认为都会有好的技术工作的空间。提出这些替代干预，不是说这些事情里就没有任何有趣的研究问题，它只是对问题的一次重新框定。

主持人：下一个问题：在多分类与回归任务中，二元公平准则会增加哪一层复杂性？

哈特：有一点要说明：这些条件独立或独立的陈述，可以直接推广到任意随机变量。离散的肯定可以，稍微费点力气也能处理连续变量。你可以有任何离散的群体身份变量，任何取多个标签的离散结果变量等等。所以这些条件独立陈述已经适用于多分类与回归任务，这也是我喜欢用这种方式表述的部分原因。好问题。

主持人：另一位听众问：在预测是必需的场景里，比如内容审核，你对公平性要求有什么看法？最近的研究显示，许多模型对非裔美国人英语内容的标记率更高。有没有什么公平准则能在这类预测必要的场景中缓解偏见？

哈特：很好的问题。有些场景里，仅仅因为人力资源不足，我们就需要求助于某种形式的算法审核或内容策展。姑且接受这个前提，虽然这本身可能是另一场辩论。是的，毒性分类、情感分类、辱骂分类等等，都存在针对比如非裔美国人说话者的严重偏见，因为训练数据里他们使用的词语或短语与标签之间存在相关性，导致他们更容易被标记。这是个大问题。我认为这会违反其中许多准则，错误率均等肯定被违反了。这又是一个例子：这里触发的道德直觉是有效的，我们觉得这非常令人担忧，而且确实如此。

但我不认为这些准则在这种情况下能给你缓解问题的办法。像情感分类或毒性分类这样的任务，我认为本身就是很成问题的预测任务，因为目标变量非常模糊。我知道我们是在「必须这么做」的前提下讨论，但从某种意义上说，我也想重新审视这个前提，因为我不认为这是表述这些问题的正确方式，它会撞上这些问题。这些准则本身并不会告诉你该怎么做，它们只会把这标记为一个问题，不会告诉你接下来往哪里走。在这些情况下该怎么办，目前有很多工作正在进行。

主持人：另一位听众问：校准是否应该考虑个体特征，以防止在群体校准之下群体内部的那种随机化？

哈特：正是如此。这就是我举的橙色群体和蓝色群体的例子，做那种平均操作会得到不希望看到的结果。给定 X 时 Y 的条件期望，即便在具体特征层面也满足校准：对每一个 X 都成立的这个条件，是一个强得多的条件，基本上就是最优预测的条件，是一个强得多的设定。有一些论文尝试逼近这种更强的条件，这与子群体问题有关。我想刚才提问的那位听众本人就有这方面的工作，斯坦福的欧姆·雷因戈尔德（Omer Reingold）、盖伊·罗斯布卢姆（Guy Rothblum）、迈克尔·金（Michael Kim）也有论文，尝试对更丰富的子群体实现校准，这会逼近那种更强的保证。

主持人：还有一位听众问：之前有人提到接受率与结果平等的关系，能否澄清一下这种关系？

哈特：我想请之前提问的那位说明他所说的「平等」是什么意思，等我们在这一点上达成共识，我回答起来会更有把握。

主持人：还有一位听众问：你觉得由谁来做这项工作重要吗？我们都属于某些群体，有些人比别人更有特权，我们该如何看待这一点？

哈特：我先回答第二句。第一个问题我一开始没完全看懂，是问我是否认为，从身份的角度看，由谁来研究这些问题是相关的？是的，这很重要。我认为在这个问题上，我作为一个享有特权的白人男性，视角是非常有限的。我一直是从一个很有限的视角出发研究形式模型。我无法讲述被歧视和被压迫的亲身经历，正因如此，让那些能讲述亲身经历的声音居于中心，是绝对重要的。报告开头我列了一批做这件事的学者，我认为那才是你们该开始的地方：对问题的记述，对经历的记述，这是绝对不可或缺的。

所以，这个教程不应该是你们在这个话题上的唯一来源。它只是对这一领域形式化与技术性工作的一种视角，你们绝不该止步于此。我认为正确的方式是，我们都从多种不同的来源、从多元的来源学习，其中一些更直接地讲述亲身经历。这是个重要的问题。我刚意识到这是一条私信提问，我却公开回答了，希望这没有违背你的本意。

主持人：提问者说本来就是打算公开的。刚才有位听众问过结果平等的问题，他现在在嘉宾席里，也许可以直接说。

听众：你好。我之前问的是「结果平等」的澄清。我知道时间快到了，如果你们想结束，我可以晚点再问。

哈特：没关系，我们给它一分钟。

听众：其实我并不知道「结果平等」到底是什么意思，我不是搞政治或伦理学的，它只是听起来很重要，所以我才请人澄清。

哈特：我觉得可以这样理解：如果把「结果」理解为你的决定，而你只是在比较这个决定上的接受率，那么这就是某种意义上的结果平等。但我不认为这个准则捕捉到了道德哲学家所说的「结果」，那大概是一场我们之后该另找时间进行的更长的对话。

听众：明白。有没有什么资源讨论这两者的对应关系？

哈特：我不认为有人尝试过。这是个好问题，也是我和合著者索隆·巴罗卡斯（Solon Barocas）经常碰到的：从这些准则到道德哲学之间，没有清晰的映射，反过来也没有。不是说对每一条准则你都能指出「它追踪的是道德哲学里的这一块」。我们曾经尝试过这样的综合，一度抱有很高的期望，但没走多远。可能有很多人能给你更好的回答，但我一时想不出哪篇论文讨论了这种精确的对应。

听众：非常感谢，这个回答本身就有帮助，至少说明了这是个大问题。

哈特：是的，机器学习中的公平研究与哲学之间的对应关系，在我看来非常不清楚。如果你在哲学系有同事，这是个很值得和他们聊的问题。

结束语与 MLSS 花絮

主持人：非常感谢莫里茨精彩的报告，我想大家今天都从你这里学到了很多。有一个信息通知：半小时后我们有一场与莫里茨的圆桌讨论，可以把一些讨论延续到圆桌上。休息之前，还有几段来自组织方的短视频，我来放一下。

视频发言人：在我看来，机器学习完全建立在统计依赖之上：我们看到某些量与另一些量相关，然后用一个去预测另一个。通常机器学习不会追问这些依赖从何而来，而我认为它们来自底层的因果关系。如果我们关心的是当世界上某些东西发生变化时该怎么做机器学习，也就是在一个问题上训练、在另一个问题上测试，这种情况在动物和人类身上时刻发生，那我们就必须更细致地看待事物。

视频发言人：这个问题很难。我在研究上不算系统，不会在一月一日醒来就决定明年要做什么，然后按部就班地执行。对我来说，一个很大的灵感来源是和业界的人交流，了解那些我甚至不知道存在的实际问题。这比读文献高效得多。我倾向于做自己喜欢的东西，而不是因为某个方向热门、大家都在做就去做。我在很大程度上是被做研究的乐趣驱动的，被那些不管别的、我就是觉得有意思的东西驱动。我本来不想用「热情」这个词，因为作为意大利人，热情太多有点老套，但这是真的。我认为人应该被好奇心和热情驱动，那是一种非常好、非常健康的驱动力。

视频发言人：最好的体验大概是讲者与学员之间的亲近氛围。对我个人而言，五年前我第一次参加 MLSS 是作为学员，如今是作为讲者。最有趣的其实是那件 T 恤：当你走出这个圈子，经常有人问你为什么参加。

主持人：非常感谢大家，本节到此结束，二十分钟后我们在与莫里茨·哈特的圆桌讨论上再见。谢谢，再见。