'Weapons of Math Destruction' interview with Cathy O'Neil | Vlog

编者按：2016 年秋，《算法霸权》（Weapons of Math Destruction）出版不久，作者凯茜·奥尼尔应邀到访伦敦政治经济学院数学系，与该系访谈者进行了这场对谈。奥尼尔是数学家出身，先后任教于哥伦比亚大学巴纳德学院，任职于对冲基金德劭（D. E. Shaw），再转入数据科学行业，后参与「占领华尔街」运动，并以博客「数学宝贝」（Math Babe）为人所知。谈话从她亲历金融危机的经过说起，一路谈到算法如何在暗处伤人、监管为何失灵、专家为何失信，最后落在占领运动的余绪和写博客的心得。本文依据现场录音编译整理。

从数学系到对冲基金

主持人：今天我们请到了凯茜·奥尼尔。欢迎来到伦敦政经，凯茜。能否先介绍一下你自己和你的经历？

奥尼尔：好的。我受的是数学训练，在哥伦比亚大学的巴纳德学院当过几年教授，后来决定走进「真实世界」，2007 年进了金融业。刚进去，一切就开始崩塌了。所以那段时间待在金融业，很震撼，也很有意思。我在一家叫德劭的对冲基金干了几年，算是坐在前排，看清了什么地方出了问题，尤其是金融危机本身。

奥尼尔：我现在回头看，这场危机的底部埋着一个数学谎言，就是给抵押贷款支持证券（mortgage-backed securities）打分的那套风险模型。它把 AAA 的最高评级发给了这些证券。作为数学家，我为此感到羞耻，我想在座各位也会同意：数学本来应该让信息变得清楚，而不是把信息搅浑。所以我后来转去做了几年风险管理，想在风险模型上出点力。我在风险价值（Value at Risk）模型上干了几年，也做过信用违约互换（credit default swaps）。这段经历我自己认为是失败的。

奥尼尔：我对风险管理这一行也逐渐幻灭，最后彻底离开金融业，把手洗干净，开了「数学宝贝」这个博客。占领运动一开始我就加入了，到今天我还有一个占领小组，每周日碰头讨论。但我总得有个谋生的工作，于是进了数据科学，正好赶上这波热潮刚起。我本来是希望参与一件不会对社会造成破坏的事，就进了网络广告这个行当。可没多久我就发现，同样的错误、同样的问题，在这里又被制造出来了。我开始琢磨一套理论：什么东西会出问题，出的问题会跟金融危机平行或类似。等我有了这套关于「破坏性算法」的理论，我一下子就到处都能看见它们。又过了不到一年，我觉得必须敲响警钟了。

辞职写书

奥尼尔：于是我辞了职。我是靠写一本书来学习怎么写书的。我先写了一本讲数据科学的技术书，叫《数据科学实战》（Doing Data Science），找了代理人，把书稿卖出去，然后才真正开始写这本《算法霸权》。

主持人：也就是说，你写第一本书的时候，心里已经另有打算了？

奥尼尔：对。我当时的想法是这样的：第一，弄明白出版业是怎么运作的；第二，学会怎么写书；第三，这本书本身可以充当一份资历，人们可以说，「写过那本数据科学教科书的女人，现在写了一本书来批评数据科学」。因为我知道，你要拆掉一样东西，最好先弄懂它是怎么搭起来的。

主持人：这一条我最喜欢。

奥尼尔：顺便说一句，我不觉得这三步有哪一步真的照计划实现了，但当时的计划就是这样。事实证明，写那样一本书，和写《算法霸权》这样一本书，是两种完全不同的过程。

什么是「数学杀伤性武器」

主持人：你想出了一个很妙的书名，「数学杀伤性武器」。能说说这个名字是怎么来的，它指的是什么？

奥尼尔：我得坦白，这个名字是我的朋友亚伦·艾布拉姆斯（Aaron Abrams）替我想的，他也是数学家。我告诉他我的原名，工作书名叫「大数据的暗面」，他就想出了「数学杀伤性武器」。我喜欢它，是因为我跟他讨论过一件事。我最早碰到的「数学杀伤性武器」之一，是针对教师的「增值模型」（value-added model）。那是一套统计上漏洞很多的教师评估体系，给教师打零到一百分，打出来的分数几乎是随机的。我有一位朋友在布鲁克林当高中校长，她想把公式要来给我看，得到的答复是：「这是数学，你看不懂的。」我把这件事讲给亚伦听，说：他们在把数学当武器使。在数学家之间，这是不能接受的，这是把数学武器化。他就是在那时候想出了这个书名。

奥尼尔：笼统地说，一件数学杀伤性武器，就是一种算法，它以数学的名义，被当作武器，用来对付它所瞄准的人。这些算法几乎全都是给个人打分的评分系统。这一点很重要，它区分了两类算法。金融算法本质上是在预测市场，市场对大多数人来说是抽象概念；而数据科学算法是在预测人的行为。所以当我想到这层平行关系时，我的感受是：你可以毁掉一个市场，那很糟糕，但人们会注意到；你毁掉的是人，那显然更糟糕，可你未必注意得到。因为受害的是一个个的个人，他们失去的是自己的机会，比如他们想得到的那份工作，想申请的那张信用卡。这里不会有一场飞机失事，所有人都在新闻里看到。只有一个个孤零零的人，在自己的办公室里、自己的家里，被拒绝。

奥尼尔：所以，我说的是那些应用广泛、影响重大的算法。我想聚焦在真正关乎人们切身利益的事情上，同时这些算法又是保密的。只要同时满足这两条，你马上就会意识到：如果它是保密的，又在替很多人做重大决定，那么它几乎从定义上就是不受问责的。

大学排名的连锁反应

主持人：比如大学排名，或者银行体系？

奥尼尔：大学排名我确实谈了不少，大概在第三章，讲的是《美国新闻与世界报道》（U.S. News & World Report）的大学排名。我之所以谈它，是因为它太完美地展示了一件事：一个算法的副作用，它的外部性，说到底就是它的设计选择，能造成多么夸张的后果。你看这个排名这么多年来形成的长期反馈回路：各个大学的院长和行政部门费尽心思，只为了在排名上好看，可他们做出的这些选择，极少有哪一项真正改善了教育。所以我认为它大概算得上一件数学杀伤性武器。

奥尼尔：不过它有个耐人寻味的地方。赋予它权力的，是我们，是我们这些大学教育的消费者。而大多数数学杀伤性武器（再说一次，重要、保密、有破坏性）的权力，来自使用它的人。它们背后通常有一种权力关系：公司对雇员有权力，公司对求职者有权力，司法系统对被告有权力。可大学排名这个例子不一样，是我们太信它了，才把权力交给了它。所以我觉得，这一点我们应该克服，也许我们真的会克服。

激励与意外后果

主持人：这就引到我想问的一个问题：激励与意外后果。即便算法并不保密，比如用学生评教来评价教师，或者按某几项指标给大学排名，人人都知道指标是什么、算法怎么算，它照样可能鼓励一些与排名初衷背道而驰的行为。拿学生问卷来评价大学讲师，在这里以及英国大多数大学都很受重视，可它把「学生满意度」和「教学效果」混为一谈了，这两件事未必是一回事。

奥尼尔：完全正确。

主持人：这样一来，它可能鼓励一些不利于学生学习的行为：不去把学生推得足够远，把目标定得太容易。人会钻空子。这类情况虽然没有保密这一条，算不算某种意义上数学杀伤性武器的子类？

奥尼尔：不算，因为按定义它们不保密，所以不是数学杀伤性武器。但它是有破坏性的。我并不是说，凡是不属于数学杀伤性武器的东西就都没问题。数学杀伤性武器之所以在本质上更成问题，是因为我们不理解它，也就更难反驳它。而且再说一遍，我绝不认为学生评教是判断一位教师好坏的好办法。我自己就有体会：同一门微积分课，秋季开和春季开，来的学生完全是两类人。秋季来的是求知欲旺盛、真心热爱数学的大一新生；春季来的是快毕业的大四学生，这门课挂了四次，不修完就毕不了业。两种态度截然不同。所以我会第一个站出来说，用这种东西做高风险决策是不行的。但好消息是，作为教授，你自己可以把这番道理讲出来，而且教授们其实挺会讲这番道理。所以我认为，这类东西的权力是有上限的。

算法的好处与反建制的误读

主持人：你大部分时间都在集中谈算法结果的负面。我猜你也看到算法有正面和负面两方面，只是人们大多已经理解了它潜在的好处？

奥尼尔：是的，市场部门替我把那部分工作做了。而且通常是夸大其词。话说回来，有很多算法我每天都在用，也真心欣赏。我不是要说我们应该停止使用算法。

主持人：你是说，有些话必须有人说，而别人不说。

奥尼尔：对，我就是屋子里那个愿意站起来说「这样不行，这有问题」的人。不过我自己内心也有矛盾。我坦白一件事：我的书在布赖特巴特（Breitbart）上得到了正面评价。那绝不是我的目标。我猜这本书在某些方面确实有点反建制，但我自己当然不是这么看的。我想要的，是让我们的数据科学里真有科学。我希望你能拿出证据，证明这个数据科学算法确实管用，而不是光告诉我它管用，然后指望我盲目相信。

奥尼尔：所以我的意思有两层：第一，这些东西并没有像你们说的那样管用；第二，请拿出证据。可你去看布赖特巴特那篇评论，它写的是「凯茜·奥尼尔说算法不管用」，然后就停在那儿了，不走第二步。因为他们的目标是瓦解人们的信任，而那不是我的目标。我的目标是让你的信任建立在真相之上、建立在科学证据之上。这才是我想去的地方。我觉得这是一个非常基本的要求：你要根据这些分数开除人，那就先给我看证据，证明它有效。你会惊讶地发现，在大数据算法的世界里，问责少得可怜。

问责与对专家的不信任

主持人：我想深入谈谈「信任」这个概念。我猜，我们让算法而不是人来做决定，原因之一是：一位银行经理对客户说「抱歉，电脑说不行」，比说「这是我做的决定，我为此负责」要容易得多。这里面是不是有一层意思，专家把自己的责任推给了算法？这是否又利用了这样一种心理，即人们被引导去相信，既然是一套确定的程序，那它就一定是对的？

奥尼尔：绝对如此，你说到点子上了。我越想越觉得，我该去找一位研究官僚制度史的学者聊聊，因为我总是绕回到这一点：作为一种官僚机制，算法的设计简直不能再完美了。它正好填了那个位置，让办事员可以说「别怪我」，然后往肩膀后面一指，指向一个谁也解释不了的东西，就像墙上挂着的一块牌子：「您的分数不够」。这种隔着一臂距离推卸责任的便利，正是算法如此流行、并将继续流行的原因之一。再加上可扩展性。可扩展性当然是关键。你看，有一家公司做人格测试，很多很多家大公司都用它来筛掉他们不喜欢的求职申请。这很快就变成一套铁板一块的系统：那套评分系统不喜欢你，你就找不到工作。所以，可扩展、高效率，但最要紧的是：不是我的问题，不是我的责任，别找我问责。

主持人：反过来看，人们本来就对专家越来越不信任了。我说不好这对数学杀伤性武器是好是坏。比如英国脱欧投票之前，政治人物迈克尔·戈夫（Michael Gove）说过，这个国家已经「听够了专家的话」，他就是这样把经济学家们的意见一笔勾销的。你觉得人们有没有可能起来挑战数学杀伤性武器，去问：你这个决定是根据什么做的？有什么证据表明它是对的？有希望吗？

奥尼尔：这是一场危机。我不太确定你问的是什么，你是问人们会不会起来反对这本书，还是反对某个具体的算法？

主持人：两者都问。人们会挑战算法吗？

奥尼尔：是这样的，我自己对此也很矛盾。我希望会，或者说，我希望他们会去要证据，而且我希望他们知道证据长什么样。我显然是在为「更多证据」而呼吁。可至少在我的国家，情况已经到了危机的地步，你都不敢肯定人们还认得出什么是证据，因为他们把假的事实（我应该直接说，就是谎言）当成证据来相信。这就成了一个相当根本的问题。我其实在考虑再写一本书，谈「什么是证据」。因为在某种意义上，我觉得，特朗普当选之后，我原本是在说：我们现在在这里，我希望我们在科学严谨性上往上走到那里；可实际上我们根本不在我以为的位置，我们在更低的地方。那我就想，也许我们得先往上挪到那个位置。所以这事很棘手。我当然不想写一本书，在科学素养这件事上给「无政府状态」再添一把火。我希望人们成为更科学的科学消费者，理想的状态是，作为消费者，主动要求科学证据。但这很难。

展望：监测与审计

主持人：那么往前看，谈到证据，未来有没有可能让算法通过机器学习之类的手段，以理智的方式变得自适应、能响应？我想你在书里以及我看过的访谈里都说过，事情并不是这样运作的。因为算法如果说在学习，也只是从历史数据里学。拿银行贷款来说，一个算法，如果从一开始就不向某个被认为违约率高的街区放贷，它就永远不会观察到那里的人其实会还钱，也就永远不会知道向他们放贷是可以的。所以我们是不是被卡住了？即便算法自称能自适应，它也得不到正确的反馈。

奥尼尔：对。问题有很多种，这是其中之一。但我认为其中很多都可以解决，办法是对算法进行一种新型的监测和审计，这是我们至今没有做过的。所以我是有希望的，其实我非常乐观。我们拿招聘算法来想一想。现在白领岗位的简历筛选算法到处都是：你简历里有什么关键词，你有什么经历。它们比关键词搜索多走了几步，但说到底就是用来过滤申请的算法。可以说，如果它们是根据「过去谁被录用了」这样的历史数据训练出来的，那么这些算法很可能已经学会了带有性别歧视的做法。就当这是一个思想实验。但这其实很容易处理：你给它装一个监测器，看看在按人的标准判定为合格的女性和男性当中，各有多少比例通过了这套系统。如果发现有偏差，你就可以调整。这不是什么解决不了的问题。

主持人：你是说，人们没有在看这些东西？

奥尼尔：我认为他们只是在信任它们。我的意思是，我并不要求完美。我要求的是：我们能不能复核一下，确保那些再明显不过的偏差没有一路漏过去、被不断复制？我不认为我们现在在检查，但我们可以开始检查。

主持人：这让人意外，考虑到我们在其他方面要做多少层保护。

奥尼尔：对，这正是有意思的地方。而且我认为这不是巧合：算法受到的问责比人的流程还少。我们把算法当成客观的数学对象来拥抱，于是人们很容易说：「我们把这个有缺陷的人为流程拿掉，换成算法。」结果换上去之后，事情变得更糟，而不是更好。

主持人：而且变得无法挑战。

奥尼尔：对。这是它的复杂性和不透明带来的部分问题。但我的理论是，你并不需要把代码公开，或者做类似的事。你需要的是对这套系统建立持续的监测，检查它的输出，看总体统计：多少女性，多少男性，多少白人，看看它的运作方式是不是我们认为合理的。

主持人：这正是我们对人做决定时的做法。比如大学招生，大学会监测录取的学生来自哪些类型的学校，把这些数字管住。

奥尼尔：正是如此。所以我要说的其实就是：我们没有像要求人的流程那样，去要求电脑流程负责。这很可笑。

主持人：那怎样才能把这类系统管起来？

奥尼尔：说实话，我谈的大多数东西，因为我坚持只谈重要的事，所以通常本来就是受监管的。法律是有的，招聘、信贷、保险，大多数领域都有反歧视法。所以我要求的，其实只是执法。而现在的问题是，没有哪个监管机构具备监测算法的技术能力，它们甚至不知道该怎么提出自己需要什么。我觉得，哪怕监管者只是说一句「你们必须做这项检查，把结果交给我们看」，那也是一大步。就像大学不会告诉你具体怎么做检查，但你还是得做。这会是一种非常容易的做法。

危机中的幸存者心态

主持人：你刚才提到，你进入金融业的时机特别有意思。我们常听到有人说，金融危机应该怪数学家，因为他们弄出了那些极其复杂的金融产品定价方法。这公平吗？

奥尼尔：我认为，去责怪那些假装抵押贷款支持证券很安全的人，是绝对公平的。他们是应用数学家，在标普、穆迪、惠誉工作。而且还有整整一个行业的人，知道这件事却什么都不说。所以每当我听到有人说这是「黑天鹅事件」，说它太超乎寻常，谁也预测不到，我想说：很多人都预测到了。

主持人：这就有意思了。至少我当时得到的普遍印象是，出问题的是那些极其复杂的金融产品，那些衍生品，除了一小群数学家谁也不真正懂它。问题在于不懂数学的人以为自己懂了，其实没懂。可你说的是，情况比这还糟。

奥尼尔：穆迪内部当时有电子邮件传来传去，他们心里清楚。他们说的大意是：「我们连一头牛都能评成 AAA。」所以他们知道，圈子里的人都知道。不该有任何篡改历史的说法。事实上，我在纽约洛克菲勒中心的彩虹厅参加过一次活动，是德劭为员工办的，请的是拉里·萨默斯（Larry Summers）、艾伦·格林斯潘（Alan Greenspan）和罗伯特·鲁宾（Robert Rubin）。萨默斯当时在德劭工作，我算他的下属，他们三位是来看他的。我坐在前排，听他们三个人谈那些糟糕的抵押贷款支持证券和证券化产品。他们不知道具体会发生什么，但他们知道会出坏事。而这是在危机正式开始之前。

主持人：这个行业现在还是这样运作吗？

奥尼尔：我已经不在那里工作了。但我可以告诉你，我在同事身上看到的态度是：「我先尽量多赚钱，然后搬到犹他州去住，带着我的枪。」一种生存主义者的心态，古怪、末世的调子。我这么说吧：反正不是「我们应该去警告公众」。

占领华尔街

主持人：你之前简单提到了占领华尔街。能说说它是怎么开始的，现在又是什么情况？

奥尼尔：我是从新闻里听说占领运动的。不对，我收回这句话。我有个在金融业工作的朋友，每天上班都要穿过祖科蒂公园（Zuccotti Park）。占领运动第八天的时候，他在我的「数学宝贝」上写了一篇客座博文，基本上是在拿那些嬉皮士开玩笑，我当时也觉得挺好笑。不久之后，我去了现场，赶的是早上九点股市开盘时的游行。我本想找人聊聊，可每次下去，那些人对金融一无所知，我有点看不上他们，心里想：你们连这个都不懂。

奥尼尔：后来我又多想了想，意识到：其实谁都不懂。金融体系太庞大了，比它本该做的事大得太多。我总是想起保罗·沃尔克（Paul Volcker）的那句话：唯一真正的金融创新是自动取款机。那他们在那边到底在干什么？我在那里干了四年，也答不上这个问题，金融业的大部分东西我自己也解释不了。于是到某个时候我想通了：你其实不需要了解一个黑箱内部的每个零件，就能知道这个黑箱出了故障。这后来差不多成了我的座右铭。说来有点奇妙，我的想法是，无论这个黑箱是金融体系，还是某个具体的算法，我们都可以通过看输入和输出来分析它。

主持人：没错。

奥尼尔：所以，就因为人家说不清那些细节而给人打低分、看不起人，是不对的。他们清楚地知道输出是什么：没有工作，背着学生贷款。这个体系对整整一代人都不管用。我开始真正同情这种看法，这就是我加入的原因。

奥尼尔：至于我们现在在做什么，答案是很分散。我想最恰当的说法是，当年的占领者，几乎没有人还留在「占领」这个名字之下了，因为还在聚会的小组已经很少，我的小组也许是最后一个。但他们都在一个进步派活动人士的网络里，我们交流、沟通、组织，很多人在左翼阵营里非常活跃。

主持人：你在写书。

奥尼尔：我在写书，这是我搞活动的方式。我主持周日的会议。还有一个在哥伦比亚大学的联络人，一位经济学家，六年来一直帮我们在哥大订会议室，我打算和他合写一篇论文，讨论怎样以各种形式把工人组织起来。总之，这是一个团体，一个社群，这是最贴切的说法。它未必还叫「占领」了。

写博客的心得

主持人：最后一个问题。我们这里刚开了一个数学博客，而你有一个非常成功的数学博客。能给我们一些建议吗？

奥尼尔：我写过几篇关于写博客的博文，算是「元博客」。有一篇你们可以看看，叫「新年，开个博客」，是讲新年决心的。我把最重要的几条建议快速说一遍。第一条，坚持，每天都写。我自己现在做不到了，但你们应该做到。第二条，享受它。第三条，写你感兴趣的东西，别担心跑题，因为读者其实就喜欢这样，博客本来就是干这个的。再一条，一篇文章永远只讲一个观点，讲好它，然后停下来。有更多要说的，留到第二天。因为如果你有一批好读者，你会收到针对第一个观点的评论，你的第二个观点会因此变得更好。而且文章写太长，人们就不读了。

主持人：那一开始怎么吸引读者呢？你就是开始写，然后人们自己就找到这个页面了？

奥尼尔：我早期运气好。我写过一篇很火的博文，讲我为什么讨厌数学竞赛，这个话题居然有争议。我太讨厌数学竞赛了，讨厌到不能相信这居然有争议。因为我认为数学竞赛把女性和温和的男性淘汰得太厉害了，它让人以为数学是一项计时活动，可数学根本不是这样，这把我在数学里的乐趣全毁了。总之，长话短说，我写了这篇文章，很多人被激怒了，于是我得到了巨大的流量。那大概是我的第二十篇博文。

主持人：正如你所说，有些人拒绝了它。

奥尼尔：不过，别去做标题党。因为我真心认为，我写过的最受欢迎的一篇博文，几乎是一篇哲学性的文章，讲的是张量积（tensor products）：讲我如何通过困惑、通过接受自己对张量积的困惑，学会了怎样过自己的生活。我的意思是，那样也很有趣。真的，什么都能写。有一段时间我在「数学宝贝」上开过一个性生活咨询专栏，我还挺想念它的。我一直请大家来问我关于性生活的问题，可收到的大多是「我怎样才能成为一名数据科学家」。

主持人：非常感谢你，凯茜。

奥尼尔：谢谢你们邀请我。