Atlas of AI: Kate Crawford in conversation with Judy Wajcman

编者按：2021年春，凯特·克劳福德（Kate Crawford）的新著《AI地图集：人工智能的权力、政治与地球代价》（Atlas of AI）在英国上市数日后，艾伦·图灵研究所线上举办了一场对谈。克劳福德是微软研究院高级首席研究员、南加州大学安纳伯格学院研究教授，AI Now研究所联合创始人。与她对谈的朱迪·瓦伊克曼（Judy Wajcman）是伦敦政治经济学院社会学教授，主持图灵研究所「数据科学与AI领域的女性」项目，长期从事科学与技术研究（STS）及技术女性主义研究。本文依据现场录音编译整理，仅删去口语枝节与寒暄，论证与细节悉数保留。

STS视角与「权力登记册」

瓦伊克曼：今天有几百人在线，这本身就说明凯特作为研究人工智能社会与政治影响的学者，声望有多高。我知道在座大多数人还没来得及读这本书，它在英国真的是这两天才刚上市。所以我想先用几分钟讲讲，我为什么如此欢迎这本书。老实说，我是一路点头读完的，因为它极其丰富地示范了如何用科学与技术研究（STS）的视角去审视一项新技术，而且带着恰到好处的马克思主义色彩。对我来说，这正是思考这些问题的理想透镜。

第一，我喜欢这本书每一章都是历史性的。你把每一项技术发展放回它诞生的历史语境，展示这些起源如何嵌入技术本身，无论是人脸识别还是情绪识别。你在全书中反复强调，要理解这些系统如何运作，必须先理解它们从哪里来。这一点我完全赞同。历史视角还提醒我们，早先几轮技术革命时，我们已经有过许多同样的讨论。我是在二十世纪八十年代微电子革命时期进入这个领域的，我清楚记得当时关于技术影响的争论，无非是一种简单的二元对立：乌托邦还是反乌托邦。STS这个领域，很大程度上就是为了回应那些争论背后的技术决定论而兴起的，它强调技术从来不是自主的，而始终受社会、政治与经济力量的塑造。凯特，你说得非常清楚，人的选择嵌在设计与架构之中，用今天的话说，嵌在技术的物质性里，不管是硬件还是软件，不管是兰登·温纳（Langdon Winner）笔下的那些桥，还是AI系统。

第二，你选择用地图集（atlas）或者说地图作为透镜，这让我很感兴趣，也完全把我说服了。我得多琢磨琢磨，因为我向来对时间比对空间更在行。但我确实认为这是一个绝妙的透镜，它让你能把「基础设施」的概念延伸到行星尺度，涵盖哈特与奈格里（Hardt and Negri）所说的信息资本主义中抽象与采掘的双重运作，包括自然资源的代价及其劳动过程。所以，秉承马克思主义揭露商品拜物教的优良传统，你揭示了AI生产的物质条件，揭示它的整个生命轨迹：一个AI系统从矿物与能源开始，经过一条全球劳动供应链，到企业和国家如何将它投入运作，再到它对我们生活的影响。和所有技术一样，AI一点也不「人工」，它是不折不扣的人造物，如果允许我这么说的话，是「男人造的」（man-made）。

第三，我非常欣赏你的这个论点，我认为它是全书的核心：把AI称为「智能」，就是在援引一种极其狭窄的智能定义，一种把生活经验的复杂性压平的定义。AI系统按照数学最优化的规范逻辑运作，横跨教育、医疗、福利、信贷、刑事司法等诸多领域，结果就是只有可测量的东西才算数，这是一种以数字治理的方式。你的关键论断是：这些AI系统看起来理性而客观，而这种表象恰恰为它们的使用提供了合法性，可它们归根到底是为现存的支配性利益服务而设计的。在这个意义上你说，AI是一份权力登记册（registry of power）。

这本书做得极其出色的地方，是它并不主张这些趋势完全是新的，而是指出，行为痕迹数据的大规模积累从根本上强化并放大了这些趋势。所以我想先问你：你是什么时候意识到这些巨变的？你从一开始就在场，并且看出这是我们眼下面临的最关键的议题之一。你怎么知道现在恰好是推出这本书的完美时机？我们这些在这个领域做研究的人，一直盼着有人把这些东西整合起来，而你写出了这本漂亮的书，用如此易读、清晰、有说服力的方式把它们贯通在一起。给我们讲讲你的历程吧。

写作缘起与AI的物质生命周期

克劳福德：朱迪，我得说这是我听过最慷慨、最让人受宠若惊的开场。谢谢你，尤其因为我一直是你的作品的忠实读者，从很久以前就是。九十年代我书架上最显眼的书之一就是《技术的社会塑造》，之后的每一本我都读过，包括《时间的压迫》（Pressed for Time），我在《AI地图集》里也写到了它。所以今天能和你对谈，对我意义重大。我也要感谢艾伦·图灵研究所主办这场活动。

你问到时机，我怎么会知道2021年是合适的年份。我们刚经历了一场大流行病，看到你刚才精彩概括的那些逻辑全都在加剧。我很想说这是我算准的，但实话是，这本书写了五年多，我当年看到的那些主题会这么快变得这么无处不在，是我无论如何想象不到的。对我来说，真正的机缘是2012年加入微软研究院。那正是卷积神经网络登上中心舞台、深度学习加速的时候，各家工业研究实验室开始以前所未有的方式投资机器学习。当时已经很清楚，从计算机视觉到自然语言处理，一切都将被彻底改变。但与此同时，也存在非常真实的问题。

我们可以把这些问题当作一个生命周期来看。AI系统需要海量计算，而且计算密集程度还在不断上升；我们的消费级AI设备，无论手机还是笔记本电脑，消耗着大量矿物，从稀土到钴再到锂。驱动AI的数据必须由人来标注，这些人在加纳、菲律宾等地的远程工作平台上劳作。最后，这些系统被部署到高度泰勒化的工作环境里，算法管理系统每天都在作用于工人身上。所以你能看到，AI是一个完整而有形的系统，它对世界的影响远比把它想成抽象的计算或者无形的算法要深刻和物质得多。这本书想做的一部分工作，就是把这些系统安放到世界各地实际部署它们的具体地点和机构之中。

从锂矿看AI作为采掘业

瓦伊克曼：说得好。所以你在书的开头讲述自己去内华达州参观一座锂矿的旅程，再合适不过了。在那里，你可以看到AI在最字面意义上就是一种采掘业。我得说，我们两个都是澳大利亚人，都明白采矿在政治中有多重要，这还是说得含蓄的。你从矿开始写，我觉得非常好。我想请你讲讲那段经历，但也想问问你怎么看这样一个现象：在新冠危机期间，我们一直在安慰自己说碳足迹在下降，可你在书里特别强调，我们天天开的这些视频会议，耗费着惊人的能源。

克劳福德：完全正确。有意思的是，很多人问我，为什么一本讲人工智能的书要从一座锂矿开篇。原因恰恰在于，要把人工智能落到实处，要真正理解这些物质影响，我们必须去它被制造出来的地方，我说的「制造」是最完整意义上的制造。对我而言，这意味着去美国最后一座仍在运营的锂矿，它在内华达州一个叫银峰（Silver Peak）的地方。你能看到巨大的锂盐卤水池，泛着虹彩般的绿色，在太阳下晾晒，产出人们所说的「灰色黄金」，也就是锂离子电池的原料。这些锂离子电池当然需求极旺，iPhone里有它，特斯拉汽车和电动车里也有它。但我们面临非常严重的供应问题。我相信你也看到了，拜登政府最近刚发布一份危机文件，说必须确保驱动当前信息资本主义和行星计算的诸多矿物的供应链安全。所以此刻正是时候去思考：制造那些我们每天理所当然指望它们运转的AI系统，究竟需要多少这样的物质？这些矿物的可用性，以及它们背后的地缘政治，其实都正处在一个临界点上。

幽灵劳动与伪自动化

瓦伊克曼：好，下一章，我会尽量多讲几章。第三章讲的是制造AI所涉及的各种形式的劳动，从矿工到内容审核员，到亚马逊仓库工人，再到硅谷的工程师。这一章我也很喜欢，我知道我每一章都会这么说。我觉得它特别令人耳目一新，因为过去几年我花了大量时间参加各种关于「工作的未来」的讨论。上周我刚参加了一场，和麻省理工的大卫·奥托（David Autor）一起谈技术与工作的未来。经济学家们经常告诉我，机器人很快就会包揽一切，一份工作都不会剩下。奥托是例外，他不这么说。而你说得很对，他和我也这么认为：那场争论在某种程度上偏离了要点。更重要的是去看当下的工作体验，看这些技术如何助长日益加强的监控和算法管理系统。这个我稍后会问。但我想先请你简单谈谈「幽灵劳动」（ghost work）的重要性，就是格雷（Mary Gray）和苏里（Siddharth Suri）所说的那种，在我看来这也是一个很值得强调的点。

克劳福德：很高兴你提到玛丽·格雷和西德·苏里的工作。《幽灵劳动》是一本极其重要的书，它揭示了在远程工作平台上做工是什么滋味。这些工作实质上是数字计件工，报酬极低，属于低于贫困线的工资，而工作本身可能极其单调，也极其令人紧张。从莉莉·伊拉尼（Lilly Irani）到阿斯特拉·泰勒（Astra Taylor），许多学者都研究过这个。泰勒用了「伪自动化」（fauxtomation）这个词，指的是我们以为是自动化，实际上却是人在撑着这些系统。这种现象已经浮现有一段时间了。就AI而言，朱迪，你在数字助手方面的研究中肯定也看到了同样的模式：整条供应链上，这套系统有多大一部分其实是靠人做着相当琐碎的任务来伪造出来的。我在书里写到一个叫x.ai的系统，他们真的让人假扮数字助手，每天工作十四小时，工作条件相当痛苦，只为营造AI运转无缝的印象。这也是你的研究早就指出的问题，如今它正大行其道。

从巴贝奇到贝索斯：算法管理

瓦伊克曼：是的，关于硅谷的社会想象以及它们所扮演的角色，我们可以谈很久。但我想进入这一章的一些细节。你用一座亚马逊仓库里的大型打卡钟的画面开启这一章，我知道你去过那里。你借这个画面追溯了用自动化控制时间的漫长历史，经由E. P. 汤普森、布雷弗曼、泰勒主义的科学管理、福特制。这些都是我的老本行，可以说是我一辈子研究的材料。我想请你多讲一点算法管理系统在劳动力市场两端的应用：一端是平台工作，另一端是我一直在研究的知识工作，以及它正在如何被改变。

克劳福德：我喜欢你提问的方式，因为我们确实必须把算法管理放在两端来思考：一端是它如何被引入低工资的、传统上所谓的蓝领工作，另一端一直延伸到高薪的白领岗位。有意思的是，这些系统的谱系可以追溯得很远。查尔斯·巴贝奇（Charles Babbage）最出名的是差分机，但他也写了大量社会理论。他对未来的一个设想是，将来会有高效的系统监视工人，追踪他们每一分钟在做什么，以确保他们被最有效率地使用。这是一个相当骇人的愿景，而它确实在今天的一些系统中变成了现实。

在亚马逊的运营中心里待过一段时间，对我来说是绝对恐怖的经历。这些地方被当作把自动化（既包括算法式的，也包括机器人）与人结合起来的样板工作场所。但它们同时也是另一种东西的样板：在那种条件下工作所承受的非同寻常的心理与身体压力。我相信你也看到了，就在上个月，杰夫·贝索斯说，针对这些工作环境中工伤和压力的增加，他们的应对措施之一是引入一套新的算法管理系统，把追踪细化到工人正在使用的韧带和肌肉的层面，以求产生新的效率。在我看来，这就是巴贝奇的愿景活生生地实现了，相当噩梦般。

远程办公与情绪识别监控

瓦伊克曼：是啊，这也太像泰勒主义和他的秒表了。那另一端呢，知识工作者那一端？我同意你的看法，我们真正需要关注的变化，是机器学习工具使得追踪、助推和评估的颗粒度变得空前精细。在向居家办公转变的背景下，我自己对此非常担忧。这难道不会刺激对知识工作者的监控通过这些工具不断加强吗？最糟糕的情形，你在情绪识别软件那一章里描述得很好：不只是身体动作，连情绪状态都要被监控。你是否也感觉到，当前的新冠危机会成为加强对知识工作者监控的一个推力？

克劳福德：这已经发生了。过去十八个月，我们看到相关服务大幅激增：通过摄像头追踪员工，统计他们发了多少封邮件、开了多少次会，然后算出一个效率分数，拿去和其他远程工作者比较。提供这类服务的大量初创公司和企业，业务量都出现了猛增。类似地，还有像「四棵小树」（4 Little Trees）这样的公司，提供所谓的情绪「检测」，我们说「检测」时是要打引号的。它针对的是同样在家学习、努力跟上课程的年轻学生，用摄像头捕捉他们脸上的微表情，看他们是否在专心听讲，并试图由此推断出某种内在情绪状态。

为了写这本书，我花了很多时间研究这个问题，也专门写了一章。这里的假设，即你可以看着一个人的脸就知道其内心状态，问题极大。这种想造出一台「AI测谎仪」的欲望，在我看来从根子上就是坏的：支撑它的理念和理论是坏的，试图实现它的系统也是坏的。所以，这绝对是我认为迫切需要监管的领域之一，因为在大流行期间，我们看到这些系统越来越深地渗入日常工作的工具中。

训练数据的考古学

瓦伊克曼：是的，监管的问题我们稍后再回来谈，我确实想问你这个。但我想赶紧进入你关于数据和分类的两章，这两章非常精彩，也正是你自己的研究真正开创性的地方。作为《时间的压迫》的作者，我很清楚时间不够用，所以我真想赶紧谈到这里。先从数据开始吧。你谈到大规模的数据采集正在驱动AI的成功。我们今天的听众背景非常多样，你能不能讲讲，训练数据集到底是怎么运作的？也许还可以讲讲做标注工作的那支计件工大军所遇到的问题。

克劳福德：简单地说，监督式和非监督式机器学习系统是用大量数据构建的，这些数据用来表征世界，我们称之为训练数据。在某种意义上，训练数据成了系统实际如何运作的「基准真相」（ground truth）。对我来说，最有启发也最有意思的事情之一，就是真正去研究训练数据如何运作，也就是把训练数据集打开来看，不只看里面的数据，还要看它被分类和排序的逻辑。让我大为震惊的是，这种「挖掘」竟如此罕见。对绝大多数训练数据集来说，它们只是被当作聚合的基础设施来用：拿来就用，别想太多，用它来构建机器学习模型。

但这里恰恰藏着一个非常实在的问题。一旦你真正开始细看这些系统如何运作，一旦你开始对训练数据做这种考古，你会发现各种各样的问题。不只是人被归入二元性别，或者五分法的种族类别，这些分类是彻底坏掉的，而且大家也都知道它们坏掉了；还有根据外貌对人的品格做道德判断。今天的系统里，这种近乎「颅相学冲动」的东西，问题数不胜数。而正是在训练数据这个层面，你可以开始看到那些分类，以及它们从哪里来。

「越多越好」：数据意识形态的来源

瓦伊克曼：是的，完全同意。你在这一章里谈到，数据如今被当作一种自然资源来开采和提取，这让我印象很深。我喜欢「开采和提取」这个说法，从字面意义上的采矿，一路到数据被以同样方式对待。你还谈到，正如玛丽昂·福尔卡德（Marion Fourcade）和基兰·希利（Kieran Healy）所说的，存在一种收集更多数据的道德律令：因为我们能收集，数据就在那儿等着被收集，所以不停地收集就成了一种道德上的义务。你还指出这与另一个观念相关：数据越多，人就越可知，于是我们每个人都被造出了一个「数据分身」，或者用卢克·斯塔克（Luke Stark）的话说，一个「可缩放的主体」。你能不能解释一下你的意思？

克劳福德：有意思的是，这个表述酝酿了很久。「越多越好」这种意识形态，可以一直追溯到二十世纪后期最早的那批AI实验室。媒介史学者李肇兴（Xiaochang Li）在她关于IBM连续语音识别实验室的研究中，对此有精彩的记录。罗伯特·默瑟（Robert Mercer），没错，就是后来资助特朗普竞选以及许多别的事情的那个默瑟，当年还是一名研究科学家的时候说过，更多的数据永远是更好的数据。我们在那个历史时刻看到的，正是AI从此前占主导地位的专家系统和符号逻辑路径，转向概率方法和暴力计算路径。

从那时到现在，这种意识形态不断发展：我们应当尽可能多地采集数据，哪怕你不知道它有什么用，哪怕持有这些数据实际上带来各种责任风险，人们仍然相信它自身就蕴含着某种价值，即便你暂时看不出来。我认为我们现在必须认识到，这实际上是一条非常成问题的路径。它造成了数据的过度采集，造成了人们对数据集被合并所深感忧虑的局面，我和杰森·舒尔茨（Jason Schultz）在一篇论文里把这称为「预测性隐私伤害」。所以，数据被如此设想和理解的方式，实际上已经把我们带到了计算史上一个非常成问题的节点。

瓦伊克曼：是的。我还觉得有意思的是，这种数据积累正在如何影响我们自身的主体性，这是另一个场合的话题了：自我数据的积累里，某种程度上内置了自我优化。你就此写过很好的文章，我很喜欢你那篇论文，我现在记不清标题了，但我一直拿它来教学，它从体重秤讲起，一路谈信息的积累如何影响你对自己身体的感知，以及你在世界上的运作方式。

数据集的来源、弃用与来生

瓦伊克曼：不过我们该往下走了，我看到已经有很多提问。我想谈谈隐私问题，这方面的问题太多了。人们在谈「数据分身」时最担心的一点，当然是我们从未被征询过关于自己数据的使用、流通和提取。我记得莫罗佐夫（Evgeny Morozov）几年前曾呼吁我们应该为自己的数据获得报酬，诸如此类的讨论。不过随着这个领域日趋成熟，也许更有意思的是你谈到的另一个问题：缺乏记录数据来源的标准做法。而考虑到许多数据集是私有的，这个问题就格外突出。你说你研究过数百个数据集，那些应该都是公开的吧。对于大多数数据集其实并不在公共领域，因此像你这样想去检视它们的人根本接触不到，我们能做些什么？

克劳福德：这是一个非常实在的问题。说实话，我至今记得几年前和蒂姆尼特·格布鲁（Timnit Gebru）的早期谈话，她当时是我们微软研究院的博士后。我们都惊讶于一个事实：对于一个训练数据集从哪里来，根本不存在任何标准化的信息。你看，一块硬件会有一份数据表（datasheet），告诉你这颗半导体只能在什么温度、什么条件下使用，可数据的使用却没有任何对应的东西。这就是《数据集的数据表》（Datasheets for Datasets）那篇论文的缘起，它试图阐明：要理解一个数据集究竟为何而设计，我们需要哪些标准、信息、历史和来源，更重要的是，它什么时候就不该再用了。

这是另一件我们谈得远远不够的事：这些数据集何时应该被弃用，以及当它们被撤下之后，仍在学术种子站（Academic Torrents）之类的地方继续拥有「来生」时，会发生什么。就在过去几年里我们看到，一些训练数据集被发现有问题，创建者说好，我们撤掉，可它们继续流传，当然也继续为许多生产级系统提供养料。这是问题之一。

你指出的第二个问题是，对于大型科技公司内部训练数据集的规模和构建方式，我们根本一无所知。这些东西被当作高度机密的专有信息保存，作为研究者，我们看不到。这就引出一个大问题：我们该如何理解这些系统被用来分类、用来解读的方式，理解它们如何喂进广告技术、保险、警务等领域的逻辑。这是这个领域一个重大的研究障碍，我们必须直面它。

分类即政治：ImageNet案例

瓦伊克曼：这正好引出你的下一章，关于分类的那一章，我认为写得极其出色。让我问你几个相关的问题。那一章的核心论点是，分类的过程，在这里就是标注的分类体系，本质上是政治性的。因此，针对统计偏差的狭隘技术方案，以及为了「更公平」而调整数据的努力，都没有抓住要点。我一直对那些关于公平性（FAccT）的会议很感兴趣，对所有那些通过重塑数据来让它变得公平、平等的技术尝试也很感兴趣。我想和你谈谈这有多难，以及用那种方式来表述问题本身有什么问题。你在分类这一章里非常出色地运用了杰夫·鲍克（Geoffrey Bowker）和苏珊·利·斯塔尔（Susan Leigh Star）的研究，即分类作为秩序系统，在塑造我们如何看世界方面拥有巨大的认识论权力。读这一章时，我不禁想起早期的女性主义研究，比如桑德拉·哈丁（Sandra Harding）等许多人关于科学知识角色的研究。我们早年做过大量所谓「科学知识社会学」的工作，思考科学知识如何建构生物学上的性别二元，在其中女性被「天然地」定义为劣于男性。当你谈到AI系统如何假定，或者说如何构建、如何「烘焙」进去，把性别、种族和性取向当作天然的、固定的生物学范畴时，我想到的就是这些。你能谈谈这个核心问题吗？也许可以通过描述你和特雷弗·帕格伦（Trevor Paglen）合作的ImageNet项目来谈。

克劳福德：这个问题太丰富了，有太多层面。就我个人而言，我最早发表关于大规模数据系统偏差问题的研究，大概是在2010年。当时的观点是，偏差是一个只需收集更多数据就能解决的问题：如果这里有问题，那就再多弄点数据，问题就解决了。但过去十多年我们看到的恰恰相反：对于极大规模的数据系统，偏差实例比比皆是。苹果的信用评估算法一贯给女性更低的额度；语音识别系统识别不了女性的声音；人脸识别系统识别不了肤色较深的人。如今例子数不胜数。

我的思考发生了一个变化：我开始把偏差看作某种「巨型动物」，也就是那些大的错误、系统显眼的失效点。但我认为我们需要再往下走一层，进入构建的逻辑，我认为那才是真正更深刻地塑造系统如何看世界的东西。在很多情况下，我们不会看到那种壮观灾难式的失效点，取而代之的是一种细密的方式，人在其中被理解、被解读、被估值。你在那么多系统里都能看到这一点，从招聘到刑事司法，人被指派某种属性，可能是性别、种族，也可能是一个风险评分、一个信用评分。这些观念从哪里来，它们如何被烘焙进系统，是我们眼下的核心问题。

过去五年一个非同寻常的现象，是对公平、问责与透明议题的关注，比如FAccT会议。我认为这些是必要的干预，但并不充分。因为在许多论文里，这些被当作纯粹的技术问题，需要的是技术修补，而没有去思考：当我们摄入来自过去的数据时，我们也在吸收那些结构性不平等、偏见和观看世界的方式，而这些本身就是深有问题的。这正是我们和艺术家特雷弗·帕格伦做ImageNet项目时所看到的。

真正开始审视ImageNet这样重要的东西，是一段非同寻常的经历。我们开始研究它时，它已经上线近十年，是图像识别领域的一座巨像，可是从来没有人在具体类别的层面研究过它里面发生了什么，尤其是「人」这个类别。我们在那里发现了大量赤裸裸的种族主义和厌女的词条，还有一些完全说不通的词条，也就是没有视觉对应物的词，比如把一个人描述为「债务人」「朋友」或者「熟人」。这些观念根本不属于我们所理解的视觉名词。所以我们做的一件事，就是打开这些关于知识如何被制造的认识论问题。我认为对这种深层次的分类，需要有远为审慎的批判性介入，不仅在技术领域如此，而且从根本上说这是一个社会技术问题，这意味着需要不同类型的专业知识围坐在同一张桌子旁。

招聘算法、多样性与设计的边界

瓦伊克曼：这些问题很棘手，不是吗？一旦你承认它们是结构性问题，就很难修补了。比如亚马逊那个自动化招聘工具，它不选女性。你在书里谈到，那在某种意义上是个难以修补的问题。也许你可以展开谈谈，因为它涉及语言中内嵌的性别用法，涉及各种各样的东西，在那个应用上修修补补是解决不了的。那这会把你引向哪里？这和我们在图灵研究所的性别项目特别相关。这类例子不断冒出来，得到大量曝光，比如女性化的语音助手，然后就有讨论说该怎么办。我知道苹果内部讨论过所谓「中性声音」，要不要发明一种听不出是男是女的声音，接着又有口音的问题。所有这些都很难，对吧？就拿招聘来说，一旦认识到这些关联有多深，接下来该怎么办？

克劳福德：这把我们带回到那个问题：什么可以用技术手段解决，什么必须通过监管来解决。这非常应景，因为就在过去几个月，知名招聘公司HireVue，它曾在视频面试中使用情绪识别，高调宣布他们听取了批评，将把这一功能从系统中剥离。但他们仍在使用语音情绪检测之类的东西，也就是听你的声调，然后试图判断它是否说明了你的品格或者你是否适合被雇用。所以在招聘这个层面，我认为我们有很多问题要问：谁被看重，谁是理想主体或者理想雇员？不过朱迪，我很好奇你的项目怎么看这个问题：性别本身在这些系统中被折射的方式，你们如何应对？你认为设计能在技术层面有所贡献，还是说这更需要从政策和监管的角度来思考？

瓦伊克曼：我认为这些都得做。我们得对这个领域缺乏多样性的问题有所作为。看看顶尖的机器学习会议，女性贡献者的数量少得可怜，整个从业群体严重失衡，主要是年轻男性。我并不认为这是解决方案，但我几十年来一直强烈主张，在某种意义上，人只能从自身经验出发去设计。如果喂进设计和系统的经验范围极其狭窄，无论硬件还是软件，你得到的想象力和创造力就非常有限，这对我们所有人都没有好处。所以我认为这一点非常重要。

我们还希望在组织文化方面做更多研究，因为在我看来，我们得走进组织内部，看看那里发生了什么，为什么只有某些类型的员工在那里感到自在，为什么那里存在一种「寒冷的气候」。我认为在这些方面有所作为，会真正推动更广泛的讨论，既关于监管，也关于一种更有见识的公民身份，也就是关于这些问题的一场更广泛、更好的公共辩论，尤其是关于我们何时想用这些系统，何时不想用。把这些工具作为招聘的一部分来使用，是有区别的：对人力资源管理者或者法官来说，拥有更多数据当然是好事，拥有更多知识当然是好事。但正如弗吉尼亚·尤班克斯（Virginia Eubanks）在她的书里精彩地讨论的那样，人的自由裁量在哪里？判断在哪里？我们如何把这些结合起来，并决定何时想用这些系统，何时不用？不过还是请你自己展开谈谈这些。

创新观的失衡：技术 vs 政策

克劳福德：这正是我喜欢和你谈这些话题的原因，因为你刚才说的里面有太多可以深挖的东西。比如，我们把「创造性创新」这个观念寄托在何处。过去十五到二十年，硅谷讲述了一个关于技术创新的故事，不惜一切代价地颂扬它：快速行动，打破常规，这是我们做事的最佳方式，我们创造技术创新。但我们没有做的，而且我认为这是一个真正的损失，是去思考政策、监管、法律层面的创新，以及所有那些能让我们考量这些系统社会影响的伦理框架和方式。这些空间从未获得过同等程度的意图、兴趣、投资或者社会关注。而我们现在看到的，就是这种局面结出的果实：我们在很大程度上过度投资了一种高度技术化的关于「什么算数」的愿景。

你刚才谈到，更多数据和更多信息是不一样的。什么构成信息，以及正如你所说的，良好的判断力，这些在这里都极为重要。这又把我们带回到系统如何被设计的历史。我总是想到洛兰·达斯顿（Lorraine Daston）和彼得·盖里森（Peter Galison）关于客观性的研究，他们考察了向「机械客观性」的转变，也就是人们决定通过工具就能获得对世界更真实的描述的那个时刻。我们确实经历了这样一个时刻：机器学习被视为一种万能工具，可以应用于任何事情，从福利领域，我们在尤班克斯的书中看到了它如何让我们失望，一直到刑事司法领域，我们可以想到ProPublica的报道，想到The Markup的调查，它们都在揭示这些系统如何在那里让我们失望。

所以我们面临一个抉择：我们打算怎样使用接下来的十年？我们真正需要创新和创造力的地方在哪里？我的建议是，我们应当把思考放在政策上，放在公共辩论上，放在监管上。而且我是乐观的，因为我开始在这些领域看到一些非常积极的信号。比如在欧盟，我们看到了第一份综合性的AI监管草案。它也许还处在早期，还不完美，但在思考如何更好地监管这些系统方面，是朝正确方向迈出的一步。

伦理准则不够，要谈权力

瓦伊克曼：我想多问问伦理的问题。你在书里有一句很好的话，大意是说，此前太多的关注放在了伦理上，而对权力的关注不够。我认为这是对的，我们应当少谈些伦理，多谈些权力。你提到伦理准则正在激增，我记不清有几百份了，反正数量庞大。我想知道你怎么看这件事。你是否设想在某个时点会出现某种全球性的协议？这些准则是怎么运作的？还有，既然你显然认为我们太关注伦理而不够关注权力，是不是太多精力都流向了伦理准则这个方向？聊天区里也有不少问题，我看了一下，都是很棒的问题。所以请你多讲讲。

克劳福德：谢谢这些提问，我们稍后一定会谈到。让我从两个方面来回答。其一，在哲学上，伦理与权力的问题显然总是交织在一起的，我们有几十年乃至几个世纪的哲学可以援引，来说明这一点。但我在书中具体指的是，伦理准则被用作一种打发监管的手段，一种说「我们自己搞得定」的方式：我们会有一套伦理准则，因此不需要任何法律或者监管护栏来约束我们如何创建这些系统、这些系统可能伤害谁。坦率地说，这不够。当然，就我们如何设计和部署系统而言，阐明各种伦理原则是重要的，但还有更深层的东西：我们如何真正确保这些原则是可问责的？有什么办法能保证，一旦出了问题，同样的事不会再次发生，并且会有人真正为此负责？

正因如此，我认为监管远为必要，对权力的分析也远为必要。这个系统是否给强者赋予了更多权力？这是我们对自己构建的每一个系统都应当追问的问题。还有，这些系统以何种方式与现存的权力形式相呼应，无论是资本、警务，还是军队，不一而足。在我看来，这比那些关于安全、关于「确保不造成伤害」的高层次伦理声明有用得多，因为我们一次又一次看到，这些准则并没有在现实中兑现。

参与式监管与拒绝的政治

瓦伊克曼：有意思。硅谷现在特别流行搞用户群体、用户体验小组，仿佛那就是答案：拉几个用户进来测试一下，可那是一种非常狭窄的使用情境。而你非常强调，应当被征询、应当参与设计的，是那些受这些技术影响的人。我们这个圈子里多年来有不少关于参与式设计的运动。你能谈谈这个吗？你认为这是整件事中重要的一环吗？

克劳福德：绝对是。我和许多学者，包括安德鲁·塞尔布斯特（Andrew Selbst）等人，一直在研究的一个东西就是影响评估：如何建立这样一种影响评估机制，让社区成员对政府是否部署一套人脸识别系统、一套AI招聘系统，或者刑事司法系统内部的一套风险评估系统拥有发言权。在很多很多环节，你其实都可以引入公共辩论和公共决策，还可以拥有一种「拒绝的政治」，也就是能够说：不，我们不想在这里用这套系统，我们根本不想它被应用。这只是我们可以着手构想的参与式监管的众多机制之一。你也知道，在许多情况下，法律是在科技公司的影响下制定的，有些甚至有一部分是科技公司代笔的。当我们看到科技行业与它所服务的人群之间存在如此非同寻常的权力不对称时，我认为这种做法根本不可能把我们带到该去的地方。所以我认为，我们需要更激进地重新思考监管如何形成，以及社区如何对监管的实施拥有发言权。

瓦伊克曼：这很有意思，因为我上次在斯坦福参加的会议叫「为关怀编程」（Coding for Care），讨论的正是老年人照护中的哪些环节可以交给技术。这类讨论总是围绕着「关怀」，甚至就是这样被提出来的，而且它的表述方式是让个人尽可能长时间地独自待在家里，然后去设想能够运转的系统。正是在这样的情境中，你真的需要退后一步想想：你到底想用技术做什么，什么是不合适的，我们从哪里获得指导原则来思考这些？你对照护这个问题有什么看法吗？

克劳福德：照护劳动是一个极其重要的问题，因为它在大流行期间又一次处于核心位置。当我们处于隔离状态时，讨论的方向一直是「自动化怎样才能把我们从这种处境中解救出来」，而不是去思考「互助」是否是一个好得多的框架。对我来说，这里的问题是：为什么我们总是把技术放在中心？为什么我们总假定技术要么是万灵药，要么是问题本身，而不是去问：我们想生活在怎样的世界里？有哪些方式可以增进公平与正义？然后再问技术如何服务于这一愿景，而不是由技术来驱动这一愿景。AI辩论在很多方面都令人沮丧，因为它总是假定AI真的可以应用于任何事情，总是把它当作第一选择，而不是回头看看漫长的历史：我们究竟是如何实现人们所呼吁的那类社会变革的？答案几乎从来不只是一个技术修补。所以我认为这意味着我们要寻找不同类型的工作，而这也正是你的研究如此重要的原因。

业界反应、封面艺术与AI作为交叉学科

克劳福德：我注意到聊天区里有几个问题问到这本书的封面艺术，它此刻就在我身后。这也让我想到，艺术家在这类讨论中有多重要，文化产业在讲述关于技术如何运作、如何失败的另类故事方面有多重要。回答聊天区的提问：这幅非凡的图像出自弗拉丹·约勒（Vladan Joler）之手，我曾和他合作过一个叫「一个AI系统的解剖」（Anatomy of an AI System）的项目，我们为一台亚马逊Echo音箱绘制了一幅巨型地图。这幅封面图其实是他为书中绘制的众多设计之一，它们呈现的是这样一些观念：从人的头颅所联系的智能与颅相学的观念，到我们如何表征世界，再到大规模计算系统的行星代价。我真的认为他的作品非常了不起，谢谢这个提问。

瓦伊克曼：聊天区里有一大片精彩的问题，我肯定回答不完。我看着时间，只剩两个快问快答。第一个我忍不住要问：业界对这本书的反应如何？我看到你在计算机历史博物馆和许多不同场合都做过演讲，科技圈的反应是怎样的？

克劳福德：这很有意思。我写这本书的方式，可以说像地质地层，几乎是按一个完整的计算堆栈写的：从地球开始，经过劳动、数据、分类、国家，一直到外太空。在这个意义上，科技行业内的不同群体，根据他们处理的是问题的哪一部分，会有不同的疑问。对于从事大规模数据分析和预测的群体来说，分类与偏差的问题此刻极为紧迫，人们在寻找不同的应对方式，因为我们知道，过去几年这些问题并没有消失，我们确实需要新的思路。

而在行业的另一些部分，我觉得这一点非常鼓舞人心，出现了一组新的对话，讨论如何降低机器学习方法的能源密集度。这还很新，但极其令人振奋。我们看到那里有大量的浪费可以改进，大量的计算周期可以压缩，还有一些算法技术能够大幅降低能耗。我们需要这些，因为我们正处在气候危机之中。作为一个行业，我认为正在滋生一种关切感和责任感。所以在这个意义上，我的经历相当积极，人们提出的都是很好的问题。但与此同时，我们也确实看到人脸识别、预测性警务之类的工具在不断扩张。有很多公司和行业不会觉得这本书对他们的信念有什么启发。这也正是我认为现在进行这些公共辩论如此重要的原因：这些工具正被以各种方式使用，而其中许多方式，我想我们大多数人都会深感忧虑。

瓦伊克曼：最后一个问题。我想说，像你这样的女性走在关于AI偏差的辩论最前沿，实在太好了。我想问你，为什么会这样？我刚开始研究性别与技术时，这个领域里女性肯定不多。而现在非常显眼的是，许多正在出版的优秀著作和正在进行的研究，都由女性和女性主义者引领。你觉得这是为什么？

克劳福德：这确实有意思。研究这些议题的人，比起只研究算法的人，构成了一个多样得多的联盟。这本身就说明了一些事：那些曾经被系统边缘化、排斥、误认的人，正是对这些问题最为警觉的人，他们会不断追问，如何在这类问题更深地扎根于我们的社会之前把它们改善。

我还喜欢回头看人工智能最早的年代，二十世纪五六十年代。即便在那时，你也能看到玛格丽特·米德（Margaret Mead）和格雷戈里·贝特森（Gregory Bateson）同台，实际设计系统的人和思考其社会影响的人类学家坐在一起。我们曾一度失去了这种局面，我认为我们所看到的是一种对技术的过度优先。这是我们现在必须纠正的，因为这些系统已经不再只是实验室里的设计，或者本质上属于理论性的干预，它们正以极为不同的方式影响着全世界数十亿人。所以我认为，我们必须开始把AI重新构想为一门交叉学科（interdiscipline），一门必须深深扎根于那些每天受这些工具影响的社群之中的学科。这无疑是这个领域未来十年迫切需要的。

瓦伊克曼：太好了。剩下的就是祝贺你写出这本书。这是一本了不起的书，我诚心推荐每个人都去读。它制作精美，非常易读，条理清晰，是一项出色的工作。我手边有一杯香槟，本来我们该一起去喝一杯的，很遗憾没法当面举杯，那就让我们各自举起一小杯。祝贺你，再一次，我对这本书的推荐不能更高了。干杯。

克劳福德：能和你，和今天到场的每一位一起庆祝，对我意义重大。这是一个非同寻常的群体。我真心希望我们有朝一日能当面再做一次。

瓦伊克曼：我也希望如此，但愿疫苗给力。干杯，再次感谢。