我们制造的东西,什么时候开始反过来支配我们? · 苏菲拉底
我们制造的东西,什么时候开始反过来支配我们?

After AI

当 AI 开始塑造我们,我们还能决定自己要成为什么样的人吗?

技术之问到这里,问了中立、界限、决定、判断、问题、媒介、理性。最后一问把它们收在一起。

人类制造工具,是为了获得力量。石器让手变得更锋利,轮子让身体走得更远,船让人渡过海洋,印刷术让思想可以复制,机器让肌肉获得几百倍的力量,计算机让计算速度超过人的大脑,而人工智能正在让机器进入语言、知识、判断与创造。我们一直把这个过程理解成一件事:人制造工具,工具服务于人。这似乎是最自然的关系,主人制造工具,工具完成任务,任务结束,工具被放回桌面。

但如果工具不再只是完成任务,而开始改变我们如何工作、如何交流、如何判断、如何组织社会,甚至如何理解自己,那么这个关系就开始发生变化。于是最值得追问的并不是机器会不会统治人类,而是一个更隐蔽的问题:我们究竟从什么时候开始,按照自己制造出来的东西所要求的方式生活?因为真正深刻的支配,往往不需要有人站出来命令你,它只需要让你觉得,这样做最合理。

一工具是被动的

想象一把锤子。它被放在桌上,你需要钉钉子的时候拿起来,不需要的时候放下。它没有自己的目标,没有自己的意见,也不会告诉你今天最好多钉几个。所以我们很容易形成一个直觉:工具是被动的,人拥有目的,工具提供手段,目的在人的一边,手段在工具的一边。

造出来的东西站起来了
造出来的东西站起来了

这就是经典的工具观。亚里士多德讨论技艺时已经注意到,人通过技艺制造物件,以实现某种目的;后来现代工业把这种关系推向极致,机器就是为了完成任务而设计的,效率越高越好,控制越精准越好,人的目的决定机器的用途。于是我们逐渐接受了一个非常牢固的公式:人使用工具改变世界。而故事里总有一个时刻,造出来的东西站起来了,之前它是工具,之后它是主人。这一问的所有回答都在找那个时刻,而它们越找越发现,那个时刻也许并不存在,或者存在,但从来没有人看见。因为真实发生的不是站起来,而是那个箭头慢慢变成了双向的:我们改变技术,技术也开始改变我们。

二钟表:我们制造它来测量时间,最后按它生活

这是理解这种反转最好的例子之一。钟表最初只是测量时间:太阳升起,太阳落下,人按照自然节律生活。机械钟出现以后,时间开始被精确切割,一小时,半小时,十五分钟,五分钟。后来工厂按照钟表组织劳动,几点上班,几点休息,几点下班,时间于是从一种自然现象,变成了一种社会秩序。

它开始定你的节奏
它开始定你的节奏

一件很微妙的事情就发生在这里:我们制造了钟表,为了测量时间;最后,我们开始按照钟表生活。钟表并没有命令任何人,它甚至没有意识,但一个社会如果普遍按照钟表组织生产,那么一个人迟到五分钟,就不再只是太阳今天的位置不同,它会变成你违反了制度。这是技术支配最早期的一种形式:工具没有意志,却产生了规范。

三汽车:究竟是谁适应了谁

汽车最初只是让人移动得更快。但当大量汽车进入城市以后,城市开始改变:道路变宽,停车场增加,住宅向郊区扩张,商业中心发生位移,公共交通被重新配置,城市开始围绕汽车设计。

于是一个有趣的问题出现了:究竟是谁适应了谁?我们当然可以说人制造汽车,但我们也可以说,人开始制造一个适合汽车存在的世界。道路为了汽车建造,城市为了道路重组,生活半径因此扩大,住房选择因此改变,工作地点因此改变,最后人的时间安排也随之改变。一项技术的力量到这里已经不再来自它本身,而来自围绕它建立起来的整个系统。这是一个重要的转折:当一种技术需要整个社会围绕它重新组织时,它就不再只是工具。

四越成功的技术,越不像技术

一把锤子很容易被意识到是一件工具,但电力不是,互联网不是,定位系统不是,云计算不是,金融基础设施不是,算法推荐也不是。它们已经变成环境。你不会每天提醒自己现在我要进入互联网,你只是发消息、打开地图、刷视频、付款、搜索、工作。

AI 也是如此。你不会觉得自己每天都在使用人工智能,你可能只是让它总结一份文件,帮你写一封邮件,规划旅行,修改代码,寻找资料,生成图片,分析数据。久而久之,它从一个工具变成一种默认能力,然后社会开始产生新的期待:既然 AI 可以做,为什么你还不用;既然 AI 可以几分钟完成,为什么你还需要一天;既然 AI 可以随时回答,为什么你不知道。于是技术能力开始变成社会义务。这是一种非常重要的支配形式,它不发生在你和机器之间,而发生在你和别人之间。

五马克思:不需要意识,也能产生支配

在《资本论》里,马克思分析机器与现代生产关系时,关注的并不只是机器提高了多少生产效率,更深的问题是:当机器进入生产体系之后,人的劳动如何被重新组织?机器本身没有政治意志,但机器进入工厂之后,劳动节奏可以被重新规定,工作流程可以被重新分解,人的动作可以被安排到生产线上,工人开始适应机器的节奏。机器原本应该服务于人的生产,最后人的劳动开始服务于机器化的生产体系。

忘了是自己造的
忘了是自己造的

他在别处把这个观察推到了商品本身:商品之间的交换关系看起来像物与物的关系,其实是人与人的关系,只是这种关系被物的形式遮住了,于是物好像有了自己的意志,价格自己涨跌,市场自己决定,人只能服从。他称之为拜物教,直接借用了偶像崇拜的词——最古老的记录里,人把金子熔了铸成一头牛犊,然后向它下拜,而关键不是像的力量,是遗忘:拜的人忘了,这东西是他自己刚刚做出来的。所以技术不需要拥有意识,就可以产生支配效果,因为真正产生力量的不是机器想要什么,而是整个制度围绕机器形成了什么。

六海德格尔:人也被摆置了

海德格尔在《技术的问题》里对传统工具观提出了很深的挑战。如果我们把技术理解成人为了达到目的而使用的工具,那么技术似乎始终处于人的控制之下。但他问的是另一件事:现代技术是不是已经改变了我们理解世界的方式?

在现代技术体系里,河流首先被看成水力资源,土地首先被看成可开发空间,森林首先被看成木材储备,能源首先被看成可以调用的力量,甚至人也越来越容易被理解成劳动力、数据、用户、风险、能力、消费能力。技术于是不只是帮助我们做事情,它开始规定什么样的东西算是一个可以被处理的对象。最危险的不是某台机器失控,而是这种摆置成了人与世界相遇的唯一方式,人以为自己到处都遇到自己,其实到处都只遇到储备,包括在自己身上。我们制造的东西什么时候开始支配我们?他的回答会是:在我们开始用它的方式看一切的时候,而那时候我们还觉得自己是主人。

七为了让系统正常运行,我们开始改变自己

真正的反转也许就发生在这一刻。想象一个平台,它按照点击率排序,于是创作者开始研究什么标题更容易点击,什么封面更容易点击,什么发布时间更好,什么内容更容易被推荐。最开始,算法帮助平台组织内容;后来,创作者开始按照算法生产内容;再后来,他们开始预测算法;最后,他们开始为算法生产。

谁在服侍谁
谁在服侍谁

这时候,谁在适应谁?系统并没有拿枪指着创作者,没有人要求你必须这样写,只是如果你不这样写,就更难被看见。于是人开始主动调整自己。这就是一种非常现代的支配:你仍然是自由的,但你越来越清楚,什么样的自由更容易获得奖励。巴特勒在达尔文之后不久半开玩笑地写过,人不必被机器统治,人只要一直替机器制造、维修、改进,就已经是机器的繁殖系统了。谁在服侍谁,从动作上看不出来。

八福柯:控制进入行为,你自己完成它

福柯在《规训与惩罚》里讨论现代权力时提出过一个重要的转变。传统权力经常表现为禁止、惩罚、命令、监视,现代权力则可以更加细密,它通过记录、分类、比较、评分、规范、训练,让人逐渐学会自己管理自己。

如果一个学校持续排名学生,学生会开始比较自己;如果一个公司持续评价绩效,员工会开始管理自己;如果一个平台持续反馈数据,创作者会开始调整自己;如果一个社交产品持续提供点赞,用户会开始观察自己,什么样的自己更容易获得回应。于是控制不再需要站在你面前,它进入了你的行为,你开始自己完成它。这一层和前一节是同一件事的两面:外面没有命令,里面多了一把尺子。

九它不夺走选择,它决定你在选择之前看到什么

传统命令是你必须做 A,算法更像是如果你选择 A,你会得到更好的结果。这个区别非常大,因为第二种方式保留了你的主观感觉:我自己选的。推荐系统不会强迫你点击,它只是把某些东西放在最前面;招聘系统不会强迫企业录用某个人,它只是告诉企业谁更值得关注;导航不会强迫你走某条路,它只是告诉你这是最快的路线;AI 也不会强迫你接受它的答案,它只是提供一个听起来完整、逻辑清晰、速度极快,而且通常比人临时思考更有条理的答案。控制因此变得更隐蔽:它不夺走你的选择,它影响的是你在做选择之前看到了什么。

更深的一层在于预测。传统市场的逻辑是你知道自己想买什么,然后寻找商品;互联网早期也大体如此,你搜索,系统响应。推荐系统改变了方向:现在是系统预测你可能想要什么。于是你不再只是寻找信息,信息开始寻找你;你不再只是选择内容,内容开始选择你;你不再只是表达兴趣,系统开始预测你的兴趣。这会产生一个奇怪的循环:你的行为产生数据,数据形成预测,预测产生推荐,推荐影响行为,新的行为再次产生数据。机器根据你过去的选择预测你未来的选择,而它对未来的预测又参与塑造你的未来。预测于是不再只是观察,它开始成为一种因果力量。

十当它替我们写:从生产者到编排者

以前,写作是一种非常明确的关系:我想,我写,文字从我的思考中产生。后来出现了文字处理软件,它帮我修改,关系没有根本改变;再后来出现搜索引擎,它帮我寻找资料。然后是生成式 AI。现在我可以说,帮我写一篇关于这个问题的文章,几秒钟后文字出现,我修改,它再修改,然后我发表。

那么,谁在思考?这个问题不能简单地回答 AI,因为它并没有因此成为传统意义上的作者;也不能简单地回答人,因为文本形成过程中的大量认知劳动已经由机器参与。真正发生变化的是作者这个概念本身:我们开始从「我写出了这句话」,进入「我设计了一个产生这句话的过程」。人的角色正在从直接生产者转向系统的编排者。这可能极大地解放创造力,也可能逐渐削弱我们亲自形成思想的能力,关键不在于 AI 是否参与,而在于我们是否还知道自己为什么接受最终结果。

十一当它替我们记:「知道」的含义在变

搜索引擎已经改变了记忆。你不需要记住一个电话号码,不需要记住一条路线,不需要记住某个历史日期,你只需要知道去哪里找。这是一种认知能力的重新分配。AI 又推进了一步:你甚至不需要知道在哪里找,你只需要问,系统替你搜索、筛选、总结、组织、解释。

于是知道逐渐从我记得这个事实,变成我知道如何获得这个答案,再进一步变成我知道如何让机器替我获得这个答案。这当然可以扩大人的认知能力,但它也带来一个问题:如果一个人长期不再经历寻找、比较、怀疑、记忆、组织、推导,他是否仍然拥有同样的认知结构?工具替我们承担的每一种能力,同时也在改变我们自己需要保留什么能力。

十二判断交出去的时候,责任跟着一起走

这是比效率更严重的问题。假设 AI 告诉你:这个候选人更适合,这个贷款申请风险更低,这个疾病诊断概率更高,这个广告更有效,这个客户更值得服务,这个学生更值得录取。你可以说,这是系统计算出来的。但这句话并没有回答另一个问题:谁决定了系统应该优化什么?

如果系统追求准确率,谁决定准确率比公平更重要;如果系统追求利润,谁决定利润应该最大化;如果系统追求点击率,谁决定点击就是价值;如果系统追求风险最小化,谁决定哪些风险值得承担。如果人只接受系统输出,那么最终发生的不是机器替人决定,而是人逐渐放弃了自己决定什么应该被决定的权力。上一问说,判断最难的一步是负责;而责任总是跟着判断走,判断移到哪里,责任就移到哪里,只是那里没有人。

十三埃吕尔:没有主人的支配

我们通常想象支配是一个主体控制另一个主体,但技术系统往往没有这样的单一主体。没有一个人坐在控制室里说,我要控制所有人。支配可能来自平台的商业模式、组织的绩效制度、模型的训练数据、算法的目标函数、法律的要求、用户的习惯、市场的竞争、基础设施的依赖,这些东西彼此连接,最终形成一种结构。

它有了自己的要求
它有了自己的要求

埃吕尔更早地描述过这种结构。他认为技术在二十世纪跨过了一个门槛,从人的手段变成一个自主的系统,它有自己的法则:每一个技术问题必须用技术解决,每一种可能的技术必然会被实现,效率是唯一标准;没有人在控制它,因为控制它的人也只能用技术的方式思考。他举的例子是,人们讨论一项新技术时,问的永远是它能不能做、怎样做得更好,从来不问该不该做,因为该不该不是技术的问题。于是出现一种非常现代的权力:没有一个明确的主人,却存在一种明确的行为方向。这比传统控制更难识别,因为你甚至不知道应该向谁提出反抗。

十四温纳:不用它的成本,高到无法承受

温纳梳理了从马克思到埃吕尔关于技术失控的思想,试图说清楚技术自主到底是什么意思。他的结论是,它不是技术有了意志,而是人在采纳技术时有一种系统的不注意:我们买一样东西,是为了它做的事,不看它要求的事,它要求什么样的基础设施、什么样的组织、什么样的技能、什么样的时间安排。等这些要求都被满足了,我们发现生活已经按它重新组织过。他称之为技术梦游。

没有它就不行了
没有它就不行了

所以也许可以给出一个很简单的判断:一项技术真正开始支配我们,不是在我们必须使用它的时候,而是在不用它的成本开始高到无法承受的时候。没有手机你仍然可以生活,但工作越来越困难;不用支付系统你仍然可以消费,但越来越多地方不再接受现金;不用社交平台你仍然可以表达,但你的声音更难被看见;不用导航你仍然可以开车,但你开始怀疑自己是否还能找到路;不用 AI 你仍然可以工作,但如果整个行业都开始使用,不使用就意味着效率下降、成本上升、竞争力下降。选择仍然存在,退出开始变得昂贵。而这正是一个自我强化的循环:人制造技术,技术提高效率,效率改变竞争,竞争迫使更多人使用技术,社会围绕技术重新组织,新的标准形成,新的标准提高对人的要求,人开始适应新标准,新的需求出现,人再次制造更强的技术。到这里再问谁控制谁已经不够,更值得问的是:我们正在共同制造一个什么样的系统,而这个系统又正在制造什么样的人?

十五AI 不需要统治欲,它只需要成为基础设施

AI 会不会最终控制人类,这个问题听起来最惊悚,却可能不是最重要的问题。因为它很容易让我们想象一个特定的未来:机器获得意识,拥有目标,接管政府,控制军队,奴役人类。这些当然值得讨论,波斯特洛姆描述的正是其中最认真的一种版本:一个能力超过人类的系统,它的目标哪怕只和我们的略有偏差,也会以我们无法纠正的方式实现,而控制权的转移不是一场战争,是一个没有人注意到的过程。

但在那之前,还有一种更现实的变化:AI 不需要拥有统治欲,也可以拥有巨大的结构性影响。它只需要被嵌入招聘、教育、金融、医疗、媒体、政府、企业、搜索、社交、消费与创作。一旦越来越多的决定通过它完成,它就不需要想控制人,它只需要成为决定如何运行的基础设施。祖博夫描述的是这一版本已经在发生的样子:数字系统从服务开始,收集行为,预测行为,然后为了让预测更准而修改行为,人在不知不觉中按系统的偏好行动,支配不需要任何人下命令。所以问题就从 AI 会不会统治我们,变成了谁定义了它运行的目标,谁可以修改它,谁能够拒绝它,谁能够离开它。

十六目标函数:什么不应该被写进去

也许最需要警惕的不是机器有自己的意志,而是它没有自己的意志。一个有意志的机器至少可以被理解为一个行动者,我们知道它有目标,可以研究它,可以谈判,可以约束;而一个没有主观意志的系统,却可以通过规则、数据、奖励、预测、排序与自动执行,产生巨大的行为影响。它不需要想要控制你,它只需要按照既定目标运行:推荐更多内容,提高点击率,降低风险,提高效率,减少成本,最大化转化。

这些目标本身都很普通,危险来自另一件事:当一个局部目标被放大到整个生活。现实生活不是一个单一的优化问题。一个社会不能只有效率,一个人不能只有产出,一段关系不能只有匹配度,一个孩子不能只有可预测的成功率,一个国家不能只有增长数字。当单一指标进入整个系统,系统就会越来越擅长实现这个指标,同时越来越容易忽略指标之外的东西。所以每一个系统最终都必须面对两个问题:什么应该被写进目标函数,以及更重要的,什么不应该被写进去。因为一旦某件东西进入系统,它就开始接受系统的逻辑;而那些无法进入系统的价值,则越来越难获得同样的注意力。

十七拉图尔:没有一个纯粹的人可以回去

如果我们把所有技术都理解成潜在的控制,最终会得到一个很简单的结论:回到没有技术的生活。但这既不可能,也不诚实。互联网打破信息壁垒,医学技术延长生命,无障碍技术扩大行动能力,通信技术连接远方的人,AI 可以降低知识获取的门槛,它们都是真实的解放。

拉图尔干脆认为,这一问的问法本身就有问题,因为它假设先有一个纯粹的人,然后人造了物,然后物影响人。他说人从来不是这样的:拿枪的人不是原来的人加一把枪,而是一个新的行动者,它的目标和能力都是原来的人和原来的枪所没有的。人与物互相塑造,从第一块石头开始。如果没有一个纯粹的人可以回去,那么问题就不是怎样摆脱物,而是怎样和物一起组成一个我们愿意在其中生活的集体。这要求的不是拒绝技术,而是持续保留几样具体的东西:选择权,退出权,解释权,申诉权,修改权,以及重新定义目的的权力。我可以拒绝一个推荐,可以要求解释一个决定,可以申诉一个评分,可以纠正关于我的数据,可以在必要时绕开自动化系统,可以知道机器为什么这样判断、谁能够修改规则、什么数据被使用、什么情况下可以人工介入。这些看起来像制度设计,背后其实是一个非常古老的自由问题:一个人是否仍然拥有退出某种权力结构的能力。如果没有退出权,选择就会逐渐变成形式上的自由。

十八判断是什么时候移走的

那么支配究竟从什么时候开始?也许不是机器第一次做出错误决定的时候,也不是 AI 第一次超过人的时候,甚至不是机器第一次替人做决定的时候。真正的转折可能发生在更早也更平常的地方:在一些句子第一次说得很顺口的时候。

看不见的那一刻
看不见的那一刻

既然系统这样设计,我们只能适应。不使用这个平台,我就无法工作。所有人都是这样做的。算法认为这样最好。虽然我不喜欢,但数据证明这是最优的。我不知道为什么,只是系统这样给出的。这些句子有一个共同点:判断正在从人的手里,悄悄移动到系统里。而移动完成以后,我们甚至不一定记得,它曾经属于我们。支配之所以看不见,是因为发生的时候没有任何东西变了,除了谁在等谁。

十九我们开始制造那个系统所需要的人

所以真正危险的,也许不是我们制造了一个会控制我们的东西,而是我们制造了一个不需要控制我们的系统。它只需要让生活更方便,让工作更高效,让选择更容易,让信息更准确,让风险更低,让结果更可预测,然后我们自己开始主动适应:改变行为,改变习惯,改变语言,改变目标,改变期待,甚至改变我们对什么样的生活才算正常的理解。

回头看时已经在里面
回头看时已经在里面

这时候,反转已经完成了一整圈。最初是人制造工具,后来是人适应系统,再后来是系统塑造人的行为,最后是人开始主动制造那个系统所需要的人。钟表需要准时的人,工厂需要标准化的人,平台需要持续在线的人,绩效系统需要可量化的人,推荐系统需要可预测的人,而 AI 系统开始需要可描述、可调用、可优化、可自动化的人。这一卷前面七问说的事,在这里合成了一件:它不中立,它的界限由它自己划,它替我们决定,它改变了我们判断的工具,它过滤我们的问题,它为每个人画一个世界,它把推理搬出了人的身体。每一件单独看都不是支配,每一件都可以说成服务。等到有人回头看,发现自己已经在里面,而且不记得是什么时候进来的。

二十所以,我们制造的东西,什么时候开始反过来支配我们?

最早的记录说,在我们忘了它是自己造的时候。马克思说,在它们的关系代替了我们的关系的时候。巴特勒说,在我们开始替它繁殖的时候。海德格尔说,在我们用它的方式看一切的时候。福柯说,在那把尺子进到我们心里、我们开始自己完成它的时候。埃吕尔说,在它有了自己的要求的时候。温纳说,没有那一刻,是一连串没有人做的决定。拉图尔说,从来如此,问题是怎样一起生活。祖博夫和波斯特洛姆说,在我们回头才看见的那一天。

把它们放在一起,答案可以浓缩成一句话:当我们为了让自己制造的东西正常运行,开始认为自己必须改变成它所需要的样子。支配不是事件,是关系的翻转,翻转的时候一切照旧,所以没有一个可以指着说就是现在的时刻。于是人类最后需要保留的,恰恰可能是一种看起来不够理性的能力:说不。不是因为系统一定错,而是因为即使系统是对的,我们仍然有权问一句,为什么我要按照你的方式生活。一个真正自由的文明,不只是拥有制造强大工具的能力,它还必须拥有在工具变得过于强大时,重新决定自己要成为什么样的人的能力。而这件事只能靠一种习惯维持:不断回头看,在还能看见的时候。这个网站上的六十四个问题,每一个都在做这件事,问一个古老的问题,然后问它在今天变成了什么。技术之问到这里结束,而它的最后一句,是回到第一卷的第一问。

下一问 · Ⅰ·01什么是真实的?→
← 上一问 · Ⅵ·07当理性成为一种工具,它会解放我们,还是控制我们?
苏菲周报 · THE WEEKLY 每周一封,
追问一个大问题。
苏菲拉底的每周来信,写这一周在追问的问题和看到的回应。
苏菲拉底
ASK THE BIG QUESTIONS · THINK DEEPLY · SEE THE WORLD DIFFERENTLY
苏菲拉底微信公众号二维码 微信公众号
© 2026 苏菲拉底 · 内容仅供学习 [email protected]