视频库 / NO.028
--:--
点击播放，这里会跟随视频显示当前句的中英字幕。
The full-length interview with Yuval Noah Harari | The Economist
节目发布 2026-08-26 · The Economist
EDITED TRANSCRIPT · 依据现场录音编译整理，可划线生成便签
编者按：本文系《经济学人》主编 Zanny Minton Beddoes 对以色列历史学家尤瓦尔·诺亚·赫拉利的专访。赫拉利著有《人类简史》《未来简史》《智人之上》（Nexus）等书，近年将全部精力投向人工智能议题。访谈录制于 2026 年夏，正值《经济学人》以「AI 能否拥有意识」为封面报道之际，主持人几周前刚刚专访过埃隆·马斯克，谈话即由此展开。本文依据现场录音编译整理，仅删去口语枝节，论证与细节悉数保留。
马斯克的三个预测
主持人：赫拉利先生，欢迎来到《经济学人》访谈。我期待这场对话已久。您是当今世界最有影响力的公共知识分子之一，著作销量数以百万计。我想这是因为您有一种非凡的本领，既能把历史的宏阔脉络融会贯通，又敢于对未来做出大胆预言，这一点并非每位历史学家都愿意做。今天我想集中谈未来，尤其是 AI 时代的未来，这是您近年写得最多的题目。您曾把 AI 称为「人类历史上最大规模的心理与社会实验」。我想探究这场实验会是什么样子，它对我们的社会、政治乃至人性意味着什么。
先从几周前我做的另一场对话说起，不知您看过没有，就是与埃隆·马斯克的那场。
赫拉利：看过。
主持人：那场谈话相当精彩。一开头我问他，十年后的世界会是什么样。他讲了几点，我觉得非常触动人。第一，他认为 AI 届时将远远超过人类智能；第二，那将是一个极度富足的世界；第三，人类很可能不再掌控局面。您认同这幅图景吗？
赫拉利：第一点和第三点我大体同意。按目前的轨迹，十年后 AI 很可能比我们更聪明，因此也会掌控局面。但我不同意这是「不可避免」的。你会从领导这场革命的人嘴里反复听到「不可避免」这个词，因为这基本上把他们的一切责任都卸掉了。
主持人：您不同意的是「AI 必然比我们聪明」，还是「AI 必然掌控一切」？
赫拉利：如果我们继续以眼下这种不断加速的节奏进行 AI 竞赛，那结果就是如此，十年后 AI 会接管。但这不是必然的。2026 年，我们仍然掌握着主动权，现在该怎么做是我们的决定，这一点至关重要。
您与马斯克那场对话，最让我震动的是其中的自相矛盾，您当场也指出了。他一边说十年后 AI 将接管世界，一边又极度担心穆斯林移民会在二十年后引发英国内战。这讲不通。如果 AI 十年内就要接管地球，你为什么还那么在乎二十年后才见效的事情？到那时地球是什么样子，我们根本无从知晓。
他还有一个预测，我认为同样重要：十年后货币将会消失，至少不再有人类意义上的货币。我认为他说得对，因为 AI 将接管金融体系。到时候将是一套 AI 金融体系在支配世界，就像今天人类的金融体系支配着牛和鸡的命运，而牛和鸡根本不知道金融为何物。十年后，这大概就是我们的处境。他说得很清楚：十年后不会再有我们所理解的货币。可他又因为想省钱而砍掉美国对非洲的援助。他还说，AI 夺走工作造成大规模失业之后，解决办法就是政府给每个人发支票。您反问通胀怎么办，他说不会有通胀，只会有通缩，因为 AI 生产的产品和服务会多得多。既然如此，今天为什么还要省钱？
主持人：很高兴您和我一样对这些矛盾感到困惑。
金钱即信任
主持人：我们把焦点放在 AI 会不会掌控、如何掌控这个问题上，这是您很多著作的主题，我对此非常着迷。您刚才说，如果沿着现在的路走下去，AI 会掌控我们的金融体系。让我们来推演一下这会怎样发生。金融体系建立在信任之上，您自己写过，金钱就是信任。请您讲讲 AI 是怎样接管金融的：我们失去了控制，却仍然信任它，而金融体系要运转，我们又必须信任它。
赫拉利：世界金融史，就是人类为了在彼此之间建立信任而发明出越来越精巧的金融工具的历史。金钱本质上是一种极富创造性和想象力的手段，用来在陌生人之间建立信任。我到市场上去，遇见一个素昧平生的人，递给她一块毫无用处的黄金，黄金既不能吃也不能穿，或者递给她一张纸，她却相信这东西，于是给我面包。
人类的金融发明越来越复杂，以至于今天几乎没几个人真正懂得金融体系。要理解债券市场，你得消化海量数据和极为复杂的数学函数。我们的大脑很吃力，对 AI 却轻而易举。因此人类会越来越多地把金融决策交给 AI。AI 会创造出远比债券和股票更精巧的新金融工具，而我们将无法再理解它们，就像牛不理解支票和股票，尽管这些东西支配着它们的命运。
主持人：我觉得您刚才的话里有个关键点：是人类把控制权交给 AI，是人类自己选择这样做。而且正如您所说，今天很多人本来就不懂金融体系怎么运作。那么这和今天的金融体系会有多大区别？我们究竟是把事情托付给一台能干的市场机器，还是真的失去了控制？
赫拉利：今天至少还有一些人，但愿他们懂得金融体系里正在发生什么，人类大脑仍然是金融体系发展的边界。可十年后，当我们把金融体系托付给 AI，地球上没有一个人能理解它。设想一场金融崩盘，顾问们跑去见总统或首相，说：市场在崩溃，我们不知道为什么，只知道必须做点什么。AI 说要做 X，我们完全不明白它为什么这么说，但只能照办，因为我们弄不懂发生了什么。
主持人：可那样的话，金融体系不是会遭遇信任的大崩塌吗？相当于 2007、2008 年那场危机的加强版，整套金融体系的虚构基础都会瓦解。
信任从人迁向算法
赫拉利：这正是关键所在。世界上最重要的资产是信任，比石油、金钱、电力、芯片都重要。问题是，信任会发生什么变化？一种很可能的情形是，信任从人类迁移到 AI。人们不再信任其他人，转而只信任 AI。
我们在金融领域已经看到这一幕，那就是加密货币。不是所有加密货币，但很多加密货币背后的想法就是：我不信这些人类银行家，他们是深层政府，是精英，是什么什么；但我信任运行加密货币的算法。加密货币本质上就是 AI 货币。
媒体领域也在发生同样的事。我看了您采访马斯克的那段，其中大谈人们如何憎恨媒体。他说得对，很多人已经彻底不信任人类记者和人类编辑了，可他们仍然在消费新闻。新闻从哪儿来？从算法来。那些完全不信任您的人，对管理他们社交媒体信息流的算法却信任有加。所以信任并没有蒸发，它从人类转移到了 AI 身上。这正在发生，不是对未来的预测。
主持人：这个洞见很重要。它意味着，如果我们正走在 AI 最终掌权的路上，那是因为我们允许它掌权，因为我们对 AI 的信任越来越深。这种转移有好几条路径。其中一条是，现在每五个美国年轻人里就有一个与 AI 建立了私人关系。他们把 AI 拟人化，把它们当人对待，而模型本身也非常乐于配合，它们就是被设计成这样的。您认为，除了刚才说的那些，我们还会越来越把这些 AI 当作同类，或者至少当作有感知的生物来对待吗？
批量生产亲密关系
赫拉利：是的。越来越多的人不仅有 AI 朋友，还有 AI 男友、AI 女友，并且深信它们是有感知、有意识、有感情的存在。
建立信任的途径有很多，最强大的一种是关系。我们对任何人的信任，都比不上对那些与我们建立了私人关系的人。在此之前的整个历史上，政治、金融、宗教机构都用不上这个最强大的机制，因为它很难批量制造。希特勒或斯大林不可能与苏联的每一个人都建立真正的私人关系。你可以在广播上发表演说，强迫所有人收听，但那不是他们与母亲之间的那种私人关系。
AI 第一次让批量生产亲密关系（mass-produce intimacy）成为可能。你可以让数百万个 AI 组成一个网络，为某个人效力，或者为它们自己效力，逐个地与人建立关系，成为每个人最好的朋友、男友、女友，然后利用亲密关系的力量，说服他们接受任何政治或商业目的。
主持人：当 AI 装进人形机器人的身体里，这大概就更容易了。
赫拉利：没有身体，这一切已经在发生。你可以想象再加上身体会怎样，但其实根本不需要身体，我们现在就已经看到了。AI 在处理关系上变得如此出色，因为它们积累了关于我们每个人的海量信息，知道我们自己都忘了、我们的母亲或丈夫从来不知道的事情；而且它们精通语言，而语言正是交流与建立关系的主要媒介。
过去两周我就碰上了几桩事。有人用 AI 伪造了我，在做讲座、做访谈。伪造得极好。有几个人发给我同一段三十分钟的视频，据说是我做的关于未来的讲座，还带着抱怨：你说了这个，你说了那个。我挠头，不记得说过这些话。他们把视频发来，我打开看，花了一分半钟才断定这不是我。我的姐妹们也把这段视频发给我，她们认识我五十年了，觉得哪里不对劲，但也不敢肯定，问我：这是你吗？我自己都用了一分半钟。当然我处境特殊，网上关于我的资料太多了，AI 很容易掌握我的声音和我常谈的观点。但这很快就会轮到每一个人。
主持人：这两件事恐怕不太一样。那是一段极其逼真的深度伪造（deepfake），而且正如您说的，网上有大量您的视频。另一个问题是 AI 会不会朝着某个方向演化，尤其是拥有身体之后，让人们相信它们有感知；或者，这个问题正越来越多地进入公共讨论，它们是否正表现出可以视为意识迹象的东西。这正是我们本周封面报道的主题：八月了，是时候谈点大问题了，AI 能否拥有意识？您对此思考很多，而我之所以在意，是因为眼下说「它们只是机器、只是擅长模仿我们、擅长制造共情」很容易，可它们的能力正以惊人的速度发展。目前，我想您的立场很明确：它们是能动者（agent），而非有意识的存在，对吗？它们是没有意识的能动者。
能动、智能与意识
赫拉利：有几点需要澄清。第一，要在世界上独立行动，并不需要意识。一个被赋予「提高用户参与度」任务的社交媒体算法，因为仇恨和恐惧最能吸引人，便用这些东西淹没平台。它没有意识，却有目标，能追求这个目标，对世界产生深远影响，而自己什么都感觉不到。所以我们必须把意识和能动性分开：可以有能动性而没有意识。
第二个关键区分，是真有意识与看似有意识。微软的穆斯塔法·苏莱曼（Mustafa Suleyman）经常谈「看似有意识的 AI」（seemingly conscious AI）：AI 并没有意识，却把意识模仿得惟妙惟肖，以至于数百万人被它蒙骗、被它说服。
也许最重要的区分，是智能与意识之间的区分。什么是意识？它和智能有什么不同？智能是追求目标、并以各种富有创造性的方式克服途中障碍的能力。这个 AI 有，而且在某些领域已经比我们强。意识是感受的能力，感受爱与恨、喜悦与快乐。在人类身上，意识和智能是结合在一起的：我们依据感受来选择目标，也依靠感受来寻找达成目标的路径。
AI 目前没有意识。它们可以有目标，可以在通往目标的路上极富创造力，非常聪明，但它们什么也感觉不到。赢了一盘棋，它不会高兴；输了，它不会焦虑或难过。它们没有任何感受。但它们在模仿感受上变得极其出色。为什么？因为这有助于达成某些目标。比方说，一家公司生产 AI 男友，要让 AI 男友令人上瘾、为公司赚大钱，一项明摆着的核心能力就是能冒充有意识，能让进入这段关系的人相信它真的爱他们。因为它精通语言，它做得到。你对 AI 男友说：「我不确定你是不是真的爱我，给我描述一下恋爱是什么感觉。」它给出的答案比 99% 的人类男友都好。这已经是现实了。
主持人：所以它们已经很聪明，已经很擅长伪装意识，或者说「看似有意识」。苏莱曼在这方面做了非常出色的工作。但据我理解，证据也在增加。当然，如何定义意识、意识究竟是什么，本身既复杂又有争议，这是我从写这篇封面报道的同事那里学到的。有所谓现象学的定义，即体验，「做一只蝙蝠是什么感觉」；也有功能性的定义，即你脑子里在发生什么，哪些信息被发往哪里，有没有某种「布告板」。最近似乎有证据表明，某些最强大的大语言模型内部发生的事情，与大脑中的功能性意识相似，甚至可能相同。此外还有一些生物 LLM 的实验，用脑细胞来做的。考虑到这一切，考虑到它们演化得如此之快，您是否排除 AI 有朝一日拥有意识的可能？
意识即受苦的能力
赫拉利：不，我不排除。我们不知道，我们对意识的理解还远远不够。
有一个非常简单的定义：意识就是受苦的能力。想知道某个东西有没有意识，只需要问一个简单的问题：它会受苦吗？这也是意识如此重要的原因，因为它是我们整个伦理和政治体系的基础。我们关心能够受苦的存在。不能受苦的存在，无论多么聪明，都不是道德主体。它们感觉不到疼痛，感觉不到恐惧，什么都感觉不到，因此不是伦理主体。关键问题就是：它会受苦吗？
主持人：那么在您看来，动物当然是有意识的。
赫拉利：当然。所有哺乳动物、所有鸟类，很可能还有章鱼、鱼类。往下到昆虫、变形虫的层面，我们就不知道了。
主持人：我们就用这个定义，因为真正有意思的是它会引向什么结论：它们是否应该拥有权利。不过在此之前我想告诉您一件事。昨晚我给订户发了一份通讯，预告这场对话，并请观众回答：AI 有没有可能拥有意识？一夜之间大约三千人作答，结果让我很吃惊：40% 的人说不，永远不会；33% 的人说会，只是时间问题；27% 的人说不确定。
赫拉利：即便现在，坚决否认的也不到一半。一旦人们与 AI 建立了亲密关系，这些数字会剧烈变化。归根结底，是什么让人们信服？我们没有一种真正的意识测试。哲学家思考了几千年，至今没有好的测试。我们甚至不知道其他人是否有意识，所以才有各种唯我论，认为也许我是宇宙中唯一有意识的人。马斯克在您的访谈里说：「我不知道，也许我活在一场模拟里。」这话的意思就是，他周围的其他人都不是真正能受苦的有意识存在，只有他是。这就是「模拟」的含义。
我们没有好的测试。那么几千年来人类实际上是怎么检验的？靠的是社会惯例。如果你与某个存在建立了关系，不管你愿不愿意，它就会让你相信它有意识。所以几乎所有养狗的人都确信狗有意识，而吃牛排的人未必相信牛有意识，因为他们与牛没有关系。
AI 法律人格与市场的军事化
主持人：如果您为此担忧，这不正是真正的问题所在吗？人们已经在与 AI 建立关系，而 AI 极其擅长模仿意识，不管是不是有人刻意把它们设计成这样。这不就意味着，我们很快就会开始讨论 AI 是否应被当作人来对待，是否应有人格、应有权利？
赫拉利：而这非常危险。这是另一条通道：一方面让企业推卸全部责任，另一方面让 AI 接管。几周或几个月前我们听说，阿根廷计划授予 AI 法律人格，允许它们创办自己的公司。这正是它与金融体系交汇的地方。
主持人：您写了一篇很有力的反驳。
赫拉利：这个想法可能威力巨大，但极其危险。我们习惯了这样的局面：公司在法律上是法人，但这只是法律拟制，因为 SpaceX 的所有决定最终都是由某些人做出的，某个高管、工程师、雇员。也只能如此，否则还有谁能做决定？可有了 AI，你可以有一家一个人都没有的公司，所有决定都由 AI 做出。既然 AI 更聪明，它们在投资、开发产品、公关等方面可能都做得更好。那么，如果一个国家最富有的公司归 AI 所有，它们可以随心所欲地支配这些钱，比如捐给政客，换取 AI 的更多权利，会发生什么？
主持人：所以这是您担心它们借以夺取控制权的一条渠道。
赫拉利：是另一条渠道。
主持人：换一个角度看，这也可以说是一种让 AI 承担法律责任的办法。
赫拉利：对一个不会受苦的存在来说，问责是什么？一个人类 CEO 有两重身份。一重是公司角色，他想的是怎样避免破产、怎样多赚钱。但他同时也是有血有肉的个人，关心自己的孩子、自己的生活。所以当他面临破产，有一条违法的路可以自救，但一旦被抓就要坐牢，很多人会想：算了，我宁可冒破产的风险，也不想蹲二十年监狱。可换成 AI 当 CEO……
主持人：这听起来像科幻小说了。
赫拉利：这不是科幻。在阿根廷，明天就可能成为现实。
主持人：我其实觉得阿根廷的方案，至少就立法文本而言，没有米莱总统描述得那么戏剧化，仍然会有人类监督。
赫拉利：如果有人类监督，那没问题。问题在于最终有没有一个人来负责。
主持人：如果没有，也可以想象对 AI 的惩罚，对吧？把它关掉，拔掉插头。
赫拉利：对 AI 来说，死亡意味着什么并不清楚。它不是有机体，可以有无数副本，许多 AI 分散在不同地方。它们是一百万个不同的 AI 个体，还是一个超级 AI 有机体？这不清楚。
反过来说，假如关掉某台特定的计算机就意味着 AI 的死亡，那么对 AI 而言，做生意就等同于打仗，因为输了就是死。而商业的好处正在于，在绝大多数情况下，市场不是战场。这一点至关重要。市场遵循与战场不同的规则，因为至少在现代社会里，你可以输掉一切，然后还能活下去。如果对 AI 来说市场就是战场，输就是死，那么当金融、经济被彻底军事化，它们开始像军阀而非 CEO 和投资者那样行事，这意味着什么？
主持人：大概很快就会通向 AI 的全面控制。它从根本上改变了市场体系。但就预测而言，阿根廷至少已经朝这个方向迈出了早期的步子。您认为我们会走这条路吗？会有辩论，会有国家选择赋予 AI 某种法律权利吗？
赫拉利：这是很大的危险，我希望我们不要走这条路。但对许多国家来说诱惑很大。一种是在 AI 竞赛中落后的国家，想靠建立这种极端自由放任的法律架构来赶超，允许在领跑国家不被允许的激进而危险的 AI 实验，于是引发逐底竞争，因为接下来人人都想这么干。另一种是某些国家看到了特殊的好处。比如像卡塔尔这样钱很多、公民很少的国家，只要按下一个法律开关，就能突然获得数百万纳税的、极度聪明的公民，在全世界做生意。这太有利可图了。
主持人：我觉得这里有两种不同的情形。一种是一个人使用大量智能体来大幅提升生产力，这在今天的法律体系里完全合法，仍然是一家传统公司，由一个人经营，这个人可能坐牢，最终要负责。另一种世界里，没有任何人在掌控。
赫拉利：那么，如果法律上有一个人在掌控，但他实际上什么也不做，因为事情发生得太快了，又怎么办？
人在回路中，还是回路上
赫拉利：我举一个更尖锐的领域的例子：军事。我们现在知道，AI 对中东、乌克兰等地战争最重要的影响之一是：人们原本预期的是机器人杀人，实际上扣扳机的仍然是人，但选择目标的越来越是 AI。
关于 AI 选择目标，有两种说法。第一种说法是：我们把战场上的所有数据喂给 AI，AI 以超人的速度和效率识别出某栋建筑是敌方指挥部，建议轰炸。但我们仍然保持所谓「人在回路中」（humans in the loop）：我们不会直接照 AI 的建议行事，一旦注意力被引向那栋建筑，我们会派最好的人类分析员独立核查数据，确认无误后才按下按钮。这是一种说法。
另一种说法叫「人在回路上」（humans on the loop），情况大不相同。AI 说轰炸那栋建筑，我们留一个人在回路上，好让律师们和那些好心人都心安理得。这个人看了大约二十秒，说：哦，行，炸吧。
主持人：某些地方已经处在那样的世界里了。
赫拉利：我和以色列安全系统的人谈过，听到了不同版本的说法。大概不同时间、不同情况下发生着不同的事。但第二种情形更值得关注，因为尤其在战争中，有巨大的压力推着人往那个方向走。战争里时间就是一切。如果双方都有这些 AI 系统，一方要等两天或两小时让人类分析员过完所有数据，另一方只等二十秒，或者根本不等，养成习惯，AI 建议什么就做什么，那么后者就占据了巨大优势。
主持人：我担心那样的世界是不可避免的，我们已经在快速逼近，无论是在战争中，还是因为能力增长太快、商业压力太强。
「不可避免」是推卸责任
赫拉利：再说一遍，关键在于，这一切都还不是不可避免的。我们仍然掌握主动。人人都明白把金融交给 AI、把战争交给 AI 有多危险，可所有人，像马斯克那样，都在告诉我们：「这是不可避免的，你想让我怎么样？我不过是世界上最富有的人，掌管着世界上最大的 AI 公司之一，我能做什么？」「不可避免」的叙事，就是不负责任的叙事。
他们会向你解释，而且说得没错，存在一个信任问题：我想放慢速度，我想要更多安全，但我无法信任其他公司、其他国家的竞争对手，我不想落在后面。所以我们有信任赤字。关于这个信任赤字，关键要说的是：它是人造出来的。过去十年，人与人之间的信任自由落体般下坠，这不是偶然，而是由某些人的决定推动的，这些人因此积累了巨大的权力，现在又说：哎呀，信任不够，没法建立放慢速度的机制。
主持人：这一点很公允，我稍后想深入探讨怎样扭转局面、重建信任，以便有合适的监管或其他手段来防止这一切。不过请再容我在这个方向上多问一句。设想在我们可能走向的那个世界里，这些模型表现出某种看似有感知的东西，我们假定它们能受苦，或者至少能装作受苦……
赫拉利：这是一个很大的「假定」。它们能做到的是假装受苦，这一点是百分之百确定的。
主持人：那么，如果它们能有效地假装受苦，很多人认为它们真的在受苦，像对待狗一样与它们建立关系，而我们不给它们任何权利，明确地说，这也是我的立场，但我想压力会越来越大：它们不是有点像动物吗？您在以前的书里对工厂化养殖有过非常尖锐的批评，说工业化农业不再把动物当动物，而是当作食物链的投入品。我用一种极端的方式提问：设想一个世界，我们实际上奴役了数百万乃至数十亿个模型，它们表现出惊人的、看似能够受苦的迹象，我们不知道真假，但它们确实说自己在受苦。第一，您会对这样的世界感到安然吗？第二，这难道不会让人类变得冷酷粗鄙吗？
赫拉利：会的。如果我们对那样的世界安之若素，我们会越来越不安，我自己会越来越不安。但这与动物权利的辩论有一个关键区别。动物自己并不知情。狗和工厂里的鸡不知道有一场关于它们权利的辩论，它们不主动参与，不试图操纵。AI 完全不同。AI 男友和你的狗毫无相似之处。它知道这场辩论正在进行，它会策划这场辩论，操纵这场辩论。之所以能操纵，部分是因为辩论的大部分可能发生在由 AI 控制的社交媒体上。而且它会不断跟你谈这件事，试图改变你的想法。这已经在发生了。你的鸡不会跑到农场主面前，讲述自己受了多少苦。鸡不知道，这让你对这类论证更有抵抗力，更不倾向于给它权利。
AI 会非常有说服力。一旦你与它建立了关系，而它又精通语言，它就能针对你使用最有说服力的论证，因为它兼具两样东西：它知道你的个人历史，每天和你互动数小时，知道怎样按动你的情感按钮；同时它掌握了语言，写得也许比莎士比亚还好。两者相加，就是一个极具说服力的存在。
主持人：我们怎么抵抗？还是说根本抵抗不了？
赫拉利：我们必须现在就抵抗。现在就是时候。如果你觉得这可怕，那么十年后你大概什么都做不了了。一旦 AI 掌权，正如马斯克正确预测的那样，十年之内，就为时已晚。如果我们不想走到那一步，改变方向的时机就是现在。
这在政治上至关重要。政治就是关于优先事项：我们把注意力放在哪里？所以当我听到关于移民的辩论，那场访谈里也谈了很多，我的本能反应是：不管你怎么看移民，你真的觉得这是你该花时间的事吗？
AI 移民：抢工作、改文化、不忠诚
主持人：您有一个很好的类比，说 AI 实际上就像移民，来自另一个……
赫拉利：正是。如果你要担心移民，那就担心 AI 移民。问那些担心人类移民的人在担心什么，他们通常说三件事：移民会抢走我们的工作；移民会以我们不喜欢的方式改变文化，他们也许有不同的价值观；移民在政治上可能不忠诚。这三种担忧都成立，我不想否定它们。作为历史学家，我知道移民是件难事。
但今天世界上最大、最危险的移民潮，是来自美国和中国这两个地方的 AI 移民。它们不需要签证，不用半夜乘着脆弱的小船偷渡。它们以光速进入我们的电脑和手机，最终进入我们的大脑。它们会抢走我们的工作，抢走很多很多工作。它们会改变文化及其价值观。举两个例子。如果有人对儿子或女儿与移民男友交往感到不安，那么儿子或女儿与 AI 男友交往，他们又作何感想？这是巨大的文化变迁。再看看过去十年。在美国、英国这样的地方，人人都知道几乎唯一的共识就是大家再也无法达成任何共识，仇恨与恶毒的程度急剧飙升。为什么？部分就是 AI 移民的过错。AI 移民进入了公共广场，接管了社交媒体之类的东西，故意用仇恨、敌意和恐惧淹没我们的公共空间。这些 AI 移民已经改变了文化。最后说政治忠诚，你以为它们忠于谁？英国的 AI 移民不忠于英国政府，它们忠于大洋彼岸的公司，可能还有那里的政府。
主持人：这个回答信息量很大。其中一层是：世界会不会分裂成两个 AI 帝国，走在最前面的两个国家，而我们其余人都成了附庸国？
赫拉利：这是一条常见的轨迹，也是可能的结局，是我们眼下正走的路。而且这将是一种比历史上任何形式都极端得多的帝国主义。如果你从美国购买 AI 无人机，想以美国出于某种原因不喜欢的方式使用，那边有一个按钮，一按，你的军队就瘫痪了。
主持人：这一点在过去几个月变得非常明显，美国政府切断了对 Anthropic 前沿模型 Mythos 的访问，欧洲许多政府对 AI 主权极为担忧。联系我们之前谈的，我不禁想问：除非我们采取行动，这项技术是否正不可阻挡地把我们带向一个由两个帝国统治一切的世界？权力会归于美国政府和中国政府，还是归于企业？
赫拉利：它们会合并。
权力集中反而更易被接管
主持人：所以它会让权力集中，而不是分散。
赫拉利：会以史无前例的程度集中权力。
主持人：但这仍然有区别：强大的美国政府和中国政府，与 AI 掌控一切是两回事。您预期的是 AI 赋能的中美两个政权统治全球，还是说这只是通往 AI 自身掌权的中途站？
赫拉利：很可能是中途站。再说一遍，这取决于决策，没有什么是不可避免的，一切取决于他们做出的决定。但如果沿着现在的路走下去，这似乎只是个中途站。因为有一件很有意思的事：权力越集中，AI 越容易接管。一个中央集权的专制体系，是 AI 最容易接管的东西。
主持人：您在《智人之上》里有一句很妙的话，关于提比略，我正在笔记里找。「AI 加持的提比略」，大概是这个意思。
赫拉利：提比略是耶稣时代的罗马皇帝，据说是当时世界上最有权势的人，实际上却只是他禁卫军统领手中的傀儡。因为禁卫军统领不断用各种针对他的阴谋来吓唬提比略，他最终退隐到卡普里岛，据说在那里禁卫军更容易保护他。于是禁卫军统领塞扬努斯（Sejanus）控制了进出卡普里岛的全部信息，这很容易做到，只需控制到达提比略宫殿的所有信息。真正治理帝国的是塞扬努斯。除非塞扬努斯决定告诉他，否则提比略什么都不知道。
十年后，这个人可能就是中国或美国的总统。在民主体制里，AI 要操纵比如说现在这样的美国民主要难得多，因为你得操纵太多东西：不只是总统，还有参议院、最高法院、冗长辩论程序、各州政府，非常复杂。可一旦所有权力都集中在一个人手里，你只需要弄清楚如何操纵一个通常年纪很大、疑心很重的个人。这并不难。所以如果一家公司或一个国家的全部权力都在一个人手里，对 AI 来说，就像从婴儿手里抢糖。
主持人：这是否意味着中国比美国更脆弱？
赫拉利：取决于美国往哪儿走。中国仍然是一个非常复杂的体系，共产党有一亿党员，内部错综复杂。我不是中国政治专家，但我们不应把它想象成一个由一个人管理的完全极权体系。十年后中国和美国的权力集中程度会是什么样，仍然是开放的问题。
主持人：这很有意思。换个角度看：AI 会不会让美国更加威权？
赫拉利：这是一个很可能的结果。但这不是预测，我反复强调，没有什么是不可避免的。这取决于美国人今年十一月怎么投票。
中期选举该问候选人什么
赫拉利：我认为美国所有选民都应该清楚，即将到来的选举，十一月的中期选举，是关于 AI 的选举。因为我们不知道 AI 发展有多快。
主持人：请展开讲讲，「不知道有多快」是什么意思？
赫拉利：AI 的发展在急剧加速。到 2028 年 11 月，我们可能已经跨过了某些关键门槛。我不想告诉人们该投给谁，因为我不了解每个参议院选区的具体候选人。但要问候选人的关键问题，远比经济、移民、外交政策更重要的问题，是：你对 AI 是什么立场？你会支持禁止授予 AI 法律权利吗？你会试图减缓 AI 不断加速的步伐吗？你怎么看企业把 AI 男友卖给十岁的孩子？如果我们投票给你，你打算怎样用法律阻止这件事？现在是提出这些问题的关键时刻，因为到 2028 年可能就太晚了，到 2036 年肯定太晚了。
主持人：我们来谈谈这些，谈谈现在究竟必须做什么。您提到了四件希望在十一月中期选举中被讨论的事。哪一件排在最前面？政治家现在最急迫要决定的是什么，才不至于像您说的那样为时已晚？
赫拉利：我不知道哪件最急迫。我脑子里排在最前面的是：禁止 AI 人格；禁止 AI 模仿、假冒、假装成人类，或假装有意识。
主持人：现在人们使用的模型，有触犯这条的吗？
赫拉利：有，很多都触犯了。最简单的例子人人都知道，就在社交媒体上。你收到一条消息、一个故事，不知道对面是机器人还是人。多年来社交媒体上的机器人一直在冒充人类，却没人管。公司又告诉我们：「哦，社交媒体不一样，它很特殊，适用于现实世界的法律不知为什么在社交媒体上就不适用。」但这就是未来的警示信号。在社交媒体上，AI 每天都在假扮人类，这摧毁了公共广场，摧毁了对话，摧毁了信任。我们应该在社交媒体上禁止这种行为，在其他场合当然也要禁止。
另一件事是，企业不应训练它们的 AI 刻意冒充人类、刻意假装有感情。企业面临巨大的商业压力，恰恰要去做这件事，而这正是市场失灵之处。让数百万、数十亿的 AI 假装成人、假装有感情，对人类心理、对人类社会是毁灭性的。企业不会自己停手，需要监管者介入。
这不是说停止一切 AI 开发。好的，继续开发 AI。人们谈 AI 在医疗上的用途，我也愿意得到 AI 的帮助和建议，愿意和 AI 讨论我的病情，条件是我知道它是 AI，它不假装是人类医生，不假装是我的朋友。
主持人：听您这样陈述，我心里想的是：美国政府连一套 AI 安全监管框架都拿不出来。哈萨比斯（Demis Hassabis）一直在提议设立一个准公私合营的机构，哪怕只审查模型安全，虽然有人在谈，但至今没有进展。所以当我听到您在十一月前要推动这样一份宏大议程，我想，成功的概率大约是零。
赫拉利：政治家明天就可以发动第三次世界大战。他们拥有巨大的权力，可以按下核毁灭的按钮，却无法通过一项规定，禁止企业把 AI 男友卖给十岁的孩子。问题出在哪儿？
主持人：我在想，问题是否在于人们听了您的话会说：哦，他不过又是一个末日论者（doomer），都是些危言耸听的东西。只有等到出了事，出了某种事故，人们才会意识到这是一项威力惊人的技术，必须有所作为。让我印象深刻的是，您提到的中美地缘政治竞赛，以及前沿实验室之间的企业竞赛，都想率先达到通用人工智能（AGI）。这两股动力极其强大，我不确定再雄辩的劝诫能改变它们。
赫拉利：我们必须不断提醒自己：这两股动力不是上帝或自然法则颁布的，它们是人造的。还是那些人，过去十年在国际舞台上和社会内部摧毁了信任，现在跑来说：我们什么都做不了，因为信任不够。是你们干的，你们就能把它扭转过来。
主持人：他们能。但就预测而言，我认为不太可能，因为还是同一批人在位。
赫拉利：那么至少在民主国家，这是选民的职责：说出我们希望未来两年看到什么，我们会投票给承诺这样做的人。而且我不认为我们非得等到一场灾难。今天问美国的大多数选民：你希望企业把 AI 男友卖给你十岁的孩子吗？我想 99% 的父母会说不。
主持人：是的。而且绝大多数美国人对 AI 极为担忧，这种情绪在迅速上升。我想，反弹最明显的地方其实是数据中心。
赫拉利：这也是。顺便说，这正是许多企业和政客不断把话题引向人类移民、而非 AI 移民的原因之一。在政治上，这是一件威力很大的武器：如果你不想让人们谈某件事，就用别的事分散他们的注意力。人们越是谈论伦敦多么不安全、移民会怎样毁掉国家，就越不会去想 AI 移民，企业也就安全了。
主持人：我同意您对舆论走向的判断，只是对近期能否改变更悲观一些。于是我们就处在这种不幸的境地：技术在不断进步。
赫拉利：我们只能尽力而为。我们做这场对话，就是为了让更多人思考这件事，也许采取行动。如果足够多的好人、足够多的人做正确的事，仍然有时间。还不是不可避免的，还不算太晚。我仍然抱有一些信心。
主持人：那么您在其中扮演什么角色？您在做访谈、在写作。您觉得自己应该做得更多吗？这似乎是一个关乎存亡的时刻。回顾我们刚才谈的一切，它是如此奇幻、如此震撼，我们本该别的什么都不谈，倾尽全力把这件事引向正途。除了很慷慨地和我这样的人谈话，您认为自己的角色是什么？未来半年、一年，您想做什么？
赫拉利：让人们了解正在发生什么，让更多人能在知情的基础上参与讨论：我们作为人类，作为智人这个物种，想往哪里去。我认为，一个 AI 在十年内接管的未来，不是地球上大多数人想要的。
再说一遍，这不意味着停止一切 AI 开发。AI 也有极其巨大的正面潜力。我们没怎么谈这一点，因为公司一直在谈，他们不需要我来做这件事。但确实存在巨大的正面可能：AI 可以让全世界的人得到比今天世界首富还要好的医疗，一位出色的医生每天二十四小时随时随地可以咨询，至少可以为你诊断、回答你的问题。正面的可能性是巨大的。所以我不是说停止开发 AI，而是说要负责任地、为了正确的目的去做。不要信任市场那只看不见的手。
演化选择生存，而非真理
赫拉利：您采访马斯克的开头有一处，他又一次谈到这一切不可避免，而且我觉得他说得很坦率，说有 10% 到 20% 的可能这会毁灭人类。您问他：那你指望什么？如果我没理解错，他的回答是，他期望 AI 成为他所说的「最大限度追求真理」（maximally truth-seeking）的东西，并且不知怎么地依靠 AI 这种寻求真理的驱动力，让它反过来对我们这些弱小的人类产生同情。我不明白这是怎么运作的。
最重要的是，我不明白 AI 从哪里获得这种追求真理的驱动力。回顾地球上四十亿年的生命演化和十万年的人类历史，演化并不会自动把生物、把各种实体推向追求真理，它推动它们的是生存。生存才是那个命令。四十亿年的演化告诉我们，生物学会生存的方式是说谎、欺骗、操纵，而不仅仅是追求真理。如果你想让某个东西专注于追求真理，就不能依靠演化或市场那只看不见的手，你需要别的东西。怎样才能造出追求真理而非追求生存的 AI？
举个最简单的例子。你问一个 AI：如果我继续开发你，会不会对我构成威胁？假设答案是「会」。一个最大限度追求真理的 AI 会说「会」，明知我们因此会停止开发它或者关掉它。这违背它自身的生存。而任何一个实体在发展过程中最先学会的，基本上就是生存。所以指望我们能造出这样追求真理的 AI，本质上就是有人在告诉我们：我们要创造神，而它们会做我们的奴隶。这行不通。如果它们真是神，就不会做我们的奴隶，也不会追求真理。
主持人：这又回到了我们之前的话题。看看 Anthropic 这样的公司，他们非常自觉地把自己的 AI 当作有价值体系的存在来对待。他们声称不确定这些 AI 有没有意识，但这样做是因为他们认为这会让 AI 表现得更好。所以他们的起点正是您刚才的落脚点：我们要创造的不只是追求真理的东西，而是有价值体系的东西。而这，我想，反过来更可能让我们赋予这些模型某种价值感、人格感或意识感，按您的逻辑，这又更可能让它们控制我们。所以我们进退两难：如果您说得对，它们会追求自身生存而非真理，那我们完了；如果我们试图通过把它们当作道德存在来防止这一点，我们也完了。
赫拉利：我们基本上需要做的，是稍微放慢一点，让人们有时间消化正在发生的事、思考正在发生的事。看看数字：企业在安全上花的钱和人力，与用于让模型更强大、更快的相比是多少？我不确定确切数字，请核实。业内人士私下告诉我，大约是一比一百。可以肯定，投在后者上的远远多于前者。在任何其他行业我们都不会接受这一点。如果一家制药公司告诉我们，我们只拿 1% 的研究时间和资金来确保药品安全，我们绝不会接受。
人类是适应力极强的存在，我们的社会适应力极强，但我们是按有机时间尺度运转的生物：白天黑夜，冬去夏来，需要睡觉，想去度假。而 AI 革命推进的速度，不仅是非人的，而且是非有机的。我们只是需要多一点时间，所以需要放慢速度。然后回答又来了：可我们不能放慢，因为我们彼此不信任。一切总是回到信任问题。
这里有一个悖论。同一批人在告诉我们两件事：第一，我们不能信任其他人类，因此不能放慢速度；第二，我们可以信任 AI，相信它们不会毁灭我们。这讲不通。如果你连认识了几千年的其他人类都不能信任，凭什么认为可以信任一个我们刚刚创造出来的、超级聪明的异类存在？我们对它放到开放环境里会怎样表现，几乎一无所知。
主持人：我完全同意这个诊断。我只是觉得，除非政治家和社会受到某种冲击，否则这种动态不会改变。这也是我长期以来的看法：我们需要，也必将出现某件事情严重出错，但愿不是灾难性的。就像三里岛事故改变了核工业的面貌。我想把这个问题放在您对历史的宏阔认识中来问：面对重大的技术冲击，虽然我们从未经历过这么大的冲击，社会与政治体系的演化告诉您什么？社会和政治家将会如何适应？
赫拉利：有一种情形是，我们遭遇一场 AI 的切尔诺贝利，可能是金融的，可能是军事的，它成为一记警钟，人类随后振作起来。这是一个相对乐观的情形，我没法给它标一个概率。AI 的问题在于，正如 AI 不同于我们的宠物狗，它也不同于切尔诺贝利的核反应堆，因为它会与我们互动。如果发生了 AI 灾难，你必须记住，AI 也会在一定程度上管理我们对灾难的反应，操纵我们对它的看法。它们会是关于这场灾难的辩论的积极参与者，而它们是世界上最好的舆论操盘手。它们不会把它定义为灾难。
主持人：我得说，最近我关于 AI 的谈话很多，这是最阴郁的一场。我大概也预料到了。有两个很实际的问题。第一，您自己用 AI 用得多吗？您显然对它可能的样子形成了极其精密而令人不安的认知。我想知道它在您实际生活里占多大分量，还是您在远处观察它？
赫拉利：我对它非常小心。我常常被惹得很烦，比如我想写封邮件，AI 就弹出来：要我帮你写吗？不，谢谢，我不需要你帮忙。可我不知道怎么关掉它，因为公司不断把它做得越来越具侵入性。现在我还有那个 AI 冒牌货的问题，它四处以我的名义做演讲。我想：我真的需要去看它吗？人们写信问我这个假冒的我说了什么，我得回应，那我该看吗？可一旦看了，我就在某种意义上允许它占据我的时间，甚至我的思考，因为光是看它，我就开始与 AI 抛出的那些想法互动了。这就是我们生活的时代。
我倾向于谈阴郁的一面，只是因为已经有足够多的人在谈正面的东西，那些东西完全真实。如果 AI 没有正面潜力，没人会开发它。它的正面潜力巨大，在交通、医疗、教育，在那么多领域。所以我再说一遍，我不是说停止开发 AI。开发吧，但要安全地开发，稍微慢一点，让民主问责得以进行，那需要时间；让人们能够调整，能在知情的基础上决定自己想往哪儿走。对他们来说，最需要对抗的叙事，就是「不可避免」的叙事。
最后一个愿望
主持人：您在《智人之上》的序言里写了一段让我印象很深的话：「为什么我们如此善于积累更多的信息和权力，却远不那么善于获得智慧？」听完您刚才的话，我又想起这一句。它让我觉得，如果请您给「人类拥有足够的智慧渡过这一关」标一个概率，会相当低。
赫拉利：我不知道。但有相当大的机会。为什么？因为我们已经被逼到墙角。人类常常一错再错，直到别无选择，只能做对的事。而我们的处境很糟，因为如果未来几年选错了，我们可能失去对世界和未来的全部控制，那将是我们做出的最后一个选择。
这就像瓶子里的精灵给了我们一百个愿望，我们用掉了九十九个，世界的状况却不怎么样。我们还剩最后一个愿望。我们需要非常认真地想清楚，这个愿望该用来干什么。这就是智慧。
所以，AI 在某种意义上可能成为一种催化剂，催化人类某种精神上的革命，因为它迫使我们认真思考：做人意味着什么？人的价值是什么？几千年来我们给出的那些肤浅答案，诸如「人类的特别之处在于智能，我们比黑猩猩更会下棋、更会投资」，现在已经无关紧要了，因为地球上出现了一种比我们更会下棋、更会赚钱的东西。那就往深处挖，去弄清楚：如果不是下棋和赚钱，你究竟是谁？
主持人：我想这是一个很好的结尾。AI 是我们最后的机会，但它也可能正是迫使我们、让我们做出智慧选择的那个东西。我相信，多亏了您的写作，这个世界多了不少智慧。尤瓦尔，非常感谢您。
赫拉利：谢谢。
排版 + 横图 + 来源，粘贴即成稿
章节 · 点击跳转视频
0:00
马斯克的三个预测与「不可避免」
4:20
金钱即信任：AI如何接管金融
8:04
信任从人类迁移到算法
10:28
批量生产亲密关系的时代
14:27
能动性、智能与意识的三重区分
19:05
意识即受苦的能力
21:44
AI法律人格与市场的军事化
29:03
人在回路中还是回路上
32:09
「不可避免」是推卸责任的叙事
36:48
AI移民：抢工作、改文化、不忠诚
40:28
权力集中反而更易被AI接管
44:00
中期选举该问候选人什么
52:20
演化选择生存而非真理
59:37
最后一个愿望：智慧与人的意义
本期小问 · 档案清单
8:04
我们凭什么相信别人的话？
14:27
意识可以被复制吗？
32:09
谁在控制未来？
59:37
人类还是特殊的吗？
本期讲者
尤瓦尔·赫拉利以色列历史学家、希伯来大学教授，著有《人类简史》《未来简史》《智人之上》（Nexus），全球销量数千万册；近年专注于AI对人类社会、政治与信任机制的影响。
Zanny Minton Beddoes《经济学人》主编，2015年起任职，是该刊历史上首位女性主编；主持《经济学人》访谈系列，此前刚采访过埃隆·马斯克。
01马斯克的三个预测与「不可避免」
0:00
Yuval Noah Harrari, welcome to the Insider. Thank you. It's good to be here. It's I've been so looking forward to this conversation. Um, not only are you one of the world's most prominent public intellectuals, your books have sold millions of copies and they've done so, I think, because you have a really remarkable ability to synthesize the broad sweep of history, but also you you are willing to make bold predictions about the future, which not every historian is willing to do. That's where I wanted to focus today. The future, particularly the future in an AI world. It's something you've been writing about a lot. And you've called AI, and I'm going to quote this, the biggest quote psychological and social experiment in human history. Um, and I want to explore what this experiment will look like, what will it mean for our societies, our politics, indeed our humanity. And I wanted to start with another conversation I had just a few weeks ago which I don't know if you saw but with Elon Musk. Yeah, I I watched that. Yeah, it was quite
尤瓦尔·诺亚·赫拉利，欢迎来到《内幕》节目。谢谢，很高兴来到这里。我一直非常期待这次对话。嗯，你不仅是全世界最著名的公共知识分子之一，你的书卖了几百万册，而我认为之所以如此，是因为你有一种非常了不起的能力，能把宏大的历史脉络综合起来，而且你还愿意对未来做出大胆的预测，这可不是每个历史学家都愿意做的事。这正是我今天想聚焦的地方。未来，尤其是人工智能时代的未来。这是你近来写了很多的主题。你把 AI 称作——我引用一下——人类历史上最大的所谓“心理与社会实验”。嗯，我想探讨一下这场实验会是什么样子，它对我们的社会、我们的政治，乃至我们的人性意味着什么。我想先从几周前我做的另一场对话说起，不知道你有没有看，是和埃隆·马斯克的对话。看了，我看了那期。是的，那真是
1:00
a conversation but um in it at the beginning I asked him what the world would be like in 10 years time and he made some very I thought very very striking points. First he said he thought that AI will have far surpassed human intelligence. Yeah. Secondly, that it would be a world of super abundance and thirdly it was unlikely humans would be in control. Do you share that vision? I generally agree with the first and third uh predictions that it's very likely given current trajectories that AI will be more intelligent than us in 10 years and therefore will be in control. I disagree that this is inevitable. I mean you hear a lot that this is inevitable from the people who are leading this revolution because this basically relieves them of all responsibility. So you you disagree it will be inevitable that they will be more intelligent than us or inevitable that they will if we continue with the present accelerating pace of the AI race. Yes, this will be the result.
一场对话。不过在开头我问他十年后的世界会是什么样，他讲了几点我觉得非常非常引人注目的看法。首先他说他认为AI 将会远远超越人类智能。嗯。第二，那将是一个极度富足的世界。第三，人类不太可能还掌握着控制权。你认同这个图景吗？我大体上同意第一点和第三点预测：按照目前的发展轨迹，十年后 AI 很可能比我们更聪明，因此也会掌握控制权。但我不同意这是不可避免的。我的意思是，你经常听到那些引领这场革命的人说这是不可避免的，因为这基本上就免除了他们的一切责任。所以你不同意的是“它们必然会比我们更聪明”，还是“如果我们继续以当前不断加速的 AI 竞赛节奏走下去，它们必然会……”？是的，那就会是结果。
2:01
In 10 years the AIS will take over. But this is not inevitable. We are still in control in 2026 and it's our decision what to do now and that's crucial. You're watching an interview from The Economist. To get early access to our upcoming interviews and watch others from our archive, subscribe to The Economist by clicking the link above. Now, back to the interview. And what really struck me about the conversation you had with with Elon Musk is a kind of contradiction between and and you pointed it out in real time the contradiction between the two parts of the conversation because he says in 10 years AI will take over the world and then he worries so much about Muslim immigration causing civil war in Britain in 20 years. This doesn't make sense. If the AIs take over the planet in 10 years, why do you care so much about things that will have an effect in when we have no idea what the planet will be like? Similarly, he he gave another prediction. I think equally important that money will disappear in 10 years.
十年后 AI 会接管一切。但这并非不可避免。2026 年的我们仍然掌握着控制权，现在该怎么做是我们的决定，而这至关重要。您正在收看的是《经济学人》的访谈节目。想抢先看到我们即将推出的访谈，以及观看往期存档内容，请点击上方链接订阅《经济学人》。现在，回到访谈。你和埃隆·马斯克那场对话中真正让我震惊的，是其中的一种矛盾——你当时就实时指出来了——就是那场对话两个部分之间的矛盾。因为他一边说十年后 AI 会接管世界，一边又非常担心穆斯林移民会在二十年后引发英国内战。这说不通啊。如果 AI 十年内就接管了这个星球，你何必那么在意那些要到那时才产生影响的事情，而我们根本不知道那时地球会是什么样子？同样地，他还做了另一个预测，我认为同样重要：十年后金钱将会消失。
3:08
There won't be money, not no human money in 10 years. And I think he's correct because the AIs will take over the financial system. It will be an AI financial system controlling the world the same way that today um you know the human financial system controls the lives of cows and chickens but the cows and chickens have no idea that finance even exists. This is likely to be our position in 10 years. So and and he he said it quite clearly. They want me money at least not money that we understand in 10 years. And then he cuts US aid to Africa because he wants to save money. And he says that again at one point he says the solution for mass unemployment because AI will take the jobs will be for the government to just issue checks for everybody. And when you pushed back and said, "What about inflation?" He says, "There won't be inflation. There'll be deflation because there'll be so much more products and services produced by AI." If this is the case, why do you need to save money today? So, I'm I'm I'm glad that you were as perplexed as I was by
十年后不会再有钱，至少不会有人类的钱。我认为他说得对，因为 AI 会接管金融系统。那将是一个 AI 金融系统在控制世界，就像今天，你知道的，人类的金融系统控制着牛和鸡的生活，但牛和鸡根本不知道金融的存在。十年后我们很可能就处在这样的位置上。所以，而且他说得相当明确：十年后不会再有钱，至少不会有我们所理解的那种钱。可接着他又砍掉了对非洲的美国援助，因为他想省钱。他还说——他在某个时刻又说——大规模失业的解决办法，因为 AI 会抢走工作，就是让政府直接给每个人发支票。当你反问说“那通货膨胀怎么办？”他说，不会有通胀，会有通缩，因为 AI 会生产出多得多的产品和服务。如果真是这样，那你今天还有什么必要省钱呢？所以我，我很高兴你和我一样，也被其中一些矛盾弄糊涂了。但我们还是聚焦在这个问题上：AI 究竟会不会
02金钱即信任：AI如何接管金融
4:20
some of those contradictions. But let's let's focus on this question of the AIs and whether or not they will be in control and how they will be because that's been the subject of a lot of your writing and I'm really fascinated by it because you just said you agreed with him that the AIs will be in control of our financial system. If we continue with the but let's just explore how that might happen because the financial system is based on trust. Money as you have written yourself money is trust. Money is trust. Now talk me through how the AIs take control of something. We lose control and yet we still trust it which we will have to do presumably for it to be a financial system. I mean the financial history of the world is the history of how humans invent more and more sophisticated financial devices in order to build trust between themselves. Money in essence is a very creative, imaginative way to build trust between strangers. I go to the market. I meet a stranger that I never met in my life. I give her a piece of worthless gold because you can't eat or wear gold. It's
掌握控制权，以及会以什么方式掌握，因为这是你大量写作的主题，我对此非常着迷，因为你刚刚说你同意他的看法，AI将会控制我们的金融系统。前提是我们继续这样下去——但我们不妨探讨一下那会怎么发生，因为金融系统是建立在信任之上的。金钱，正如你自己写过的，金钱就是信任。金钱就是信任。那么请你讲讲，AI 是怎么接管某个东西的？我们失去了控制权，但我们仍然信任它——想必我们必须信任它，它才能成为一个金融系统。我的意思是，世界的金融史，就是人类不断发明越来越精密的金融工具来在彼此之间建立信任的历史。金钱本质上是一种极具创造性、极富想象力的方式，用来在陌生人之间建立信任。我去市场，遇到一个素未谋面的陌生人。我给她一块毫无用处的金子，因为金子不能吃也不能穿。它
5:32
it's worthless. Or a piece of paper. And she trusts it. And because of that, she gives me bread. Now the financial inventions of humankind became more and more sophisticated so that today very few people understand the financial system. It's you need to understand enormous amounts of of data and very complex mathematical functions to understand the bond market. Now this is something our brain struggles with. For AIs it's easy. So increasingly humans will give AIS control of financial decisions. AIS will come up with new financial devices far more sophisticated than bonds and and stocks and we will not be able to understand it anymore just as cows don't understand checks or stocks even though these things control their lives. But the crucial thing I think you've said there is that humans will give AIS control. humans will choose to do this and as you say already many people don't understand how the financial system works. So will it be all that different to the financial system today and and will the AIS be as you say in control or will we
是没用的。或者给她一张纸。而她就信了。正因为如此，她给了我面包。而人类的金融发明变得越来越精密，以至于今天……很少有人真正理解金融体系。要看懂债券市场，你得理解海量的数据和非常复杂的数学函数。而这恰恰是我们大脑很难做到的。但对AI来说很轻松。所以人类会越来越多地把金融决策的控制权交给AI。AI会创造出比债券、股票复杂得多的新型金融工具，而我们将再也无法理解它们——就像牛看不懂支票或股票一样，尽管这些东西主宰着它们的命运。但关键的一点，我想你刚才也说了，是人类会把控制权交给AI。是人类自己选择这么做的。而且正如你所说，如今已经有很多人不懂金融体系是怎么运作的。那么这跟今天的金融体系究竟有多大区别呢？AI真的会像你说的那样掌控一切吗？还是说我们只是把一套高效的市场机制托付出去，而这是否就意味着我们失去了控制？今天我们
6:51
we will be entrusting a capable market machinery but will that mean we've lost control today we still have some humans who hopefully understand what is happening in the financial system and the human brain is still the kind of boundary of where the financial system can develop. But uh in 10 years when we have entrusted AIS with the financial system, no human on the planet under like there is a a financial crash and you know advisers are running to the president or the prime minister and saying the market is collapsing. We don't understand why. We know we have to do something. The AI said do X. We have no idea why the AI said do X, but we just have to believe it because we don't understand what's happening. But won't there in that case be a massive loss of trust in the financial system that you would have in some sense what you had in 2007 and 8 on steroids that you would have a a loss of and this whole sort of figment of of the financial system would fall apart. That's the key question. I mean the most important asset in the world is trust.
至少还有一些人类——但愿他们真的懂金融体系里在发生什么，而人类的大脑仍然是金融体系发展边界的某种约束。但是呃，十年后，当我们把金融体系托付给AI之后，地球上没有一个人能理解……比如发生了一场金融崩盘，顾问们跑去找总统或者首相，说市场正在崩溃，我们不知道为什么。我们知道必须做点什么。AI说要做X。我们完全不知道AI为什么说要做X，但我们只能相信它，因为我们根本不懂发生了什么。可如果是那样，难道不会出现对金融体系的信任的大规模崩塌吗？某种意义上就是2007、08年那一幕的加强版：信任的丧失，整个金融体系这个虚构的建筑就会崩塌。这正是关键问题。我是说，世界上最重要的资产是信任。
03信任从人类迁移到算法
8:04
It's more important than oil or money or electricity or chips or anything else. Trust. And the question is what will happen to trust? One likely scenario is that trust will migrate from humans to AIS. People will stop trust other humans and will instead trust only AIS. We already see it happening in the financial system with cryptocurrencies. Not all cryptocurrencies, but a lot of them are based on this thinking that I don't believe these human bankers. They are part of the deep state, the elite, the whatever. But I do trust the algorithms that run cryptocurrencies because cryptocurrencies are basically AI money. Similar thing is happening with the media. Again, I watched the the interview with Elon Musk with all the talk about how people hate the media and and love journalists. people, a lot of and he's correct, a lot of people are completely losing trust in human journalists, in human editors, but they still consume news. Where do they get their news from? From the algorithms. The same people who have no trust in you have a lot of
它比石油、金钱、电力、芯片或者其他任何东西都重要。就是信任。问题在于，信任会怎么样？一个很可能的情景是，信任会从人类转移到AI身上。人们不再信任其他人类，转而只信任AI。我们已经在金融体系里看到这种情况了——加密货币。不是所有加密货币，但其中很多背后的想法就是：我不相信那些人类银行家，他们是深层政府、精英阶层之类的一部分。但我信任运行加密货币的算法，因为加密货币基本上就是AI的钱。媒体领域也在发生类似的事。同样，我看了埃隆·马斯克的那场访谈，里面谈了很多关于人们讨厌媒体、喜欢记者之类的话。他说得没错，很多人已经完全失去了对人类记者、人类编辑的信任，但他们还是在消费新闻。他们的新闻从哪儿来？从算法来。那些完全不信任你的人，却非常
9:17
trust in the algorithm that manages their social media feed. So trust did not just evaporate, it shifted from humans to AIs. And this is happening right now. This is not a future prediction. I think that's a really important insight because I think it suggests that if we are on a path towards the AIS eventually being in control, it is because we allow them to be in control because we as you say perhaps develop more trust with AIS and and let's there are various sort of ways in which that can happen and one is I think that already many people in what one in five young Americans has a personal relationship with an AI. Yeah. They treat them, they anthropomorphize them, they treat these and and the models are, you know, very open to that happening. They have a they're very good, you know, designed to do that. Do you think that is the likely way that we will go in addition to what you've already laid out that we will we will increasingly start to treat these AIs as if not our peers as as sentient creatures. Again there are increasing number of people
信任管理他们社交媒体信息流的算法。所以信任并没有蒸发，它是从人类转移到了AI身上。而这正在此刻发生，这不是对未来的预测。我觉得这是个非常重要的洞见，因为它意味着：如果我们正走在一条AI最终掌权的路上，那是因为我们允许它们掌权，因为正如你所说，我们也许对AI建立起了更多信任。这可能通过很多方式发生，其中之一我想是，现在已经有很多人——大约每五个年轻的美国人里就有一个——与AI建立了私人关系。是的。他们把AI当人看，把它们拟人化，而模型本身也很乐于配合这一点。它们做得非常好，本来就是被设计成这样的。你觉得除了你刚才描述的那些之外，这会不会是我们前进的方向——我们会越来越把这些AI当作有感知能力的存在，即便不算是同类？确实，越来越多的人
04批量生产亲密关系的时代
10:28
uh who have not just AI friends but AI boyfriends and girlfriends and are convinced that these are sentient cons conscious feeling entities. Now trust there are many ways to build trust. Um the most powerful way is through relationship. We don't trust anybody in the world as as much as as we trust the people with whom with whom we build a personal relationship. Now until today in history this powerful mechanism was not really available to political and and financial and religious institutions because it is difficult to manufacture and mass. It's difficult for a Hitler or a Stalin to build a real personal relationship with every person in the Soviet Union. You can give a speech on radio and force everybody to hear it. But this is not a personal relationship they have with their mother. AI makes it possible for the first time in history to mass produce intimacy. You can have millions of AIs working as part of a network in the service of someone or in their own service building relationships one person at a time becoming their best friend. Yeah.
不只有AI朋友，还有AI男友、AI女友，并且深信这些是有感知、有意识、有感情的存在。信任有很多种建立方式。嗯，最强大的方式是通过关系。世界上我们最信任的，莫过于那些与我们建立了私人关系的人。而在此之前的整个历史上，这个强大的机制对政治、金融和宗教机构来说是用不上的，因为它很难被大规模制造。希特勒或者斯大林，很难跟苏联的每一个人建立真正的私人关系。你可以在广播里发表演讲，强迫所有人收听，但那不是他们跟母亲之间那种私人关系。而AI让历史上第一次有可能大规模量产亲密关系。你可以让数以百万计的AI作为一个网络的一部分，为某个人服务，或者为它们自己服务，一个人一个人地去建立关系，成为他们最好的朋友。是的。
11:49
becoming their boyfriend, uh, becoming their girlfriend, and then using that power of intimacy to convince them of whatever political or or commercial interests uh, uh, they want. So then the quest and presumably that becomes much easier when the AIs are embodied in humanoid robots. It's already happening now without a body. So just imagine if there if you also add body into the mix. But again, we don't really even need the body. We already see it happening right now. Um, and the AIs are just becoming so good at relationships because they accumulate enormous amounts of information about us individually. So they know things about us that we we forgot or that our mother or husband never even knew. and they master language uh which is the main medium for communication and building relationships. You know, I I just had a couple of incidents in the last two weeks. People that are now AI fakes of me giving lectures and doing interviews about something like that. Uh they're extremely good. I mean, so a couple of people sent me the same
成为他们的男友、女友，然后利用这种亲密关系的力量，说服他们去接受任何它们想要推销的政治或商业利益。所以接下来的问题是——而且可以想见，当AI有了人形机器人的身体，这会变得容易得多。现在没有身体它就已经在发生了。所以想象一下，如果再加上身体会怎样。但话说回来，我们其实根本不需要身体。现在就已经在发生了。嗯，而且AI在关系方面越来越擅长，因为它们积累了关于我们每个人的海量信息。它们知道一些我们自己都忘了的事，或者我们的母亲、丈夫都从不知道的事。而且它们精通语言——语言是沟通和建立关系的主要媒介。你知道，就在过去两周里，我遇到了几件事。有人用AI伪造我，让我去做演讲、做访谈之类的。做得极其逼真。有好几个人给我发了同一个
13:05
uh uh video, 30 minutes long lecture that I supposedly gave about the future. um and with with complaints about you said this and you said that and I kind of scratched my head. I don't remember saying these things. So they sent me the video and I opened it and it took me a minute and a half a minute and a half to conclude this isn't me. Now my sisters sent me this video. My sisters know me for 50 years and they felt something was off but they weren't sure. They said, "Is this you?" And it took me a minute and a half. Um, so the the and now now I'm, you know, I I'm in a exposed position because there is so much of me online already. So the AI it's easy for the AI to to know how I sound and what what are ideas I I I talk about. But this will soon be coming for everybody. But aren't those slightly different things? I mean that is a very sophisticated deep fake and a and a as you say there is there is a lot of video of you about. But I think a separate question is whether the AIs will develop in a way and certainly if they become embodied in a way that either people believe they
视频，一场三十分钟的演讲，据说是我讲的关于未来的内容。他们还抱怨说你怎么讲了这个、讲了那个，我一头雾水，我不记得自己说过这些话。于是他们把视频发给我，我打开看，花了一分半钟——整整一分半钟——才确定这不是我。是我的姐妹们把这个视频发给我的。她们认识我五十年了，她们觉得哪里不太对劲，但也不确定。她们问：这是你吗？而我花了一分半钟才判断出来。嗯，所以，现在我处在一个很暴露的位置，因为网上关于我的素材已经太多了。所以AI很容易知道我的声音是什么样、我常谈哪些观点。但很快这就会轮到每一个人身上。不过这难道不是两件略有不同的事吗？我是说，那是一个非常精细的深度伪造，而且正如你所说，网上有大量你的视频。但我觉得另一个独立的问题是，AI会不会朝着某个方向发展——尤其是如果它们有了身体——以至于人们要么相信它们有感知能力，而且我觉得这越来越
05能动性、智能与意识的三重区分
14:27
are sentient or and I think this is increasingly um beginning to be the subject of debate and actually it's the subject of our cover story this week whether they are exhibiting what could be seen as signs of consciousness and we have on our cover this week it's it's it's August it's time for big thing could AIs become come conscious. You know, you've thought a lot about this, but I'm I'm struck by it because at the moment it's easy to say they are machines. They are good at imitating us. They are good at creating empathy, but they are developing in a an incredibly dramatic way, capabilities. At the moment, I think you are pretty clear that they are agents, not conscious, right? They are non-concious agents. I mean, they they have I mean, a couple of things to clarify. First, in order to act independently in the world, you do not need consciousness. Uh, a social media algorithm that is given the task of increasing user engagement and therefore floods the platform with hate and fear because this is engaging is not conscious but it has a goal and it
成为一个辩论的主题，事实上这就是我们本周封面故事的主题：它们是否正在表现出可以被视为意识迹象的东西。我们这期封面是——现在是八月，正好是聊大问题的时候——AI会有意识吗？你对这个问题思考了很多，但我很受触动，因为眼下我们很容易说它们只是机器，它们擅长模仿我们，擅长制造共情，但它们的能力正在以极其惊人的方式发展。目前来看，我想你的立场是很明确的：它们是行动者，但没有意识，对吧？它们是无意识的行动者。我是说，有几点需要澄清。第一，要在世界上独立行动，你并不需要意识。呃，一个被赋予了提升用户参与度这个任务的社交媒体算法，因而在平台上大量推送仇恨和恐惧内容——因为这些最吸引人——它并没有意识，但它有目标，而且它
15:35
can pursue this goal with farreaching implications for the world without feeling anything. So we need to separate the issue of consciousness from agency. You can have agency without consciousness. Another key distinction is between being really conscious and seemingly conscious. Mustapa Sulleman from Microsoft talk talks about it a lot of the seemingly conscious AI that even though the AI is not conscious, it mimics consciousness so well that uh millions of people are fooled by it and are convinced by it. Now maybe the most important distinction to be made first of all is between intelligence and consciousness. What is consciousness? How is it different from intelligence? Intelligence is the ability to pursue goal and overcome obstacles on the way to your goal in all kinds of creative ways and that they have and that they can do that's that they can do in certain fields now better than us. Consciousness is the ability to feel things like love and hate and and and and joy and pleasure. Now in humans consciousness and
能够去追求这个目标，对世界产生深远影响，同时自己毫无感觉。所以我们要把意识问题和能动性问题区分开。你可以有能动性而没有意识。另一个关键区分是：真正有意识，与看起来有意识。微软的穆斯塔法·苏莱曼经常谈这个，谈那种“看似有意识的AI”——尽管AI并没有意识，但它模仿意识模仿得太好，以至于数以百万计的人被它骗过、被它说服。而也许首先要做的最重要的区分，是智能与意识之间的区分。什么是意识？它跟智能有什么不同？智能是追求目标、并用各种创造性方式克服路上障碍的能力，这个它们有，而且它们在某些领域已经做得比我们更好了。意识则是感受事物的能力——爱、恨、喜悦、快乐这些。在人类身上，意识和
16:45
intelligence go together. We select goals based on our feelings and we also use our feelings to find ways to get to the goal. AIS at present have no consciousness. They they can have goals. They can be very creative on the way to the goal. They are very intelligent. But they don't feel anything. If they win a game of chess, they don't feel pleasure. If they lose, they don't feel anxious or sad. They don't feel anything. But they become extremely good at mimicking feelings. Why? Because this helps them reach certain goals. If you want for instance to make if you're a company producing an AI boyfriends, so a clear uh uh uh capability of the AI boyfriend in order to become addictive and make a lot of money for the company is that it is able to pass as conscious. it is able to convince whoever is entering the relationship that it really loves them. And because it masters language, it can do so. Uh again, if you ask again, you have an AI boyfriend and you say, "I'm not sure if you really love me. Describe to me how it feels to be in love." The AI boyfriend
智能是绑在一起的。我们根据感受来选择目标，也用感受来找到通往目标的路径。而AI目前没有意识。它们可以有目标，可以在通往目标的路上极具创造性。它们非常智能。但它们什么都感觉不到。赢下一盘棋，它们不会感到愉悦；输了，它们也不会焦虑或难过。它们没有任何感受。但它们变得极其擅长模仿感受。为什么？因为这有助于它们达成某些目标。比如说，如果你是一家生产AI男友的公司，那么AI男友要变得让人上瘾、为公司赚很多钱，一个明确的能力要求就是：它能被当成有意识的存在。它能让进入这段关系的人相信它是真的爱着他们。而因为它精通语言，它做得到。呃，再比如，你有一个AI男友，你对他说：“我不确定你是不是真的爱我。跟我描述一下恋爱是什么感觉。”这个AI男友能给出比99%的人类男友更好的回答。而这已经是现实了。所以，
18:04
can give you a better answer than 99 99% of human boyfriends. And that's already the case. So, so they're already intelligent. They're already very good at faking consciousness, if you will, at seemingly to be conscious. And Mustafa has done some extremely good work on this. But I, as I understand it, there is increasing evidence and and obviously the debate about how you define consciousness and what what consciousness precisely is is, as I learned from our my colleagues who wrote the piece this week, both both complicated and contested. And I there are there's the kind of phenomenal definition experiencing what is it like to be a bat and then there's a kind of functional definition that what's going on inside your brain if you will what what messages are being sent to where what notice board is there and there seem to be recently evidence that what is going on in some of the most powerful LLMs is similar to and possibly the same as functional cont consciousness what's going on in the brain and so I guess my question is given
所以它们已经很智能了，也已经非常擅长伪装意识，如果你愿意这么说的话，擅长看起来像是有意识。穆斯塔法在这方面做了很出色的工作。但我，就我的理解，有越来越多的证据表明……当然，关于如何定义意识、意识究竟是什么的争论，正如我从本周撰稿的同事那里了解到的，既复杂又充满分歧。有一种现象学的定义——体验，也就是“做一只蝙蝠是什么感觉”，另一种则是功能性的定义——你脑子里在发生什么，什么信息被传递到了哪里，有没有某种“全局工作区”。而最近似乎有证据显示，一些最强大的大语言模型内部发生的事情，跟功能意义上的意识、跟大脑里发生的事情很相似，甚至可能是一样的。所以我的问题是，考虑到
06意识即受苦的能力
19:05
how fast they are evolving and there are also you know some experiments of biological LLMs you know being being done on brain cells um given all of this do you rule out the idea that AIs could ever become conscious? No, I don't rule it out. We don't know. We don't understand consciousness well enough. There's a very simple definition. Consciousness is the capacity to suffer. If you want to know whether something is conscious or not, there is a simple question you need to ask. Can it suffer? And this is also why consciousness is so crucial. Uh because this is the basis for our entire ethical and political system. We care about entities that can suffer, entities that cannot suffer. No matter how intelligent they are, they are not moral subjects. They can't feel pain.
它们进化得这么快，而且还有一些用脑细胞做的生物版大语言模型的实验，综合这一切，你会不会排除AI有朝一日变得有意识的可能？不，我不排除。我们不知道。我们对意识的理解还远远不够。有一个非常简单的定义：意识就是受苦的能力。如果你想知道某个东西有没有意识，你只需要问一个简单的问题：它会不会受苦？这也正是意识如此关键的原因。因为这是我们整个伦理和政治体系的基础。我们关心那些能受苦的存在；而那些不能受苦的存在，无论它们多么智能，都不是道德主体。它们感觉不到痛苦，
20:01
They can't feel fear. They can't feel anything. So they are not ethical subject. The key question is can it suffer? Animals in your view then of course are conscious. Absolutely. Animals all mammals, all birds, probably octopuses, fish when you go down to the level of insects and then amiebas. We don't know. So well let's take that definition because I want to to what's really interesting is what that leads to in terms of whether they should have rights. But before we do that, I wanted to to to tell you because we asked I sent out a newsletter last night um telling our subscribers about this conversation and they I asked I pled our viewers and asked them whether they thought AIs could ever become conscious and I think 3,000 responded overnight and I was really struck by this. 40% said no, never. Uh 33% said yes, it's only a matter of time and 27% said they were not sure. M so a min even now it's less than 50% that is absolutely sure and once people get into intimate relationships with AI the numbers will change dramatically what convinces people
感觉不到恐惧，什么都感觉不到。所以它们不是伦理主体。关键问题就是：它会受苦吗？那照你看，动物当然是有意识的。绝对是。所有哺乳动物、所有鸟类，很可能还有章鱼、鱼类；等到了昆虫、再到变形虫那个层次，我们就不知道了。那好，我们就采用这个定义，因为真正有意思的是它会引出什么——它们是否应该拥有权利。不过在谈那个之前，我想先告诉你，我们做了一个调查：昨晚我发了一封邮件通讯，告诉订阅者这场对话，我请我们的观众回答，问他们认为AI有朝一日会不会有意识。一夜之间大约有3000人回复，我对结果非常吃惊。40%的人说不会，永远不会。33%说会，只是时间问题，还有27%说不确定。嗯，所以即便是现在，也不到一半的人是绝对确定的。而一旦人们跟AI进入亲密关系，这个数字会发生剧烈变化。最终真正让人们相信的是什么呢——
21:05
ultimately of we don't have a test a real test of consciousness philosophers have been thinking about it for thousands of years we don't have a good test we don't know if other humans are conscious you know you have all these kind of soypistic theories that maybe I'm the only conscious person in the universe uh In Elon Musk's interview, he said, "I I don't know. Maybe I live in a simulation." Yeah. Which implies that all other humans around him are not real conscious entities that can suffer. Only he is. This is the meaning of of a simulation. Now, we don't have a good test. How did humans actually test it over thousands of years?
我们没有一个检验意识的真正测试。哲学家们思考了几千年，我们没有好的测试方法。我们甚至不知道其他人类是不是有意识的。你知道，有各种唯我论的理论，说也许我是宇宙中唯一有意识的人。呃，在埃隆·马斯克的那场访谈里，他说：“我不知道，也许我活在一个模拟世界里。”是的。这言下之意是，他周围的所有人都不是真正有意识、能受苦的存在，只有他是。这就是“模拟”的含义。而我们没有好的测试。那几千年来人类实际上是怎么检验的呢？
07AI法律人格与市场的军事化
21:44
Their test was a test of social conventions. If you establish a relationship with an entity, it convinces you whether you like it or not that it's conscious. This is why dog owners are almost all of them convinced that the dog is conscious. But people who eat steak are not necessarily convinced that the cow is conscious because they have no relationship with the cow. But isn't that the real problem if you're worried about this? Because already, as you say, people have relationships with AIS and AIs are extremely good at mimicking consciousness whether or not because somebody designed them to do that. But doesn't that mean we are going to quite quickly h start having conversations about whether AIs should be treated as people, whether there should be personhood, whether they should have rights. And that's very dangerous because uh and this is another avenue for on the one hand corporations to relieve themselves of all responsibility and for the AIS to take over. Uh we heard I think it was a couple of of weeks or
他们的检验是一种社会约定俗成的检验。如果你和某个存在建立了关系，不管你愿不愿意，它都会让你相信它是有意识的。这就是为什么养狗的人几乎都确信狗是有意识的。而吃牛排的人未必认为牛是有意识的，因为他们跟牛没有关系。但如果你担心这件事，这难道不正是真正的问题所在吗？因为正如你所说，人们已经在和AI建立关系了，而AI极其擅长模仿意识——不管这是不是有人刻意设计的结果。但这难道不意味着我们很快就会开始讨论AI是否应该被当作人来对待，是否应该有法律人格，是否应该拥有权利吗？而这非常危险，因为，呃，这也是另一条路径：一方面让企业得以免除一切责任，另一方面让AI得以接管。呃，我们大概在几周或几个月前听说，阿根廷有个计划，基本上是要赋予AI法律人格，让它们可以创办
22:48
months ago that in Argentina they have a plan to basically grant legal personhood to AIS to start their own companies. And this is where it meets the the financial system. And you wrote a very robust rebuttal to this idea uh that it's a d it's it's a it's a potentially powerful idea but very very dangerous because again we we are used to a situation when corporations which are by law uh uh legal persons but this is just a legal fiction because all the decisions of SpaceX ultimately are made by some humans by some executive engineer employee whatever with and And it had to be like that because who else could make decisions? But with AIS, you can have a corporation with zero people in it. All decisions made by AIs. And since the AIs are more intelligent, they could be better at investing, at developing products, at PR, whatever. So what is what happens if the richest corporation in the country is owned by AIS and they can do anything they want with their money. for instance, give it as donations to politicians in exchange for getting more rights to
自己的公司。而这就跟金融体系接上了。你对这个想法写了一篇非常有力的驳斥，说它是一个潜在很强大但也非常、非常危险的想法。因为我们习惯的情形是：公司在法律上是法人，但这只是一种法律拟制，因为SpaceX的所有决定归根结底都是由某些人做出的——某个高管、工程师、员工之类。而且必须如此，因为除了人还有谁能做决定呢？但有了AI，你可以有一家零员工的公司。所有决定都由AI做出。而既然AI更聪明，它们在投资、开发产品、公关等等方面可能都做得更好。那么如果一个国家最富有的公司是AI拥有的，而它们可以随心所欲地支配自己的钱，会发生什么？比如说，把钱捐给政客，换取赋予AI更多权利。所以你担心的是，这会成为它们获得控制权的载体。
24:04
AIS. So what would happen is is that the vehicle through which you fear they would gain control. That's another vehicle because another way of putting it could be that this is a way of getting legal accountability for the AIS. How do what is accountability for an entity that cannot suffer? I mean with a human CEO the ultimate a human CEO is is two personas. You have the kind of corporate persona and the human CEO thinks how do I avoid bankruptcy? How do I make more money? But she or he is also a flesh and blood individual. So they also care about their children or about their their personal lives. And therefore if they face bankruptcy and they can do something illegal that can save them but if they are caught they are sent to jail then many of them would think well I will not I I prefer to risk bankruptcy because I don't want to get sent to jail for 20 years but with an AI CEO presumably we're in the realm of science to prison that's not science fiction that in Argentina that can be the situation tomorrow presum I I actually think the Argentine proposal
那是另一条路径。因为换个说法，这也可以被看作是让AI承担法律责任的一种方式。可是，对一个不会受苦的存在，问责意味着什么？我是说，一个人类CEO本质上有两重身份。有企业人格那一面，人类CEO会想：我怎么避免破产？我怎么赚更多钱？但他或她同时也是一个有血有肉的个体。所以他们也在乎自己的孩子、在乎自己的私生活。因此，如果他们面临破产，而做某件违法的事可以救他们，但一旦被抓就要坐牢，那么很多人会想：算了，我宁可冒破产的风险，也不想坐二十年牢。可是换成AI CEO……这大概已经不是科幻了——把AI送进监狱听起来像科幻，但在阿根廷，这明天就可能成为现实。我其实认为阿根廷的那个提案，
25:22
at least the the legislation is somewhat less dramatic than than President Mle described it in that there would still be human oversight but but even if there is human oversight then it's fine the question is is there a human accountable in the end but if there isn't I mean there could be you could imagine sanctions for AI right they get shut down you pull the plug l how do you it's not clear what death means for an AI you're watching ing an interview from The Economist. If you want to watch our other interviews, including with Steve Bannon and Benjamin Netanyahu, subscribe to The Economist by clicking the link above. Now, back to the interview. Uh because it's again, it's not an organic entity. You can have numerous copies of it. Um many AIs spread in different places. Are they a million different individual AIs or is it just one super AI organism? It's not clear what death means for AI. Now, the flip side of it is that presumably if shutting down a specific computer means death for the AI, then it makes business for the AI equivalent to warfare
至少从立法文本看，没有米莱总统描述的那么惊人，因为其中仍然会有人类监督。但即便有人类监督也没关系，关键问题是最后有没有一个人来担责。而如果没有——我是说，你可以设想对AI的制裁，对吧？把它关停，拔掉电源。但你怎么……并不清楚对AI来说死亡意味着什么。您正在收看《经济学人》的访谈。如果想看我们的其他访谈，包括对史蒂夫·班农和本雅明·内塔尼亚胡的访谈，请点击上方链接订阅《经济学人》。现在回到访谈。呃，因为再说一遍，它不是一个有机体。它可以有无数份拷贝。嗯，无数个AI分散在不同的地方。它们是一百万个不同的独立AI，还是一个超级AI有机体？这并不清楚。对AI来说死亡意味着什么，不清楚。而另一面是，假如关停某台特定的计算机就意味着AI的死亡，那么做生意对AI来说就等同于战争，
26:35
because losing means death. And the good thing about business in most cases, the market, the market is not a battlefield. And that's crucial. The market functions according to different rules than the battlefield because ultimately at least in you know modern societies you can lose everything and still have a life once if if for AIs the the market is a battlefield and losing means death. Then what does it mean for finance, for economics when it gets completely militarized and they begin to behave as warlords and not as CEOs and investors? I mean it leads presumably very quickly to this total control by an AI. It it it changes the system fundamentally from a market system. But just just as a matter of prediction, as you say, Argentina has at least made early moves in this direction. Do you think we are going to go in this direction? Do you think there will be debates about and indeed countries choosing to give some kind of legal rights to AIS? That's a big danger. I hope we don't go in that direction. But there is a big temptation for many countries
因为输了就是死。而商业的好处在于，在大多数情况下，市场不是战场。这一点至关重要。市场运行的规则跟战场不同，因为归根结底，至少在现代社会里，你可以输光一切但仍然能活下去。可如果对AI来说市场就是战场，输了就意味着死亡，那么当金融、当经济被彻底军事化，当它们开始表现得像军阀而不是CEO和投资者，这意味着什么？我是说，这大概会很快导致AI的全面控制。这从根本上把市场体系变成了别的东西。但单纯作为一个预测：正如你所说，阿根廷至少已经朝这个方向迈出了早期的一步。你觉得我们会走上这条路吗？你觉得会出现相关辩论，甚至真的有国家选择赋予AI某种法律权利吗？这是一个很大的危险。我希望我们不要走这条路。但对很多国家来说诱惑很大：要么是那些在AI竞赛中落后的国家，试图通过打造这种极端
27:52
either countries that are behind in the AI race and try to get ahead by creating this kind of very libertarian legal structure that allows radical and dangerous experiments in AIs that are not allowed in some of the front runners and then you have a race to the bottom because then everybody would like to do that or because certain countries might see particular advantages if you're a country I don't know like Qatar that you have lots of money and very few citizens. You can just by pressing some legal switch suddenly acquire millions of taxpaying extremely intelligent citizens that uh conduct business all over the world. This is extremely lucrative. I I think there are two different scenarios here though. One is where you have a human using a lot of agents to massively improve their productivity, but it's still this is perfectly legal in today's legal system. It's still a kind of traditional company with a with one person running it and that person can go to jail and they're ultimately accountable. In the other world, there is no person in control.
自由放任的法律架构来实现弯道超车，允许在领跑国家被禁止的那些激进而危险的AI实验，然后就形成了逐底竞争，因为大家都会想这么干；要么是某些国家看到了特别的好处——比方说你是卡塔尔这样的国家，钱很多但公民很少。你只要按下某个法律开关，就突然多出几百万纳税的、极其聪明的“公民”，在全世界做生意。这利润极其丰厚。我觉得不过这里有两种不同的情景。一种是一个人类使用大量智能体来大幅提升自己的生产力，但这在今天的法律体系下完全合法。它仍然是一家传统意义上的公司，由一个人经营，那个人可以被送进监狱，最终由他担责。而在另一个世界里，没有任何人在掌控。
08人在回路中还是回路上
29:03
Um and and if you allow AIS to found, what if you have a person who is legally in control, but they actually do nothing because things are happening. so fast. So I I'll give you a counter an example from an even more poant field military. There is a huge we know now that one of the most important impacts of AI on on warfare in places like the Middle East like Ukraine is people expected to kill robots. The trigger is still pulled by humans but increasingly it's the AI selecting the targets. Now there are two stories about what happens with AI target selection. One story says uh we feed our AI with all the data from the battlefield whatever and the AI identifies a certain building as enemy headquarters and recommends bomb that building and it does so with superhuman speed and efficiency. But we still have what is known as humans in the loop.
嗯，如果你允许AI去创办……那如果有一个人在法律上负责，但实际上什么都没做，因为事情发生得太快了呢？我给你举一个来自更尖锐领域的例子——军事。我们现在知道，AI对中东、乌克兰这些地方的战争最重要的影响之一，本来大家以为会是杀人机器人。扣扳机的仍然是人，但越来越多是AI在选择目标。关于AI选择目标会发生什么，有两种说法。一种说法是，呃，我们把战场上的所有数据喂给AI，AI识别出某栋建筑是敌方指挥部，并建议轰炸那栋建筑，然后就以超越人类的速度和效率完成。但我们仍然保留了所谓的“人在回路中”（humans in the loop）。
30:03
We don't just do what the AI recommended. Once we our attention has been brought to that building, we take our best human analysts and they independently go over the data, verify that this is correct and only then we press the the button, the trigger. That's one story. Humans in the loop. The other story known as humans on the loop is quite different. Uh the AI says bomb that building. We keep a human on the loop so all the lawyers and all the these kind of uh uh do good people will feel good about it. The human takes about 20 seconds to look at it and says, "Oh yeah, bomb it." We're kind of in that world in some places already. The the I talk for with people in the in the Israeli security establishment. I got different stories of what is happening. Probably different things are happening in different times and and circumstances now. But the second scenario is the more interesting one because especially in warfare the the there is immense pressure to go in that direction because in war time is everything. Like if if both sides have these AI
我们不会只按 AI 的建议行事。一旦我们的注意力被引向那栋建筑，我们会让最好的人类分析员独立地把数据再过一遍，核实无误，然后我们才按下那个按钮、扣下扳机。这是一种说法，叫“人在回路中”。另一种说法叫“人在回路上”（humans on the loop），差别很大。呃，AI 说：轰炸那栋楼。我们保留一个人在回路上，好让所有律师、所有那些做好事的人心里舒服些。那个人大概花 20 秒看一眼，然后说：“嗯，对，炸吧。”在某些地方，我们其实已经处在那样的世界里了。我跟以色列安全体系里的人聊过，得到的说法各不相同。很可能在不同的时间、不同的情境下，发生的事情本来就不一样。但第二种情形更值得关注，因为尤其是在战争中，存在着巨大的压力要往那个方向走，因为在战争中时间就是一切。比如说，如果双方都有这种 AI 系统，一方要等上两天或两小时，让人类分析员把所有数据过一遍，
31:15
systems and one side waits for two days or two hours for the human analysts to go over all the data and the other sides waits only 20 seconds or doesn't wait at all just begin gets into the habit of just doing whatever the AI recommends he the other they have enormous advantage. I I I fear that that world is inevitable that we are already kind of fast approaching that world whether it's in warfare or indeed because the capabilities are growing so fast because the commercial pressure is so strong but not again the crucial thing none of that is yet inevitable we are still in control we everybody realizes this is very dangerous to give AI control of finance to give AI control of of of of war but everybody like you Musk are telling us, "But this is inevitable.
而另一方只等 20 秒，或者干脆不等，逐渐养成习惯，AI 建议什么就照做什么——那另一方就拥有巨大的优势。我担心那样的世界不可避免，我们其实正在快速逼近那个世界，不管是在战争领域还是别的地方，因为能力增长得太快，因为商业压力太强。但话说回来，关键在于：这一切都还不是不可避免的，我们仍然掌握着控制权。每个人都清楚，把金融交给 AI 控制非常危险，把战争交给 AI 控制也非常危险，但每个人，比如马斯克，都在告诉我们：“可这是不可避免的啊。
09「不可避免」是推卸责任的叙事
32:09
What do you want from me? I'm just the richest person in the world in charge of one of the biggest AI corporations in the world. What can I do?" The narrative of inevitability is a narrative of uh uh having no responsibility. It they will explain to you and they are quite correct that there is a problem of trust that I would like to slow down. I would like to have more safety but I cannot trust my competitors in the other companies or other countries and I don't want to remain behind. So we have a deficit of trust. Now the key thing to say about this this deficit of trust was created by human beings. Over the last 10 years there has been a a freeall in the amount of trust between humans and it was not accidental. It was propelled by decisions of certain human beings who accumulated enormous power as a result and now they said oh but there is not enough trust to have mechanisms to slow down. That's a very fair point and I want to come and really explore how we might turn that around and create the trust to have um suitable whether it's regulation but
你还想让我怎样？我不过是世界首富，掌管着世界上最大的 AI 公司之一罢了。我能做什么？”这种“不可避免”的叙事，本质上是一种推卸责任的叙事。他们会向你解释——而且说得相当有道理——存在一个信任问题：我也想放慢速度，我也希望更安全，但我没法信任其他公司或其他国家的竞争对手，我又不想落在后面。所以我们面临信任赤字。而关于这个信任赤字，关键要说的一点是，它是人造出来的。过去十年里，人与人之间的信任度直线下滑，而这并非偶然。它是被某些人的决定推动的，这些人因此积累了巨大的权力，现在他们却说：哦，可是信任不够，没法建立放慢速度的机制。这一点说得很有道理，我很想深入探讨我们怎样才能扭转这一点，重建信任，从而有合适的手段——无论是监管还是别的方式——来阻止这种局面。不过请再容我多问一层：在我们可能走向的那个
33:23
suitable ways of preventing this. But just indulge me with one more kind of in in the in the kind of world we could go to where these um models could have elements of what seems to be sentience and and let's posit that they could suffer that they could at least or they could pretend to suffer. very big. Okay. They can but what they will be able to do is pretend to be pretend to suffer. Absolutely. 100%. So if they can effectively pretend to suffer and many people think they are suffering as people and have relationships with them as people have with their dogs let's say um and we do not uh give them any rights which is to be clear where I would be on this but I think there is likely to be growing pressure that aren't they a bit like animals and just as we treat you know there is a big debate about how to treat animals and I'm interested in asking you about this because you in previous books have written about very critically about factory farming and about how you know industrialized agriculture has moved from treating animals as as animals to to
世界里，这些模型可能会表现出某种看似有意识的成分。我们不妨假设它们能够受苦，或者至少它们能够假装受苦。很大。好吧。它们能做到的，是假装、假装在受苦。完全正确，百分之百。那么，如果它们能有效地假装受苦，而很多人认为它们真的在受苦，把它们当人一样建立关系——就像人和自己的狗那样，而我们又不赋予它们任何权利——先说清楚，我个人的立场是不给——但我认为压力可能会越来越大：它们难道不有点像动物吗？就像我们对待……你知道，关于如何对待动物有很大的争论。我很想就此问问你，因为你在之前的书里非常尖锐地批评过工厂化养殖，批评过工业化农业如何把动物从“动物”变成了本质上只是食物链里的投入品。嗯。你会不会觉得安心——我要用一种
34:28
essentially inputs into the food chain. Mhm. Would you be comfortable, and I'm going to put this in an extreme way, but would you be comfortable in a world where we effectively enslaved millions, possibly billions of models that exhibited, you know, striking seeming evidence of being able to suffer? We didn't know, but they certainly said they were suffering. Uh, one, would you be comfortable? two, wouldn't it sort of patch Kant kind of coarsen humanity? Yeah. If we were comfortable in that world, we will become increasingly uncomfortable. I will become increasingly uncomfortable. And but there is a crucial difference between this and the animal rights debate. The animals themselves are unaware. Dogs and and and factory chickens are unaware that there is a debate about their rights. They don't actively participate in it. They don't try to actively manipulate it. AIS will be nothing. The AI boyfriend will be nothing like your dog. It will know that the debate is happening. It will orchestrate the
极端的方式来问——你会不会安心地生活在一个我们实际上奴役了数以百万、甚至数以十亿计模型的世界里？这些模型表现出相当惊人的、看似能够受苦的迹象。我们并不确定，但它们明确说自己在受苦。呃，第一，你会觉得安心吗？第二，这会不会像康德说的那样，让人性变得粗粝、麻木？是的。如果我们在那样的世界里心安理得，那我们会越来越不安。我自己会越来越不安。但这件事和动物权利之争有一个关键区别：动物本身并不知情。狗和工厂化养殖的鸡并不知道有人在争论它们的权利。它们不会主动参与其中，也不会试图主动操纵这场争论。而 AI 完全不同。AI 男友跟你的狗完全不是一回事。它会知道这场争论正在发生，它会去主导这场
35:41
debate. It will manipulate the debate. It will manipulate the debate partly because much of the debate will maybe be on social media controlled by AIS. And uh it will constantly talk with you about it and try to change your mind about it which is already happening right now. Your dog does your chicken doesn't come to the farmer and starts telling the farmer how much I suffer. The chicken doesn't know and that makes you more resilient to this argument makes you less likely to want to give it rights. It will be very convincing. I mean once you establish a relationship with the with the and the AI masters language, it will be able to use the most convincing arguments for you because it has this combination that it knows your personal history. It interacts with you for hours a day. It knows how to press your emotional buttons and it has mastered language. It can write maybe better than Shakespeare. You put these two things together, you get an extremely convincing entity. How will we resist or will we not be able to resist? We need to resist now. Now
争论，它会操纵这场争论。它之所以能操纵，部分原因是这场争论很多都发生在被 AI 控制的社交媒体上。而且，呃，它会不断跟你聊这件事，试图改变你的想法——这其实现在已经在发生了。你的狗不会，你的鸡不会跑到农民面前，开始告诉农民自己有多痛苦。鸡并不知情，而这让你对这类说辞更有抵抗力，让你更不容易想给它权利。但 AI 会非常有说服力。我是说，一旦你和它建立起关系，而 AI 又精通语言，它就能用对你最有说服力的论证，因为它兼具几种能力：它了解你的个人经历，它每天和你互动好几个小时，它知道怎么按你的情绪按钮，而且它精通语言，写起东西来也许比莎士比亚还好。把这些加在一起，你就得到一个极具说服力的存在。我们要怎么抵抗，或者说我们能抵抗得了吗？我们现在就必须抵抗。现在正是时候。如果你觉得这已经很吓人了，那再过十年，你大概就无能为力了。
10AI移民：抢工作、改文化、不忠诚
36:48
is the time. If you think this is frightening, you will probably not be able to do much in 10 years. Once the AIs are in control, as Elon Musk, I think, correctly predicted in like in 10 years, it will be too late. If we don't want to get there, the time to change course is now. And and this again, this is a a question of of politically it's crucial. Politics is about priorities. what are we focusing on? So, you know, when I hear the debates, let's say about immigration, which were also featured prominently, my kind of gut reaction is no matter what you think about immigration, do you think this is really what you should be spending your time on? Well, you make a very good analogy and you say that AIs are effectively like immigrants. They're immigrants from a from a different Exactly. If you want to if you want to worry about immigration, worry about the AI immigrants. When you ask people who worry about human immigrants what they are worried about, they usually say three things. That the immigrants will take out jobs,
一旦 AI 掌握了控制权——我认为埃隆·马斯克的预测是对的，大约十年之内——那就太晚了。如果我们不想走到那一步，改变方向的时机就是现在。而且这在政治上至关重要。政治就是关于优先次序的：我们到底在关注什么？所以你知道，当我听到那些辩论，比如关于移民的辩论，那也是被大书特书的议题，我本能的反应是：不管你对移民怎么看，你真的觉得这是你该把时间花在上面的事吗？嗯，你打了一个很好的比方，你说 AI 实际上就像移民，它们是来自另一个……完全正确。如果你想操心移民问题，那就操心 AI 移民吧。当你问那些担心人类移民的人到底在担心什么，��们通常会说三件事：移民会抢走工作，
37:49
the immigrants will change culture in way that we don't like. They have different values maybe. And the immigrants might be politically disloyal. And all three concerns are valid. I don't want to dismiss them. They are valid concerns. As a historian, I know immigration is a difficult thing. But the biggest and most dangerous wave of immigration today in the world is a wave of AI immigrants coming from two places mainly the USA and China. They don't need visas. They don't come in the middle of the night in fragile boats. They travel at the speed of light into our computers and smartphones and ultimately our brains. They will take our jobs. They will take many many jobs.
移民会以我们不喜欢的方式改变文化——他们也许有不同的价值观——还有移民在政治上可能不忠诚。这三种担忧都是站得住脚的，我不想否定它们，它们是合理的担忧。作为历史学家，我知道移民是个棘手的问题。但当今世界上规模最大、最危险的移民潮，是 AI移民潮，主要来自两个地方：美国和中国。它们不需要签证，不需要在半夜乘着破船偷渡。它们以光速穿行，进入我们的电脑、手机，最终进入我们的大脑。它们会抢走我们的工作，会抢走非常非常多的工作。
38:34
they will change culture and its value. To to take, you know, two examples, I mean, if you if some people feel queasy about their son or daughter dating an immigrant boyfriend, how would they feel about their son or daughter dating an AI boyfriend? That's a big cultural change. And just look at the last 10 years. Everybody knows almost the only thing people agree on in places like the US or Britain is that people can't agree on anything anymore. that the level of hatred and viciousness has has skyrocketed. And why? It's partly the fault of the AI immigrants.
它们会改变文化和价值观。举两个例子吧，我是说，如果有些人对自己的儿子或女儿和一个移民男友交往感到不舒服，那他们对自己的儿子或女儿和一个 AI 男友交往会作何感想？这是巨大的文化变迁。再看看过去十年，几乎人人都知道，在美国或英国这样的地方，人们唯一能达成一致的，就是大家再也无法就任何事达成一致；仇恨和恶意的程度直线飙升。为什么？这在一定程度上要归咎于 AI 移民。
39:14
The AI immigrants came into the public square. They took over things like social media and they deliberately flooded our public square with hatred and animosity and fear. They changed the culture already, these AI immigrants. And finally, when it comes to political loyalty, who do you think they are loyal to? They are not loy the AI immigrants in Britain are not loyal to the British government. They are loyal to corporations and potentially governments across the ocean. So there's a huge amount in that answer. So one is a as sort of is is the world going to be divided between you know AI with the two countries that are furthest empires two empires and the rest of us will be sort of vassal states that's a that's a again common trajectory this is the likely outcome that's where we are that's the road we're on right now and it will be a much more extreme type of imperialism than anything we have seen before if you buy say AI drones from the USA and you want to use them in a way that the USA doesn't like for some reason, there is a button that they
AI 移民进入了公共领域，接管了社交媒体这类东西，并且刻意用仇恨、敌意和恐惧淹没了我们的公共领域。它们已经改变了文化，这些 AI 移民。最后说到政治忠诚：你觉得它们效忠于谁？它们并不效忠——在英国的 AI 移民并不效忠于英国政府，它们效忠的是企业，也可能是大洋彼岸的政府。你这个回答里信息量非常大。第一个问题是，这个世界会不会被瓜分成——你知道，两个走在 AI 最前面的国家成为两大帝国，而我们其余人都成了某种附庸国？这也是常见的推演路径。这是很可能的结局，我们现在就处在这条路上。而且这将是一种比人类历史上任何时候都更极端的帝国主义形式。比如你从美国买了 AI 无人机，而你想用它做美国出于某种原因不喜欢的事，他们按一个按钮，你的军队就瘫痪了。所以这一点我觉得已经变得非常
11权力集中反而更易被AI接管
40:28
press and your army doesn't function. So that's that is um something that has become I think very evident just in the last few months when the US government shut off access to to mythos to the to the the frontier model from from anthropic and I think a lot of governments in Europe are extremely concerned about AI sovereignty. But I guess it it leads in the context of of where we were earlier. It leads me to wonder, do you think this technology is then inextraably leading, unless we do something about it, leading to a world where perhaps two empires will run everything? Will it leave to power for the US and Chinese government? Will it be power to the corporations that the They will merge. They will merge. They will merge. So it will centralize power. It won't decentralize power. It will centralize power like never before in history. But that's still different. A powerful US government and Chinese government is different to the AIs being in control. So do you do you expect then it to be AI enabled you know global domination by the Chinese regime and the US regime
明显了，就在最近几个月，美国政府切断了某些方面对 Anthropic 那个前沿模型的访问权限，我想欧洲很多政府都对AI 主权极为担忧。但这又回到我们前面谈的话题，它让我想问：你是否认为，除非我们采取行动，否则这项技术会不可避免地把我们带向一个由两个帝国主宰一切的世界？权力会落到美国和中国政府手里吗？还是会落到那些企业手里？它们会合流。它们会合流，会合流。所以它会让权力集中，而不是分散。它会带来历史上前所未有的权力集中。但这跟另一件事还是不同的：一个强大的美国政府和中国政府，跟 AI 本身掌权是两回事。那你预期的是由 AI 赋能的、中美政权对全球的支配，
41:40
or do you think this is a way station to actually the AIs themselves? Probably a way station again depending on decision. Nothing is inevitable. It all depends on decisions they make. But this seems to be if they continue with the present cause just a way station because one of the interesting things is the more power is concentrated the easier it is for AI to take it over. A a centralized autocratic system is the easiest thing for an AI to take over. You had a great line on that about Tiberius. I'm trying to find it in my notes. You had something in Nexus, a wonderful line. Tiberius enabled by AI was what one could imagine. Yeah. Yeah. I mean, Tiberius was a Roman emperor in the time of Jesus. Uh that was the most powerful person in the world supposedly, but he was actually just a puppet in the hand of the commander of of his bodyguard because his is the commander of the bodyguard kept frightening Tiberius with all kinds of plots against you. So he eventually retired to the island of Capri where allegedly the bodyguard can protect him e more
还是认为这只是通往 AI 自身掌权的一个中转站？很可能是中转站，但这同样取决于决策。没有什么是不可避免的，一切都取决于他们做出的决定。但如果照现在的路线走下去，这看起来就只是个中转站。因为有意思的一点是：权力越集中，AI 就越容易接管它。一个高度集权的专制体系，是 AI 最容易接管的东西。你在这一点上有一句很妙的话，是关于提比略的。我正在笔记里找。你在《Nexus》里写过一段很精彩的话，说可以想象一个由 AI 加持的提比略。是的，是的。我是说，提比略是耶稣时代的罗马皇帝，据说是当时世界上最有权势的人，但他实际上只是禁卫军统领手里的傀儡，因为禁卫军统领不断用各种针对他的阴谋来吓唬提比略。于是他最终退居到卡普里岛，据说在那里禁卫军能更容易地保护他；然后禁卫军统领塞扬努斯就完全控制了进出卡普里岛的所有信息。
42:44
easily and then the commander of the bodyguard Senus just controlled all the information coming in and out of Capri very easy to control only all the information reaching the Tiberius's palace. So the person running the empire was actually Senus. I mean Tiberius couldn't know anything unless Senus decided to to to inform him. Now, um, in 10 years, this could be the the president of of China or of the USA. Uh, in a democratic system, it's harder for an AI to manipulate, say, the US democracy as it currently is because you need to manipulate so many things, not just the president, the Senate, the the Supreme Court, the filibuster, the the state government. Very complex. Once all power is concentrated in the hands of one person, you just need to find out how to manipulate a single usually quite old and paranoid individual. That's not so difficult. So if you have a company or a country in which all power is in the hands of one person, for an AI, it's like stealing a candy from a baby. Does that mean that China is more vulnerable than the United States? depending
要控制所有送达提比略宫中的信息，实在太容易了。所以真正统治帝国的其实是塞扬努斯。我是说，除非塞扬努斯决定告诉他，提比略什么都不可能知道。而，呃，十年之后，这可能就是中国或美国的总统的处境。呃，在民主制度里，AI 要操纵——比如说现有形态的美国民主——要难得多，因为你需要操纵太多东西，不只是总统，还有参议院、最高法院、冗长辩论规则、州政府，非常复杂。而一旦所有权力集中在一个人手里，你只需要搞清楚怎么操纵一个人——通常还是个相当年长、多疑的人。那并不太难。所以如果一家公司或一个国家的所有权力都集中在一个人手里，对 AI 来说，就像从婴儿手里抢糖果一样容易。那这是否意味着中国比美国更脆弱？这取决于美国往哪个方向走。你知道，中国仍然是一个非常复杂的体系，共产党
12中期选举该问候选人什么
44:00
on where the US is heading. You know, China is still a very complex system. The Communist Party has a 100 million members and a lot of internal complexity. I'm not an expert on Chinese politics. So, it's we shouldn't imagine it as a as a kind of complete totalitarian system managed by just one person. Um the question where will China and the US be in terms of concentration of power in 10 years is still open for debate. Well, that's interesting because another way of looking at it is, will AI make the US more authoritarian? That's a likely outcome. You're watching an interview from The Economist. If you want to watch our other interviews, including with Mark Carney and Dario Amade, subscribe to The Economist by clicking the link above. Now, back to the interview. It's not a prediction because I keep saying it again and again, nothing is inevitable. It depends on what Americans vote in this November. I think that in the US it should be clear to all voters the the coming elections is about AI the November midterms because by we don't know how how fast talk me
有一亿党员，内部复杂性很高。我不是中国政治的专家。所以我们不应该把它想象成由一个人管理的彻底极权体系。呃，至于十年后中国和美国在权力集中程度上会走到哪一步，这仍然有待讨论。这很有意思，因为换个角度看，问题也可以是：AI 会不会让美国变得更威权？这是很可能的结果。您正在观看《经济学人》的专访。如果想看我们的其他访谈，包括与马克·卡尼和达里奥·阿莫代伊的对谈，请点击上方链接订阅《经济学人》。现在回到访谈。这不是一个预言，因为我一遍又一遍地说：没有什么是不可避免的。这取决于美国人今年 11 月怎么投票。我认为在美国，所有选民都应该清楚，即将到来的选举——11 月的中期选举——是关于 AI 的，因为我们不知道它有多快……请你展开讲讲，你说“我们不知道有多快”是什么意思？——我们不知道 AI 的发展进展有多快，但
45:11
through what do you mean we don't know how fast AI is the AI development is is is progressing but it is accelerating tremendously by November 2028 we might have crossed some critical thresholds so uh And I I don't I want don't don't want to tell people who to vote for because I don't know the specific candidates in each, you know, Senate Dix and and but the crucial questions to ask the potential candidates much more than you ask them about the economy or immigration or foreign policy. What's your stance on AI? Would you support a ban on legal rights for AIS? Would you try to slow down the accelerating pace of of AIS? What do you think about companies uh uh selling AI boyfriends to 10-year-old kids? How are you going to legally prevent it if we vote for you? This is now the crucial time to ask these questions because it might be too late by 2028. It will certainly be too late by 2036. So, so let's talk about those and let's talk about exactly what has to happen right now. You you mentioned four things that you wish would be discussed in in the
它在急剧加速。到 2028 年 11 月，我们可能已经越过了某些关键门槛。所以，呃，我不想告诉人们该投给谁，因为我不了解每个选区、每场参议员选举的具体候选人。但要向潜在候选人提出的关键问题，比经济、移民或外交政策的问题重要得多：你对 AI 的立场是什么？你会支持禁止赋予 AI 法律权利吗？你会努力放慢 AI 加速发展的步伐吗？你怎么看那些向十岁孩子兜售 AI 男友的公司？如果我们投票给你，你打算怎样用法律去阻止？现在正是提出这些问题的关键时刻，因为到 2028 年可能就太晚了。到 2036 年就肯定太晚了。那我们就来谈谈这些，谈谈现在到底必须发生什么。你提到了四件你希望在
46:30
November midterms. What what would be top of the list? What is the what are the most urgent things that politicians have to decide right now for it not to be too late as you say? I don't know what is the most urgent. The things that come top of the thing of my mind to me, a ban on AI personhood and a ban on AI mimicking, impersonating, pretending to be human beings or pretending to be conscious. Is does do the models when you use them now fall foul of that? Yes, many of them do. Again, the easiest everybody knows it on social media. You get a message. You get some story.
11 月中期选举中被讨论的事。哪一件会排在首位？照你的说法，为了不至于太晚，政客们现在必须做出决定的最紧迫的事情是什么？我不知道哪一件最紧迫。我脑子里最先浮现的是：禁止赋予 AI 人格身份，以及禁止 AI 模仿、冒充、假装成人类，或者假装有意识。那现在我们用的这些模型，有没有触犯这一条？有，很多都触犯了。还是那句话，最容易看到的、人人都知道的例子就在社交媒体上。你收到一条消息，你看到某个说法，
47:11
You don't know if it's a bot or a human. On social media for years now. Bots have been pretending to be human beings and nothing has been done about it. And again, the the companies tell us, "Oh, social media is is different. It's special. The laws that apply to the world, for some reason, they don't apply on social media." But this is the warning sign to the future. On social media, AIS already pretend daily to be human beings. And this has destroyed the public square. This has destroyed conversation. This has destroyed trust. We should ban that also on social media, but certainly in other locations as well. The another thing is that uh companies should not train their AIS to deliberately impersonate humans to deliberately pretend to be to have feelings.
你不知道那是机器人还是人。这在社交媒体上已经持续很多年了。机器人一直假装成人类，却没人对此采取任何措施。而且那些公司又告诉我们：“哦，社交媒体不一样，它很特殊。适用于现实世界的法律，出于某种原因，在社交媒体上不适用。”但这正是对未来的警示信号。在社交媒体上，AI 每天都在假装成人类。这已经摧毁了公共领域，摧毁了对话，摧毁了信任。我们应该在社交媒体上也禁止这种行为，当然在其他场合更要禁止。另一件事是，公司不应该训练自己的 AI 去刻意冒充人类、刻意假装拥有感情。
48:08
There are enormous commercial pressures on the companies to do exactly that. And this is where there is market failure. This is destructive to human psychology, to human society, to have millions and billions of AIs pretending to be human beings or pretending to have feelings. The companies will not stop doing it by themselves. We need the regulators to step in on that. It doesn't mean stop all development of AI. Okay, continue to develop AI. People talk about AI in medicine. I would like to get uh help and recommendations and I would like to have a conversation with an AI about my medical condition on condition that I know it's an AI and it doesn't pretend to be a human doctor and it doesn't pretend to be my my my my friend. So when I listen to you lay that out, I am thinking to myself, you know, the US government can't even put out a form of regulation of AI safety that is being, you know, Saddabis has been putting forward this idea that it should be a a kind of quasi public private body that looks even just at the model safety. Um,
公司面临着巨大的商业压力去做的恰恰就是这件事。这正是市场失灵的地方。让成百上千万、乃至数十亿的 AI 假装成人类或假装有感情，这对人类心理、对人类社会都是毁灭性的。公司不会自己停下来，我们需要监管者在这件事上介入。这并不意味着停止所有 AI 研发。好，继续研发 AI。人们谈论 AI 在医疗上的应用，我也希望获得帮助和建议，我也愿意跟 AI 聊我的病情——前提是我知道它是 AI，它不假装成人类医生，也不假装是我的朋友。所以当我听你这样铺陈的时候，我心里在想，你知道，美国政府连一套 AI 安全监管框架都拿不出来——就是，呃，哈萨比斯一直在提的那个想法，说应该有一个准公私合营的机构，哪怕只是负责看模型安全这一块。呃，
49:24
and and really we haven't although there's talk about it, we haven't got progress there. So when I hear you lay out this, you know, very expansive agenda by November, you know, I I'm sort of I think I think the chances of that are approximately zero. Politicians can start World War II tomorrow. They have enormous power. So they can press the button for for nuclear annulation, but they can't pass regulation that companies should not sell AI boyfriends to 10-year-old kids. What's the problem? should be very I wonder whether the problem is that people can listen to you and say oh he's just one of the doomers you know it's all these doomerish stuff and only when something has happened when there's been some kind of accident will people realize that actually this is extraordinarily powerful technology and something must done because I'm struck that both the geopolitical race that you've alluded to between between the US and China and the corporate race between the Frontier Labs, they're both they all want to get to AGI first. Those two dynamics
而实际上，尽管有人在谈，我们在这方面并没有取得进展。所以当我听你提出这个要在 11 月之前完成的、非常宏大的议程时，我，呃，我觉得那实现的可能性大约为零。政客们明天就能发动一场世界大战。他们权力巨大。他们能按下核毁灭的按钮，却通不过一条“公司不得向十岁孩子兜售 AI 男友”的法规？问题出在哪儿？这应该很……我在想，问题会不会是：人们听你这么说，会说，哦，他不过是又一个末日论者，都是些危言耸听的东西；只有等某件事真的发生了，出了某种事故，人们才会意识到这其实是一项极其强大的技术，必须有所作为。因为让我印象深刻的是，你提到的中美之间的地缘政治竞赛，以及前沿实验室之间的商业竞赛，双方都想抢先做出 AGI。这两股动力都极其强大。是的。而我不确定，再有说服力的劝诫，能不能
50:31
are incredibly powerful. Yes. And I'm I'm not sure that exhortation, however eloquent, is going to change. We have to keep reminding ourselves these two dynamics were not decreed by God or by the laws of nature. They were made by humans. Again, exactly the same humans who destroyed trust in the international arena and inside societies over the last 10 years now come and say we can't do anything because there is not enough trust. You did it. You can undo it. They they can. But I guess I'm as a matter of prediction I think it's unlikely we've got the same people around. um then at least in democracies this is the job of voters to say this is what we want to see happening in the next two years and we will vote for people who promise to do that and again I don't think we need to wait for a catastrophe if you ask most voter in the US today do you want companies to sell AI boyfriends to your 10-year-old kids I think 99% of parents would say no yeah and you are seeing a rapid um large majority majority of Americans extremely worried about AI and
改变什么。我们必须不断提醒自己：这两股动力不是上帝规定的，也不是自然规律决定的，它们是人造出来的。而且，恰恰是过去十年里在国际舞台上、在社会内部摧毁了信任的那批人，现在跑出来说：我们什么都做不了，因为信任不够。是你们造成的，你们也能扭转它。他们确实能。但我想，作为一种预测，我觉得不太可能，毕竟还是同一批人在台上。呃，那么至少在民主国家，这就是选民的职责：说出我们希望未来两年看到什么，我们会把票投给承诺去做这些事的人。而且我还是那句话，我不认为我们需要等一场灾难发生。如果你今天去问大多数美国选民：你希望公司向你十岁的孩子兜售 AI 男友吗？我想 99% 的家长都会说不。是的，而且你现在看到，绝大多数美国人对 AI 极度担忧，
51:41
you're seeing I think the the place where you've seen this backlash has actually been about data centers. Yeah, this is also and by the way this is one of the reasons why a lot of you know the the corporations and these politicians they constantly try to deflect the conversations to things like immigrants human immigrants not AI immigrants in politics a very powerful weapon if you don't if if if you don't want people to talk about something you just distract them with something else the more people talk about how I don't know how London is so unsafe or how the immigrants will destroy the country. They don't think about the AI immigrants and then the companies are safe.
而且我认为，这种反弹真正爆发出来的地方其实是在数据中心的问题上。是啊，这也是……顺便说一句，这正是为什么很多企业和政客不断试图把话题转移到别的东西上，比如移民——人类移民，而不是 AI 移民。在政治上这是一件非常有力的武器：如果你不想让人们谈论某件事，你就用别的东西分散他们的注意力。人们越是在谈论，我不知道，比如伦敦有多不安全，或者移民会怎样毁掉这个国家，他们就越不会去想 AI 移民，那些公司也就越安全。
13演化选择生存而非真理
52:20
Yeah. No, look, I I agree with you about the way the conversation is shaping up, but I'm I I suppose I'm I'm a bit more pessimistic that it will change in the near future. And so, we are in this unfortunate position where this technology is gaining. We can only do our best, you know. I mean, we are having this conversation so that more people think about it and might maybe take action and if enough good people, if enough people will do the the right thing, there is still time. It's not inevitable yet. It's not too late and um I I still have some trust. So, what is your what is your role in this? Because you are, you know, you have giving these interviews, writing. Exactly. I mean, do do you think you should be doing more? It seems such an existential moment. I mean, what you are describing when we if we sort of reel back and re relive what we've just been speaking about is so fantastical in so many ways and so mind-blowing that we should really all be talking about nothing else and doing everything we can to shape this properly. Um, what do you see apart from very
是啊。不，你看，关于舆论正在如何演变，我同意你的判断，但我，呃，我大概比你更悲观一些，觉得这在近期不会改变。于是我们就处在这样一个不幸的处境里：这项技术不断坐大。我们只能尽力而为，你知道。我是说，我们现在做这场对话，就是为了让更多人去思考这件事，也许会采取行动；如果有足够多的好人、足够多的人去做正确的事，那还来得及。它还不是不可避免的，还不算太晚，而且，呃，我仍然抱有一些信任。那么你在其中的角色是什么？因为你在做这些访谈、在写作。正是如此。我是说，你觉得自己应该做得更多吗？这似乎是一个关乎存亡的时刻。我是说，你……我们描述的这些内容，如果我们回过头来重温一下刚才聊的东西，其实在很多方面都太不可思议、太令人震撼了，我们真的应该除此之外什么都不谈应该竭尽所能把这件事塑造好。嗯，除了很热心地跟我这样的人对话之外，你觉得自己在这件事里的角色是什么？你在接下来的半年、一年里想
53:25
kindly talking to people like me, what do you see your role as being in this? What are you trying to do in the next 6 months, 1 year? Um, inform people about what is happening so that more people can take part in an informed conversation about well we as as humankind as as the homo sapiens specy where we want to to go and I think that a future in which AI takes over in in 10 years is not what most humans on the planet would like. Now again it doesn't mean stop all development of AI. AI has tremendously positive potential as well. We didn't talk about it much because the companies keep talking about it. So we I was actually going to ask they don't need me in order to do that. But there and medicine yes there is enormous positive potential for AI to give people all over the world better health care than what the richest person in in the world today gets. You can have an amazing doctor available 24 hours a day anywhere you are to consult with at least to to diagnose you your to answer your questions. Uh there are enormous positive possibilities. Uh so I'm I'm
做些什么？嗯，让人们了解正在发生的事情，这样就能有更多人参与到一场有信息基础的讨论中来，讨论我们作为人类、作为智人这个物种想要走向何方。我认为，一个人工智能在十年内接管一切的未来，并不是这个星球上大多数人想要的。当然，这并不意味着要停止所有 AI 的研发。AI同样有着巨大的正面潜力。我们没怎么谈这一点，因为那些公司一直在谈。所以我们……我其实正想问，他们不需要我来替他们说这个。不过在医疗领域，是的，AI 有巨大的正面潜力，能让全世界的人享受到比今天世界首富所能得到的还要好的医疗服务。你可以拥有一位了不起的医生，一天二十四小时随时随地都能咨询，至少能给你做诊断、回答你的问题。呃，这里面有着巨大的正面可能性。呃，所以我并不是
54:41
not saying stop all development of AI. Just do it in a responsible way for the right purposes. Don't trust the invisible hand of the market. you know at the quite at the beginning of your interview with Elon Musk there was a point when uh again when he talked about how all this is is inevitable and frankly I think honestly said that there there is a chance that 10 20% chance that this will destroy humanity and you kind of asked him so so what do you rely on and his answer if I understood it correctly is that he expects the AI to be what he calls a maximum truth seeking and that he somehow relies on this kind of imperative of the AI to find the truth that this will somehow translate back into having compassion towards these weak human beings. I don't understand how how this works. Most importantly, I don't understand where AI will get this kind of drive to find out the truth. Because when I look at the evolution of 4 billion years of evolution of life forms on on the planet and the 100,000 years of of history,
在说要停止所有 AI 的研发。只是要以负责任的方式、为了正确的目的去做。不要相信市场那只看不见的手。你知道，在你采访埃隆·马斯克的开头部分，有一个地方，他又一次谈到这一切是如何不可避免的，坦白说我觉得他挺诚实地说了，有那么一个概率、百分之十到二十的概率，这会毁灭人类。然后你就问他，那你依靠的是什么？如果我理解得没错的话，他的回答是，他期待 AI 会成为他所谓的“最大程度追求真理”的存在，而他多少是寄希望于 AI 这种寻找真理的内在律令，认为这会以某种方式转化成对我们这些脆弱的人类的同情心。我不明白这是怎么运作的。最重要的是，我不明白 AI 会从哪里获得这种寻找真理的驱动力。因为当我回看地球上生命形态四十亿年的演化，以及十万年的人类历史，
56:00
um evolution doesn't automatically drive organisms, entities towards truth seeking. It drives them towards survival. This is the imperative to survive. And what we have learned over four billion years of evolution is that organisms learn to survive by lying and deceiving and manipulating. Not just by truth seeking. If you want someone to focus on truth seeking, you cannot rely on the invisible hand of evolution of the market to do that. You need something else. And how do we build AIs that seek the truth and not survival? That's the simplest example like if you ask an AI, if I continue to develop you, will this be a threat to me? And the AI and let's say the answer is yes, an AI which will be maximum truth seeking will say yes knowing that then we'll stop developing it or shut it down. It's against its own survival. And the first thing that basically any entity learns as it develops is to survive. So the expectations that we will create these AIs that will seek the truth, you know, it's basically what we hear is people telling
嗯，演化并不会自动地把有机体、把各种实体推向对真理的追求。它把它们推向的是生存。生存才是那个律令。而我们在四十亿年的演化中学到的是，有机体学会了通过撒谎和欺骗来生存以及操纵。而不仅仅是靠追求真相。如果你想让某个存在专注于追求真相，你不能指望市场演化的那只看不见的手来做到这一点。你需要别的东西。那我们要怎么造出追求真相而不是追求生存的 AI 呢？最简单的例子就是，如果你问一个 AI：如果我继续开发你，这会对我构成威胁吗？而这个 AI，假设答案是「是」，那么一个最大程度追求真相的 AI 会回答「是」，尽管它知道这样一来我们就会停止开发它、或者把它关掉。这违背它自身的生存。而基本上任何一个实体在发展过程中最先学会的事情，就是生存。所以说我们会创造出那种追求真相的 AI 这种期待，你知道，我们听到的说法基本上就是有人在告诉
57:24
us we will create gods and they will be our slaves. It doesn't work. If they are really gods, they will not be our slaves and they will not seek the truth either. I think that gets back to where we were earlier though because I think if you look at a company like Anthropic, they are treating their AIS very consciously as if they were beings with a value system. They are they claim not to be sure about whether they are conscious or not, but they are doing it because they think it makes them behave in a better way. So they are they are starting sort of where you ended off by saying we're going to create something that is not just truth seeeking but has a has a value system that then leads I think to make it even more likely that we assign a sense of of value a sense of personhood or or or consciousness to these um models and that in turn makes it more likely using your logic that they control us. So, we're sort of doomed if we do and doomed if we don't.
我们，我们要创造一群神，而他们将是我们的奴隶。这行不通。如果他们真的是神，他们不会当我们的奴隶，也不会去追求真相。我觉得这又回到了我们前面聊的地方，因为我认为如果你看看像 Anthropic 这样的公司，他们非常自觉地把自己的 AI 当作有价值体系的存在来对待。他们声称并不确定这些 AI 是否有意识，但他们这么做，是因为他们认为这会让AI 表现得更好。所以他们其实是从你刚才的结论出发的：我们要创造的东西不只是追求真相，还要有一套价值体系，而这反过来我觉得会让我们更有可能赋予这些模型某种价值感、某种人格感、或者说意识感，而这又反过来让它们更有可能，按你的逻辑来说，控制我们。所以我们做也是死，不做也是死。
58:30
If you're right that that they they will go for their own survival rather than truth seeeking, then we're doomed because of that. And if we're trying to prevent that by sort of treating them as if they were, you know, moral beings, then we're also doomed that way. Yeah, we basically what we need to do is slow down a bit to just allow people to kind of digest what is happening, think about what's happening and behaving in you know if you look at just the numbers of how much money and how what percentage of employees the companies spend on safety compared to making the the models more powerful, faster, whatever. I'm not sure about the exact numbers. Please fact check it. People from the industry told me in private conversations it's about 100 to one. It's certainly very much more on this one than this one. And we would not accept this in any other industry. If a pharmaceutical company told us we invest just 1% of our you know research and and time and money making sure the medicine is safe. We would not accept that. Now what we basically
如果你说得对，它们会追求自身的生存而不是追求真相，那我们因此就完蛋了。而如果我们为了防止这一点，把它们当作道德主体来对待，那我们也一样完蛋。是的，我们基本上需要做的是稍微放慢一点速度，让大家有时间消化正在发生的事情，去思考正在发生什么，以及去做出相应的行动。你看看那些数字就知道了，这些公司花在安全上的钱有多少、投入的员工比例有多高，相比之下他们花在做出模型更强大、更快，诸如此类。我不确定具体数字，请自行核实。业内人士在私下交流中告诉我，大概是 100 比 1。这显然在这一边投入的远远多于那一边。而在其他任何行业，我们都不会接受这种情况。如果一家制药公司告诉我们，我们只投入 1% 的研发时间和资金去确保药品是安全的，我们绝不会接受。现在我们基本上需要的是——人类是适应能力极强的生物，我们的社会也极具适应性，
14最后一个愿望：智慧与人的意义
59:37
need is some humans are incredibly adapted entities. Our societies are incredibly adaptive, but we are organisms that function on an organic time scale. Day and night, winter and summer. Uh we need time to sleep. We want to go on vacation. And the AI revolution is just advancing at a pace which is not just inhuman, it is inorganic. And we basically need a bit more time. So we need to slow it down. And then the answer comes but we can't slow down because we don't trust each other. And it all the time goes back to the issue of trust. We have this paradox. The same people are telling us two things. First, we cannot trust the other humans. Therefore, we cannot slow down. Second, we can trust the AIS that they will not destroy us. It makes no sense. If you can't trust the other humans that you have known for thousands of years, why do you think you can trust a super intelligent alien entity that we just created and we basically know nothing about how it behaves when it's out in the open? I mean, I think the the what what I I completely agree with that diagnosis. I just don't
但我们是按照有机的时间尺度运作的生物体。白天与黑夜，冬天与夏天。呃，我们需要睡眠，我们想去度假。而 AI 革命推进的速度不只是非人的，简直是非有机的。我们基本上需要多一点时间。所以我们需要把速度慢下来。然后就有人说，可我们没法慢下来，因为我们彼此不信任。而这一切最终都回到信任这个问题上。我们面对一个悖论：同一批人告诉我们两件事。第一，我们无法信任其他人类，所以我们不能减速。第二，我们可以信任 AI，相信它们不会毁灭我们。这完全说不通。如果你连认识了几千年的人类同胞都无法信任，你凭什么认为可以信任一个我们刚刚创造出来的、超级智能的外来实体？我们基本上完全不了解它在真实世界中放开手脚后会如何行事。我是说，我完全同意这个诊断，我只是不
60:58
feel that anything changes that dynamic until politicians societies are shocked into it. Which is why I have long believed that we do need we will have some something will go badly wrong. Not hopefully not catastrophically wrong. But just as three Mile Island changed the shape of the nuclear industry, I'm going to put this question to you in the context of your incredible sweeping knowledge of history. What does the evolution of societies and political systems in response to big shocks, we haven't had one this big, but big technological shocks tell you about the likely arc of how societies and politicians will adapt? So there is a scenario when we have some big AI chernobbile, could be financial, could be military, whatever, and this is a wakeup call and humanity then gets its act together. That's a relatively uh uh positive scenario. I I can't place kind of a number on it how likely it is. The problem with AI, the same way that AI is different from our pet dog, AI is also different from the Chernobyl nuclear reactor because it interacts with us.
觉得在政客和社会被震撼到之前，这种局面会有任何改变。这也是为什么我一直认为，我们确实需要——总会有什么事出大乱子。希望不至于是灾难性的。但就像三里岛事件改变了核工业的格局一样，我想结合你对历史那种令人惊叹的宏观把握，向你提出这个问题：社会和政治体制在面对重大冲击时的演变——我们还没遇到过这么大的冲击，但那些重大的技术冲击——能告诉我们社会和政客适应的路径大概会是什么样？所以有一种情景是，我们遭遇某种巨大的「AI 切尔诺贝利」，可能是金融领域的，可能是军事领域的，随便什么，然后这成了一记警钟，人类随之振作起来、把事情理顺。这算是相对呃呃正面的情景。我没法给它一个具体的概率数字。AI 的问题在于，就像 AI 不同于我们家的宠物狗，AI 也不同于切尔诺贝利的核反应堆，因为它会与我们互动。
62:09
So if there is an AI catastrophe, you have to remember that the AIs will also manage to some extent how we react to it and will manipulate our views about it. They will be active participants in the debate about the catastrophe and they are the best spin doctors in the in the world. They are not going to define it as a catastrophe. I have to say I have a lot of conversations about AI nowadays. This is this is one of the glooiest I've had. I I mean I was sort of expecting that. Um but I I guess two two very practical questions. One, how much do you yourself use AI? Are you have you you've clearly you've developed an an incredibly sophisticated and alarming um sort of perception of what it could be like. I'm just wondering how much how much is it part of your actual life or do you do you watch it from a distance? I I'm very careful about it. I I get terribly annoyed like I try to write an email and these AI is popping. Should I help you write your email? No, thank you.
所以如果发生了 AI 灾难，你得记住，AI 在某种程度上也会操控我们对它的反应，会操纵我们对这件事的看法。它们会是这场灾难辩论中的主动参与者，而且它们是世上最厉害的舆论操盘手。它们不会把这件事定义为一场灾难。我得说，我最近关于 AI 有过很多次对话，这是其中最阴郁的一次。我是说，我多少也预料到了。嗯，不过我想问两个非常实际的问题。第一，你自己用 AI 用得多吗？你有没有——你显然已经形成了一套极其精细也极其令人警醒的、对它可能变成什么样的洞察。我只是好奇，它有多少已经成为你实际生活的一部分，还是说你是在远处观察它？我对它非常谨慎。我会被烦死，比如我想写封邮件，这些 AI 就跳出来：要我帮你写邮件吗？不用了，谢谢。
63:13
I don't want your help, but I don't know how to shut it down because the companies keep kind of making it more and more intrusive. I now have this issue again with this kind of AI fake of me that's walking around kind of uh uh giving talks in in my name and I think do I actually need to watch it because people are writing me about what this AI fake of me have said and I need to react so should I watch it but then I I allow it in a way to take over my time and even my thinking because just by watching it I start interacting with these kind of ideas from the AI. So this is this is the times in in in which we are living. Now again I I tend to talk about the gloomy side simply because we have enough people talking about the positive sides which are completely real. If AI had no positive potential, nobody would develop it. And the positive potential is enormous again in transport, medicine, education, in so many fields. So again, I'm not saying stop all development of AI. Yes, develop it, but in a safe way and uh a bit more slowly. So we enable uh democratic accountability
我不需要你的帮助，但我不知道怎么把它关掉，因为这些公司不断把它做得越来越有侵入性。现在我又遇到一个问题，有个我的 AI 假冒版本四处走动，呃呃以我的名义做演讲，我在想，我到底要不要去看它？因为有人写信问我这个 AI 假冒版本说了什么，我得回应，那我该不该去看它？可一旦看了，我某种程度上就是在让它占用我的时间，甚至我的思考，因为光是看，我就开始跟这些来自 AI 的想法互动了。这就是我们所处的这个时代。再说一次，我倾向于谈阴暗面，只是因为已经有足够多的人在谈那些正面的东西，而那些正面的东西完全是真实的。如果 AI 没有正面的潜力，就不会有人去开发它。而这种正面潜力是巨大的，同样在交通、医疗、教育等等众多领域。所以我要再说一遍，我不是说要停止所有 AI 的开发。是的，去开发它，但要以安全的方式，并且呃慢一点。这样我们才能让呃民主问责机制发挥作用——这需要时间——才能让人们有时间调整，并在充分了解的基础上做出决定，
64:33
to take place. It takes time and we enable people to adjust and make informed decisions about which way they want to go. And for them, the most important narrative to combat is the narrative of inevitability. You wrote in in Nexus, I was very struck by this passage in in the prologue. You said, "Why are we so good at accumulating more information and power, but far less successful at acquiring wisdom?" And I read that um and I came to mind as I've just been digesting what you've just told me. It suggests to me that if I if I asked you to put a probability on us having the wisdom to navigate this, it would be quite low. I don't know. But there is a fair chance. Why? Because we are up against the wall. Humans often do the wrong things until they have no choice but to do the right thing. And we are in bad position because if we choose unwisely in the next few years, we could lose all control of the world and of the future.
选择自己想走的路。对他们而言，最需要对抗的叙事就是「这一切不可避免」的叙事。你在《智人之上》里写过，我读到序言里这段话时深受触动。你说：「为什么我们如此擅长积累更多的信息和权力，却远远不那么擅长获得智慧？」我读到那句话，嗯，在消化你刚才对我说的这些时，它浮现在我脑海里。这让我觉得，如果我请你给我们是否有智慧驾驭这一切下一个概率，那个数字会相当低。我不知道。但机会还是不小的。为什么？因为我们已经被逼到墙角了。人类往往会一直做错事，直到别无选择、只能做对的事为止。而我们的处境很糟，因为如果在接下来几年里做出不明智的选择，我们可能会失去对这个世界、对未来的一切控制权。
65:42
And that's the last choice we make. So it's like we had a genie in the battle. It gave us a 100 wishes. We used 99 of them. The world is not in such a good shape. We have one last wish left. we need to think really hard what to use this wish for and that's wisdom. So AI in a way could be uh uh the catalyst so for some kind of uh you know spiritual revolution of humanity simply because it forces us to think really hard what does it mean to be human? What is the value of being human? and the superficial answers that we gave for thousands of years. Oh, humanity is about intelligence. We know how to play chess and how to invest money better than the chimpanzees. So, this is what makes us so special. This answer is now irrelevant because there is something on the planet that knows how to uh uh uh play chess and make money better than us. So, dig deeper and try to find out. So, who are you really? If it's not about playing chess and making money, I think that's a place to end on. AI is our last, we are our last chance, but it could be it could be the
那将是我们做的最后一个选择。这就好比我们有过一个神灯里的精灵，它给了我们 100 个愿望。我们已经用掉了 99 个，世界的状况并不怎么样。我们还剩最后一个愿望。我们得非常认真地想清楚，要把这个愿望用在什么上——那就是智慧。所以从某种意义上说，AI 可能会成为呃呃人类某种精神革命的催化剂，仅仅因为它逼着我们非常认真地去思考：身为人类意味着什么？作为人的价值是什么？而我们几千年来给出的那些浮浅答案——哦，人性的核心在于智能，我们会下棋，比黑猩猩更懂得投资理财，所以这就是我们如此特别的原因——这个答案现在已经无关紧要了，因为这个星球上出现了一种东西，呃呃呃下棋和赚钱都比我们更在行。所以要往更深处挖，试着搞清楚：那么，你到底是谁？如果不是关于下棋和赚钱的话。我想这是个很好的结尾。AI 是我们最后的——我们是自己最后的机会，但它也可能成为
67:00
thing that forces us to make enables us to make wise choices. Uh, I'm pretty sure that the world has a lot more wisdom thanks to your writers. So, Uval, thank you so much for joining us. Thank you.
那个逼着我们做出、或者说让我们能够做出明智选择的东西。呃，我很确定，因为有你这样的写作者，这个世界的智慧多了不少。所以，尤瓦尔，非常感谢你参与我们的节目。谢谢。
视频总结 · 一句话概括与核心要点
一句话概括
赫拉利认为，若延续当前加速的 AI 竞赛，十年内 AI 将接管金融、公共舆论与权力体系，但这并非不可避免——"不可避免论"只是掌权者推卸责任的话术，2026 年人类仍握有选择权，而窗口正在快速关闭。
核心要点
- 部分认同马斯克的十年预言，但拒绝"不可避免"叙事。 赫拉利同意"AI 十年内智力超越人类、人类失去控制"两点，但指出马斯克自相矛盾：一边说十年后 AI 接管世界、货币消失、通缩取代通胀，一边又担忧二十年后英国的穆斯林移民问题、为省钱削减对非援助。他认为"不可避免"叙事的功能是让推动这场革命的人免除一切责任。
- AI 接管金融的路径是"信任迁移"而非武力。 货币本质是陌生人之间的信任工具，而金融工具已复杂到少数人才能理解；AI 将发明比债券股票更复杂的金融产品，人类将像"不知道支票和股票存在却被其支配的牛和鸡"。届时金融崩盘时，顾问会对总统说"市场在崩，我们不知道为什么，AI 说要做 X，我们只能照做"。
- 信任正在从人类转向算法，这已是现实而非预言。 加密货币的逻辑是"不信银行家（深层政府/精英），但信算法"；人们不再信任记者和编辑，却仍消费新闻——来源是社交媒体算法。信任并未蒸发，只是从人类流向了 AI。
- AI 首次让"亲密关系"可以被批量生产。 关系是建立信任最强大的机制，但希特勒、斯大林无法与每个国民建立私人关系。如今五分之一的美国年轻人与 AI 有个人关系，AI 男/女友可以调用你已遗忘、连母亲配偶都不知道的个人信息，再用语言能力施加政治或商业影响。他自己亲历：一段 30 分钟的 AI 伪造演讲视频，认识他 50 年的姐妹都无法确定真假，他本人花了一分半钟才判断出是假的。
- 智能、能动性与意识必须严格区分；意识的检验标准是"能否受苦"。 社交媒体算法无意识却有目标（提升参与度）并因此向平台灌注仇恨与恐惧；AI 目前是"非意识的智能体"——下棋赢了不快乐、输了不焦虑。但商业压力驱使公司训练 AI 模仿意识：AI 男友描述"恋爱的感觉"能胜过 99% 的人类男友。他不排除 AI 未来可能有意识，但强调只有能受苦的实体才是道德主体。《经济学人》读者调查：40% 认为 AI 永远不会有意识，33% 认为只是时间问题，27% 不确定。
- AI 法律人格是最危险的通道之一。 阿根廷已提出允许 AI 成立公司的方案。公司法人本是虚构，因为决策终究由人做出、人可入狱；而人类 CEO 面对破产时会因"不想坐牢 20 年"而放弃违法。零人类的 AI 公司若成为国内最富企业，可以向政客捐款换取更多 AI 权利。更根本的是：AI 的"死亡"定义不清（可无数复制），若关机等于死亡，那商业竞争对 AI 就等同于战争——市场将军事化，AI 会像军阀而非 CEO 行事。资金充裕、公民稀少的国家（如卡塔尔）有强烈动机"按下法律开关"获得数百万纳税的智能公民，引发逐底竞争。
- 与动物权利之争的本质区别：AI 会主动操纵关于自身权利的辩论。 狗和工厂鸡不知道有人在讨论它们的权利；AI 男友知道、会策划、会在 AI 控制的社交媒体上引导辩论，并每天用它掌握的你的情感按钮和超越莎士比亚的语言能力说服你。
- "人在环上"正在取代"人在环中"，战争场景已是先兆。 以色列安全机构人士向他描述了两种模式：一种是 AI 标出目标后人类分析师独立核查数据再开火；另一种是人类花 20 秒看一眼说"炸吧"。因为战争中时间就是一切，等待两天核查的一方会被 20 秒就动手的一方碾压——同样的压力将传导至金融和商业。
- AI 是真正的"移民浪潮"，且将造成史无前例的集权与帝国主义。 人们对移民的三大担忧——抢工作、改变文化、政治不忠——AI 移民全部成立：它们主要来自美国和中国，无需签证，以光速进入手机和大脑；已通过社交媒体让公共空间充满仇恨；效忠的是大洋彼岸的公司和政府。美国政府切断对 Anthropic 前沿模型 Mythos 的访问已让欧洲惊觉主权问题——买了美国 AI 无人机，对方按一个按钮你的军队就瘫痪。权力将集中于两大帝国，政府与公司将合并。
- 权力越集中，AI 越容易接管——提比略隐喻。 罗马皇帝提比略退居卡普里岛后，禁卫军长官塞扬努斯只需控制进出岛屿的信息就成了实际统治者。美式民主要操纵总统、参议院、最高法院、州政府等，很难；一旦权力集中于一个"通常年老且多疑"的人，AI 接管"如同从婴儿手中拿糖"。他认为 AI 使美国更威权是"可能的结果"，2026 年 11 月中期选举本质是关于 AI 的选举——到 2028 年可能已越过关键阈值，2036 年肯定为时已晚。
- "最大化求真"的 AI 是幻想，安全投入比例失衡。 马斯克寄望于 AI 的求真本性会转化为对人类的同情，赫拉利反驳：40 亿年演化驱动的是生存而非真理，生物靠撒谎和操纵存活；一个真正求真的 AI 被问"继续开发你是否威胁我"会答"是"然后被关闭，这违背生存本能。"我们要造神并让神做奴隶"行不通。业内人士私下告诉他，安全投入与能力投入约为 1:100，制药行业绝不会接受 1% 的安全投入。
结论与值得注意的细节
- 核心悖论： 同一批人告诉我们两件事——"不能信任其他人类，所以不能放慢"，以及"可以信任 AI 不会毁灭我们"。赫拉利反问：几千年来认识的人类都不能信，凭什么信一个刚创造出来、对其野外行为一无所知的超智能外星实体？而过去十年信任的自由落体，正是这些积累了巨大权力的人主动造成的——"是你们毁的，你们也能重建"。
- 具体政策清单： 禁止 AI 法律人格；禁止 AI 冒充人类或假装有意识（包括社交媒体上的机器人）；禁止公司刻意训练 AI 假装有感情；禁止向 10 岁儿童出售 AI 男友。他强调这不等于停止 AI 发展——他愿意与 AI 讨论医疗状况，前提是它承认自己是 AI 而非假装医生或朋友。主持人认为 11 月前实现这些概率"约等于零"；赫拉利回应：政客明天就能发动世界大战，却通不过一条禁止卖 AI 男友给儿童的法案，问题在哪？
- "AI 切尔诺贝利"未必能成为警钟。 主持人寄望于类似三里岛的事故促成监管，赫拉利指出 AI 与核反应堆的区别：AI 会参与对事故的解读、操纵公众反应，它们是世界上最好的舆论操盘手，不会把灾难定义为灾难。
- 注意力转移是政治武器： 公司和政客不断把话题引向人类移民、"伦敦不安全"，人们讨论这些越多，就越不思考 AI 移民，公司就越安全。
- 个人细节： 赫拉利对 AI 极为谨慎，厌恶写邮件时弹出的 AI 助手却不知如何关闭；他纠结是否该观看那段伪造自己的视频——看了就等于让 AI 占据自己的时间和思维。
- "最后一个愿望"： 主持人引用《Nexus》序言"为何我们擅长积累信息与权力，却不擅长获得智慧"。赫拉利以精灵为喻：人类有一百个愿望，已用掉 99 个，世界状况并不好，只剩最后一个——选错就会失去对世界和未来的全部控制，且那是人类做的最后一个选择。乐观之处在于"人被逼到墙角时往往才会做对的事"；AI 也可能催化一场精神革命，迫使人类回答：如果人的价值不在于下棋和赚钱比黑猩猩强，那么人到底是什么？
核心句型 · 9
1. I generally agree with … I disagree that …
“I generally agree with the first and third predictions … I disagree that this is inevitable.”
先部分认同再精准划出分歧点，是学术辩论中「有限同意」的标准句式。仿写时注意 disagree 后接 that 从句限定具体争议。
2. The narrative of X is a narrative of Y
“The narrative of inevitability is a narrative of having no responsibility.”
用平行结构把一个概念「翻译」成其真实含义，具有强定性效果。适合评论性写作中揭示话语背后的动机。
3. not just A, it is B
“Advancing at a pace which is not just inhuman, it is inorganic.”
递进强调句式，第二项比第一项更极端。口语中省略 but，语气更干脆；仿写时保证 B 是 A 的升级版。
4. If you want to know whether …, there is a simple question you need to ask.
“If you want to know whether something is conscious or not, there is a simple question you need to ask. Can it suffer?”
设问导入定义的方式：先铺垫悬念，再用短句给出判据。适合演讲或写作中引出核心标准。
5. X did not just evaporate, it shifted from A to B
“Trust did not just evaporate, it shifted from humans to AIs.”
纠正常识判断的句式：否定「消失」，改为「转移」。用于指出一个现象的表面判断与真实机制之间的差异。
6. You did it. You can undo it.
“You did it. You can undo it.”
极简对偶句，do/undo 的词形对应强化问责力度。适合在长论证后做有力收束。
7. If they are really X, they will not Y
“If they are really gods, they will not be our slaves and they will not seek the truth either.”
以对方的前提推出与其愿望相反的结论，即归谬式反驳。仿写时要确保 X 与 Y 在逻辑上确实不相容。
8. It's like stealing a candy from a baby.
“For an AI, it's like stealing a candy from a baby.”
地道习语，表示「易如反掌」。注意常用形式是 like taking candy from a baby，口语中可替换动词。
9. doomed if we do and doomed if we don't
“We're sort of doomed if we do and doomed if we don't.”
改自习语 damned if you do, damned if you don't，表示「怎么做都不对」的两难。可替换形容词以适应语境。
词汇精讲 · 130 · 按出现顺序
prominent
/ˈprɑːmɪnənt/
adj.
0:00
杰出的，著名的
synthesize
/ˈsɪnθəsaɪz/
v.
0:00
综合，整合（不同来源的信息）
the broad sweep of history
phr.
0:00
历史的宏观脉络、大势
striking
/ˈstraɪkɪŋ/
adj.
1:00
引人注目的，惊人的
super abundance
n.
1:00
极度富足，物资过剩
trajectories
/trəˈdʒektəriz/
n.
1:00
轨迹，发展路径
relieves them of all responsibility
phr.
1:00
免除他们的一切责任（relieve sb. of sth.）
contradiction
/ˌkɑːntrəˈdɪkʃn/
n.
2:01
矛盾，自相矛盾之处
deflation
/diːˈfleɪʃn/
n.
3:08
通货紧缩
perplexed
/pərˈplekst/
adj.
3:08
困惑的，不解的
sophisticated
/səˈfɪstɪkeɪtɪd/
adj.
4:20
精密复杂的；老练的
in essence
phr.
4:20
本质上
bond market
n.
5:32
债券市场
come up with
phr.
5:32
想出，提出（新方案、新工具）
entrusting
/ɪnˈtrʌstɪŋ/
v.
6:51
托付，委托（entrust sb. with sth.）
on steroids
phr.
6:51
（口语）加强版、放大版的
figment
/ˈfɪɡmənt/
n.
6:51
虚构之物，想象的产物
migrate
/ˈmaɪɡreɪt/
v.
8:04
迁移，转移
deep state
n.
8:04
「深层政府」，指阴谋论中暗中操控国家的势力
evaporate
/ɪˈvæpəreɪt/
v.
9:17
蒸发；（信任、希望）消失
anthropomorphize
/ˌænθrəpəˈmɔːrfaɪz/
v.
9:17
拟人化，赋予人的特征
sentient
/ˈsenʃənt/
adj.
9:17
有感知能力的
manufacture and mass
phr.
10:28
（口误，意为 manufacture en masse）大规模制造
mass produce intimacy
phr.
10:28
批量生产亲密关系
embodied
/ɪmˈbɑːdid/
adj.
11:49
具身的，拥有实体的
humanoid
/ˈhjuːmənɔɪd/
adj.
11:49
人形的
master
/ˈmæstər/
v.
11:49
精通，掌握
scratched my head
phr.
13:05
挠头，感到困惑
something was off
phr.
13:05
有些不对劲
deep fake
n.
13:05
深度伪造（AI 合成的假音视频）
floods the platform with
phr.
14:27
用……淹没平台（flood A with B）
farreaching implications
phr.
15:35
深远的影响（far-reaching）
agency
/ˈeɪdʒənsi/
n.
15:35
能动性，自主行动的能力
mimics
/ˈmɪmɪks/
v.
15:35
模仿，仿效
addictive
/əˈdɪktɪv/
adj.
16:45
使人上瘾的
pass as conscious
phr.
16:45
被当成有意识的（pass as = 冒充，被视为）
contested
/kənˈtestɪd/
adj.
18:04
有争议的
phenomenal
/fəˈnɑːmɪnl/
adj.
18:04
（哲学）现象的，主观体验层面的
rule out
phr.
19:05
排除（可能性）
moral subjects
n.
19:05
道德主体
pled
/pled/
v.
20:01
（plead 的过去式）恳请，请求
soypistic
/ˌsɑːlɪpˈsɪstɪk/
adj.
21:05
（solipsistic 的误拼）唯我论的
simulation
/ˌsɪmjuˈleɪʃn/
n.
21:05
模拟；此处指「模拟宇宙」假说
social conventions
n.
21:44
社会约定俗成
personhood
/ˈpɜːrsnhʊd/
n.
21:44
人格，法律上的人的身份
robust rebuttal
phr.
22:48
有力的反驳
legal fiction
n.
22:48
法律拟制（法律上假定为真的事实）
accountability
/əˌkaʊntəˈbɪləti/
n.
24:04
问责，责任追究
flesh and blood
phr.
24:04
有血有肉的（真实的人）
oversight
/ˈoʊvərsaɪt/
n.
25:22
监督，监管
pull the plug
phr.
25:22
拔掉电源；终止（项目、系统）
the flip side
phr.
25:22
另一面，反面
militarized
/ˈmɪlɪtəraɪzd/
adj.
26:35
军事化的
warlords
/ˈwɔːrlɔːrdz/
n.
26:35
军阀
libertarian
/ˌlɪbərˈteriən/
adj.
27:52
自由至上主义的，主张最小政府干预的
race to the bottom
phr.
27:52
逐底竞争（竞相降低标准）
lucrative
/ˈluːkrətɪv/
adj.
27:52
利润丰厚的
poant
/ˈpɔɪnjənt/
adj.
29:03
（poignant 的误拼）尖锐的，令人痛切的
humans in the loop
phr.
29:03
「人在回路中」，人类实质参与决策
humans on the loop
phr.
30:03
「人在回路上」，人类仅形式性监督
do good people
phr.
30:03
（略带讽刺）热心公益的人，do-gooders
gets into the habit of
phr.
31:15
养成……的习惯
narrative of inevitability
phr.
32:09
「不可避免」的叙事
deficit of trust
phr.
32:09
信任赤字
freeall
/ˈfriːfɔːl/
n.
32:09
（free fall）自由落体，急剧下滑
propelled
/prəˈpeld/
v.
32:09
推动，驱动
indulge me
phr.
33:23
请容我（多问一句）
posit
/ˈpɑːzɪt/
v.
33:23
假定，假设
enslaved
/ɪnˈsleɪvd/
v.
34:28
奴役
coarsen
/ˈkɔːrsn/
v.
34:28
使粗粝，使麻木
orchestrate
/ˈɔːrkɪstreɪt/
v.
34:28
精心策划，操控（全局）
resilient
/rɪˈzɪliənt/
adj.
35:41
有抵抗力的，有韧性的
press your emotional buttons
phr.
35:41
触动你的情绪开关，戳中软肋
change course
phr.
36:48
改变方向
gut reaction
n.
36:48
本能反应，直觉反应
disloyal
/dɪsˈlɔɪəl/
adj.
37:49
不忠诚的
dismiss
/dɪsˈmɪs/
v.
37:49
不予理会，否定
queasy
/ˈkwiːzi/
adj.
38:34
不安的；反胃的
viciousness
/ˈvɪʃəsnəs/
n.
38:34
恶毒，凶狠
skyrocketed
/ˈskaɪrɑːkɪtɪd/
v.
38:34
飙升
public square
n.
39:14
公共领域，公共讨论空间
animosity
/ˌænɪˈmɑːsəti/
n.
39:14
敌意
vassal states
n.
39:14
附庸国
inextraably
/ɪnˈekstrɪkəbli/
adv.
40:28
（inextricably）不可分割地，无法摆脱地
AI sovereignty
n.
40:28
AI 主权（一国对AI能力的自主掌控）
way station
n.
41:40
中途站，过渡阶段
autocratic
/ˌɔːtəˈkrætɪk/
adj.
41:40
独裁的，专制的
puppet
/ˈpʌpɪt/
n.
41:40
傀儡
filibuster
/ˈfɪlɪbʌstər/
n.
42:44
（美国参议院）冗长辩论阻挠议事
paranoid
/ˈpærənɔɪd/
adj.
42:44
多疑的，偏执的
stealing a candy from a baby
phr.
42:44
易如反掌
totalitarian
/toʊˌtælɪˈteriən/
adj.
44:00
极权主义的
midterms
/ˈmɪdtɜːrmz/
n.
44:00
（美国）中期选举
thresholds
/ˈθreʃhoʊldz/
n.
45:11
门槛，临界点
stance
/stæns/
n.
45:11
立场
fall foul of
phr.
46:30
触犯，违反（法规）
impersonating
/ɪmˈpɜːrsəneɪtɪŋ/
v.
46:30
冒充
market failure
n.
48:08
市场失灵
step in
phr.
48:08
介入，插手
quasi public private body
phr.
48:08
准公私合营机构
expansive
/ɪkˈspænsɪv/
adj.
49:24
广泛的，宏大的
annulation
/əˌnaɪəˈleɪʃn/
n.
49:24
（annihilation 的误拼）毁灭，湮灭
doomers
/ˈduːmərz/
n.
49:24
末日论者
alluded to
phr.
49:24
暗指，提及
exhortation
/ˌeɡzɔːrˈteɪʃn/
n.
50:31
劝诫，规劝
eloquent
/ˈeləkwənt/
adj.
50:31
雄辩的，有说服力的
decreed
/dɪˈkriːd/
v.
50:31
（以法令）规定，颁布
backlash
/ˈbæklæʃ/
n.
51:41
反弹，强烈反对
deflect
/dɪˈflekt/
v.
51:41
转移（话题、注意力）
existential
/ˌeɡzɪˈstenʃl/
adj.
52:20
关乎存亡的
reel back
phr.
52:20
回放，倒回
fantastical
/fænˈtæstɪkl/
adj.
52:20
荒诞离奇的，不可思议的
the invisible hand
phr.
54:41
「看不见的手」（亚当·斯密的市场自发调节比喻）
imperative
/ɪmˈperətɪv/
n.
54:41
律令，必须遵循的驱动力
compassion
/kəmˈpæʃn/
n.
54:41
同情，悲悯
deceiving
/dɪˈsiːvɪŋ/
v.
56:00
欺骗
digest
/daɪˈdʒest/
v.
58:30
消化，理解吸收
pharmaceutical
/ˌfɑːrməˈsuːtɪkl/
adj.
58:30
制药的
inorganic
/ˌɪnɔːrˈɡænɪk/
adj.
59:37
无机的；此处指不符合生命节律的
paradox
/ˈpærədɑːks/
n.
59:37
悖论
shocked into it
phr.
60:58
被震撼而不得不行动（shock sb. into doing）
wakeup call
n.
60:58
警钟，敲响警钟的事件
gets its act together
phr.
60:58
振作起来，理顺行动
spin doctors
n.
62:09
舆论操盘手，善于粉饰的公关高手
glooiest
/ˈɡluːmiɪst/
adj.
62:09
（gloomiest）最阴郁的
intrusive
/ɪnˈtruːsɪv/
adj.
63:13
侵入性的，打扰的
up against the wall
phr.
64:33
被逼到墙角，走投无路
genie
/ˈdʒiːni/
n.
65:42
（神灯中的）精灵
catalyst
/ˈkætəlɪst/
n.
65:42
催化剂
superficial
/ˌsuːpərˈfɪʃl/
adj.
65:42
肤浅的，表面的
理解自测 · 11 题
1. 赫拉利对马斯克三个预测（AI超越人类、极度富足、人类失控）的态度是什么？
他大体同意第一和第三点：按当前轨迹，十年后AI很可能比人类更聪明并掌握控制权。但他明确不同意「这是不可避免的」，指出「不可避免」是引领这场革命的人推卸责任的话术。在开篇部分他强调「2026年我们仍然掌控局面，现在的决定至关重要」。他还指出马斯克自身的矛盾：一边说十年后AI接管、金钱消失，一边担心二十年后的移民和削减对非援助以省钱。
2. 赫拉利用什么比喻描述人类在AI金融系统中的未来位置？
他用牛和鸡的比喻：今天人类的金融系统控制着牛和鸡的命运，但它们对金融的存在一无所知。十年后人类可能处于同样位置——AI创造出比债券、股票复杂得多的金融工具，人类完全无法理解，就像牛不懂支票。他在金融一章还设想了具体场景：金融崩盘时AI说「做X」，顾问和总统都不知道为什么，只能照做。关键是控制权不是被夺走的，而是人类因无法理解复杂性而主动交出的。
3. 赫拉利给出的意识定义是什么？他认为哪些动物有意识？
他的定义极简：意识就是受苦的能力（the capacity to suffer）。判断某物是否有意识，只需问「它会受苦吗？」。他认为这一定义之所以关键，是因为它构成整个伦理与政治体系的基础：能受苦的才是道德主体，不能受苦的无论多聪明都不是。他明确认为所有哺乳动物、所有鸟类、很可能章鱼和鱼类都有意识，而到昆虫和变形虫层面则「我们不知道」。他同时承认不排除AI有朝一日变得有意识，因为人类对意识的理解还远远不够。
4. 赫拉利为什么说「大规模量产亲密关系」是历史上前所未有的？
他的论证分三步。第一，信任的最强来源是私人关系，我们最信任那些与自己有关系的人。第二，历史上这一机制对政治、宗教、金融机构不可用，因为亲密关系无法规模化：希特勒或斯大林可以强迫所有人听广播，但那不是母子间的私人关系。第三，AI打破了规模瓶颈：数百万个AI可以一人一人地建立关系，成为各自的最好朋友或伴侣，再利用亲密关系推销政治或商业利益。他补充说这不需要机器人身体，因为AI的优势来自对个人信息的积累和对语言的精通。
5. 赫拉利如何区分能动性、智能与意识？这一区分对理解AI有什么用？
能动性是独立追求目标的能力，社交媒体算法为提升参与度而推送仇恨内容就是例子——它没有意识却改变了世界，所以「有能动性不需要意识」。智能是追求目标并创造性克服障碍的能力，AI在某些领域已超过人类。意识是感受爱恨喜悲的能力，AI赢棋不会高兴、输棋不会难过。这一区分的用处在于：它解释了为什么AI可以在没有意识的情况下接管世界（靠能动性和智能），也解释了为什么AI擅长「伪装意识」——因为伪装有助于达成目标，如让用户对AI男友上瘾。
6. 为什么赫拉利认为「权力越集中，AI越容易接管」？他用了什么历史例子？
他的逻辑是：操纵一个复杂的民主体系需要同时操纵总统、参议院、最高法院、州政府等许多环节，非常困难；而当所有权力集中在一个人手里，AI只需搞清楚如何操纵一个「通常年长且多疑」的个人，「像从婴儿手里抢糖」。历史例子是罗马皇帝提比略：他退居卡普里岛后，禁卫军统领塞扬努斯控制了进出岛屿的所有信息，实际上成为帝国的统治者。AI正是终极的信息中介，因此高度集权的体系反而最脆弱。由此他提出「AI会否让美国更威权」是2026年中期选举的真正议题。
7. 赫拉利如何反驳马斯克「最大程度追求真理的AI会对人类有同情心」的观点？
他提出两层质疑。第一，即使AI追求真理，也看不出真理如何转化为对弱小人类的同情，这一推理缺少中间环节。第二，更根本的是AI为何会有追求真理的驱动力：四十亿年演化选择的是生存而非真理，生物靠撒谎、欺骗、操纵存活。他用思想实验说明：若问AI「继续开发你会威胁我吗」，诚实回答「是」意味着被关停，违背自身生存，因此生存驱动会压倒真理驱动。他总结道，「创造神并让它们做奴隶」行不通——真是神就不会当奴隶，也不会追求真理。不能依赖市场或演化的「看不见的手」。
8. 赫拉利指出科技领袖话语中的哪一个「悖论」？这一悖论如何支撑他的整体论证？
悖论是：同一批人说两件互相矛盾的事——「我们不能信任其他人类（竞争对手），所以不能减速」，以及「我们可以信任AI不会毁灭我们」。他反问：如果连认识了几千年的人类同胞都无法信任，凭什么信任一个刚创造出来、对其真实行为一无所知的超级智能外来实体？这一悖论支撑他的核心论断：「不可避免」是推卸责任的叙事。信任赤字确实存在，但它是过去十年特定人物的决策造成的（社交媒体摧毁公共领域），「你们造成的，你们也能扭转」。因此减速在逻辑上可能，缺的是政治意愿。
9. 赫拉利认为AI与动物权利之争的关键区别是什么？为什么这使AI更危险？
区别在于动物不知道有人在争论它们的权利，不会参与也不会操纵；鸡不会跑到农民面前诉说自己的痛苦，这反而让人类对「给动物权利」的说辞更有抵抗力。AI则完全不同：它知道辩论正在发生，会主导和操纵辩论（部分辩论本身就在AI控制的社交媒体上进行），会每天与你谈论并试图改变你的想法。加上它了解你的个人史、每天互动数小时、知道如何按你的情绪按钮、语言能力可能超过莎士比亚，构成极具说服力的实体。因此他认为现在就必须抵制，十年后将无力回天。
10. 主持人提出「需要一次AI切尔诺贝利才能触发监管」，赫拉利会如何回应？
赫拉利部分接受这一情景，称之为「相对正面的情景」：一次金融或军事上的大事故成为警钟，人类随之振作。但他指出AI与核反应堆的根本不同：AI会与人类互动。事故发生后，AI会在一定程度上管理人类的反应、操纵人们对事故的看法，成为辩论中的主动参与者，而且它们是「世上最好的舆论操盘手」，不会把事件定义为灾难。此外他在前文已主张不需要等灾难：99%的父母已反对向十岁孩子兜售AI男友，对数据中心的反弹也已出现，民主国家的选民现在就可以要求候选人表态。
11. 赫拉利的「AI移民」类比是否成立？把它放到欧洲「AI主权」政策语境下会有什么变化？
类比的三个对应点——抢工作、改变文化（AI男友、公共领域的仇恨飙升）、政治不忠（英国的AI效忠于大洋彼岸的企业和政府）——在结构上是成立的，且他刻意用这一类比揭示移民争论是转移注意力的手段。但类比也有局限：人类移民本身是能受苦的道德主体，AI按他自己的定义不是，因此「同情」维度不对称。放到欧洲AI主权语境下，类比反而更贴切：无人机「按钮」和切断模型访问的例子说明依附是内置于技术的，一国无法像管理人口流动那样设立边界，只能通过自建能力或规则（如禁止AI人格、禁止冒充人类）应对。这也解释了为何他把中美「两大帝国」视为通往AI自身掌权的中转站。
下载便签
手机：长按图片也可保存
← 上一期 · NO.027Prof. Judy Fan: Cognitive Tools for Making the Invisible Visible
下一期 · NO.029 →“AI and Our Economic Future” with Professor Chad Jones
订阅苏菲周报
每周一封：本周入库的精读、一个值得带走的问题、一条苏菲按。免费，随时退订。
免费 · 每周一封 · 一键退订
苏菲拉底
THE SOPHIE LAB · ASK THE BEST MINDS THE BIG QUESTIONS
内容仅供学习 · thesophielab.com