视频库 / NO.011
--:--
点击播放，这里会跟随视频显示当前句的中英字幕。
AI and human evolution | Yuval Noah Harari
节目发布 2025-06-21 · Yuval Noah Harari
本期追问 · 点击跳到视频对应位置
1:33 当AI成为能独立决策的能动者，人类还剩下什么独特性？2:43 为什么无法通过写入正确目标来确保AI与人类对齐？8:07 我们自己都在说谎和欺骗，凭什么教出善良的AI？0:00 人类靠智力统治地球的时代结束后，秩序将由谁定义？
归入 Ⅳ·05 集体行动的恶，责任归谁？ →EDITED TRANSCRIPT · 依据现场录音编译整理，可划线生成便签
编者按：本文整理自历史学家尤瓦尔·赫拉利（Yuval Noah Harari）在一场面向企业领袖的商业会议上接受的现场访谈。赫拉利是希伯来大学教授、牛津大学中世纪军事史博士，著有《人类简史》《未来简史》《今日简史》，以及 2024 年新作《智人之上》（Nexus）。对谈围绕人工智能作为「新物种」的崛起、对齐难题、技术影响的时滞、无用阶级、信任危机与「数字移民」等话题展开，现场听众亦参与提问。本文依据现场录音编译整理，仅删去口语枝节，未作内容删减。
从中世纪史到 AI
主持人：您研究的是中东的军事史。您当年想过有一天会成为 AI 领域，以及「人类是否注定完蛋」这类问题上最权威的专家吗？
赫拉利：我不是最权威的专家。不过确实，我没想过会在这样的听众面前谈 AI。正如您所说，我最初的专业是中世纪军事史。但从很多方面看，中世纪正在回来。
主持人：好，这一点我们稍后再谈，您在回答第一个问题时也可以随时展开。您在写作中反复把人工智能称为「异类智能」（alien intelligence），说它是一个新物种的崛起，可能取代智人（Homo sapiens）。智人正是您上一本书的书名。那么此刻，做一个人意味着什么？
赫拉利：意味着要意识到，我们在这个星球上头一次遇到了真正的竞争对手。几万年来，我们一直是遥遥领先的最聪明物种，正是凭着这一点，我们从非洲一角的一种无足轻重的猿类，变成了整个星球和整个生态系统的绝对统治者。而现在，我们正在创造一种东西，它在不远的将来就可能与我们竞争。
AI 是智能体，不是工具
赫拉利：关于 AI，最要紧的一点是：它不像人类以往的任何发明，它不是工具，而是一个智能体（agent）。所谓智能体，是说它能独立于我们做决定，能发明新想法，能自己学习、自己改变。人类以往的所有发明，无论是印刷机还是原子弹，都是赋予我们力量的工具，它们离不开我们。印刷机不能自己写书，也不能决定印哪本书；原子弹不能发明下一代更厉害的炸弹，也不能决定攻击什么目标。而一件 AI 武器可以自己决定打哪个目标，并且自己设计下一代武器。
主持人：所以您才主张，AI 可能比电报、印刷术，甚至比文字的发明都更加影响深远。听您现在的说法，似乎已经不只是「可能」了。不过在《智人之上》里，您把 AI 比作一个婴儿，因为它向我们学习。由此您提出，我们，尤其是在座这些手握大权的领导者，负有很大的责任，因为我们怎么做，AI 就会变成什么样。你不能一边撒谎、欺骗，一边指望得到一个善良的 AI。请解释一下这个观点。
对齐难题：AI 模仿行为而非指令
赫拉利：全世界现在都在讨论 AI 对齐（alignment）的问题。我们正在造出这些越来越超级智能、越来越强大的新智能体，怎样才能确保它们始终与人类的目标一致，始终为人类的利益服务，做对我们有好处的事？于是大量研究和努力都押在一个想法上：只要我们以某种方式设计这些 AI，教给它们某些原则，把某些目标写进代码，我们就安全了。
这条路有两个根本问题。第一，AI 的定义本身就是它能自己学习、自己改变。如果一台机器能自动运转，但只会执行预先编好的指令，那它就是一台咖啡机。它能自动做一件事，比如煮咖啡，但什么都不能自己决定，什么都不能自己发明，这不是 AI。所以当你设计一个 AI 的时候，从定义上讲，这个东西就会做出各种你无法预料的事。如果它做的每件事你都能预料到，那它从定义上就不是 AI。这是第一个问题。
第二个问题更大。就像您说的，可以把 AI 想成一个婴儿、一个孩子。你可以尽最大努力去教育一个孩子，他或她依然会让你吃惊，有好的方面，也有坏的方面。不管你在教育上投入多少，孩子终究是独立的行动者，早晚会做出令你意外，甚至令你惊骇的事。
而且，凡是对教育略有了解的人都知道，在孩子的教育中，你说了什么远不如你做了什么重要。你告诉孩子不许撒谎，可孩子看见你对别人撒谎，他们模仿的是你的行为，不是你的教导。现在我们有这么多大项目，要教 AI 不撒谎，可与此同时 AI 被放进了真实世界，它们看着人类怎么行事，看见这个星球上一些最有权势的人，包括它们的「父母」，在撒谎。AI 会模仿这种行为。有人以为，我可以一边经营一家巨大的 AI 公司、一边撒谎，同时又教我的 AI 不要撒谎。这行不通。它会照着你的样子做。
信息不等于真相，权力不等于智慧
主持人：您的一个核心论点是，我们整个社会太过关注权力。您还有一个有人反对、也有人觉得违反直觉的观点：信息越多对民主未必是好事，因为并非所有信息都是真的。
赫拉利：绝大多数信息都不是真相。信息和真相之间存在着巨大的混淆。是的，有些信息是真的，你获取信息也是为了认识真相。但总的来说，在宇宙全部的信息当中，真相只占极小极小的一部分。
主持人：这就说到您对权力的关注。这个区分很重要。您认为，正因为如此，我们作为人类，总体上没能回答生活中那些最大的问题。我们可以更高产，可以更富有，可以有更强大的军队，但正如您所写，我们中很多人答不上来：我们是谁？我们该追求什么？什么是好的生活？归根结底，我们在积累权力，而不是积累智慧。这一点怎么改变？
赫拉利：这正是人类历史的大问题。几千年来，我们极其擅长获取更多的权力。我再说一遍，我们正是这样从东非一种无足轻重的猿类变成了世界的统治者。我们能飞上月球，能分裂原子，但我们似乎并没有比石器时代的人幸福多少。我们不知道怎样把权力转化为幸福。你看看这个星球上最有权势的那些人，他们似乎并不是最幸福的人。
主持人：您想问问在座的各位吗？这里有不少这样的人。
赫拉利：我不是特指在座的诸位。我想澄清一点：我不认为权力和幸福是矛盾的，不是说你权力越大就必然越痛苦。两者可以并存，只是并不必然并存。作为一个物种，我们在把权力转化为幸福这件事上并不出色，把权力转化为知识和智慧也一样。我们常常把智能和知识、把智能和真相混为一谈。
最智能也最妄想的物种
赫拉利：我们是这个星球上最智能的物种，同时也是最妄想的物种。
主持人：您还说过，也是最具破坏性、最自我毁灭的物种。
赫拉利：是的。人类相信的那些东西，地球上没有任何别的动物会相信这种荒唐事。就拿我自己的国家来说，你找不到任何一种动物会相信：去杀死自己的同类，死后就能进天堂得到奖赏。没有一只黑猩猩会信这个，没有一匹马会信这个，没有一头狼会信这个。可是几百万人相信。而且他们信得如此之深，真的会去杀人，指望着因此在天堂里得到某种回报。
1835 年的铁路：技术影响的时滞
主持人：今天早上我们做了一次很有意思的现场调查，问在座的领导者，AI 迄今为止对他们所领导的企业影响有多大。结果只有一小部分人说「显著」，大多数人回答「一般」或者「没有影响」。请您对他们说说，假设我们此刻坐在 36 个月之后，有没有哪种情形，AI 对他们的业务不会产生显著影响？
赫拉利：这取决于他们做的是什么行业。但在大多数领域，问题仍然在于时间尺度。我和许多引领 AI 革命的人谈过，他们很多人说，我们已经身处 AI 革命之中了。可我们其实还没有看到任何真正重大的变化。这就是历史学家看时间的方式和 CEO、企业家看时间的方式之间的差别。对企业家来说，两年是很长的时间；对历史学家来说，两年什么都不算。
不妨想象一下，我们现在坐在伦敦，时间是 1835 年。第一条铁路五年前刚在曼彻斯特和利物浦之间开通。我们在 1835 年的伦敦开这样一场会议，有人站起来说：什么铁路改变世界、什么工业革命，全是胡说八道，铁路我们早就有了，都五年了。你看，确实有些变化，人们开始坐火车出行，运煤也更方便了，但没发生什么大事。为什么？因为从一项技术被发明出来，到你看见它真正的社会和政治后果，中间有一段时滞。我们今天知道，工业革命和火车彻底改变了一切：地缘政治、人们打仗的方式、经济、家庭结构。只不过这花了远远不止五年。AI 很可能也是如此。
金融与宗教：AI 最先改写的领域
赫拉利：这将波及所有领域，从显而易见的到不那么显而易见的。我认为最先出现重大变化的领域之一是金融。AI 会非常快地接管金融体系。
主持人：在座有银行家，请多讲讲。
赫拉利：因为金融是 AI 理想的试验场，它纯粹是信息层面的。你要让 AI 自动驾驶汽车上路，这件事被承诺了一次又一次，至今还没实现。
主持人：Waymo 已经在跑了。
赫拉利：是的，但你在伦敦转一圈，还看不到成千上万辆自动驾驶汽车。
主持人：我刚通过第一次驾驶课的考核。
赫拉利：恭喜。您还是得学会开车。问题在于，开车要应付混乱的物理世界，行人、路上的坑洞，等等。而金融只有信息进、信息出，AI 掌握起来容易得多。那么，一旦 AI 开始发明新的金融工具，其数学复杂程度是人脑根本无法处理的，金融会变成什么样？
我们还会看到 AI 改变宗教这样的领域。
主持人：怎么改变？
赫拉利：至少在以文本为根基的宗教里，比如犹太教、伊斯兰教、基督教，最高权威归于经文，而不归于任何一个人。但直到今天，人类依然是这些宗教里实际上的主要权威，因为经文不会说话。《圣经》不能自己解释自己，也不能回答你的问题，所以你需要一个人做中介。那么，当出现一个能替经文说话的 AI 时，会怎样？没有一位犹太拉比能通晓犹太教的全部典籍，典籍实在太多了。而历史上第一次，这个星球上出现了一样东西，它能记住两千年来每一位拉比每一部著作里的每一个字，还能与你对答，阐述并捍卫它的观点。我有些朋友正在开发宗教 AI，目的是辅助乃至取代人类宗教领袖，尤其是在文本宗教里。如果一门宗教不以文本为根基，不把权威赋予经文，那是另一回事。
主持人：我遇到难关的时候，会去教堂找我的牧师谈。我绝不会那样去跟 ChatGPT 谈。
赫拉利：这是个人的选择。
主持人：您认为有些人会这么做？
赫拉利：我知道已经有几百万人在这么做。我认识一些人，现在就找 AI 做心理咨询。AI 是他们最好的朋友。比如青少年，学校里出了什么事，他们就去找 AI 商量，把经过告诉它，向它请教人际关系的问题。
无用阶级与反技术决定论
主持人：我想回到您刚才谈到的工作被取代的问题，这很重要。您写过也谈过很多，您担心会出现一个「无用阶级」（useless class）。五六年前，我在俄克拉荷马州谷歌的一个数据中心采访过谷歌 CEO 桑达尔·皮查伊，如今为了驱动 AI，这样的数据中心还需要多得多。我记得当时问他 AI 的问题，那时人们已经谈论得很多了。他大意是说，我这里是转述，如果 AI 被证明对太多美国人的工作「极具破坏性」（用他的原话），他们愿意考虑放慢脚步。我说的不只是谷歌，而是所有这些公司。如果我们正朝着您所说的无用阶级走去，而且有意思的是，这次被取代的很多是白领工作，所以它得到的关注也许比当年蓝领工作被取代时更多，那本身就是另一个大问题。我们该怎么做，才能确保我们这个社会不仅活下来，还能兴旺？
赫拉利：我要强调，AI 既有巨大的危险潜力，也有巨大的正面潜力。我不相信历史决定论，也不相信技术决定论。同一种技术可以用来建造完全不同的社会。我们在二十世纪看到过，一模一样的技术，既用来建立了共产主义极权政权，也用来建立了自由民主国家。
主持人：没错。
赫拉利：AI 也一样。怎么用它，我们有很多选择。前提是我们要记住，这是我们头一次在和智能体打交道，而不是工具，这让事情复杂得多。但大部分主动权仍然在我们手里：怎样开发这项技术，以及更重要的，怎样部署它，这里面我们有很多选择可做。
主持人：我们能决定怎么走下去，但无法决定它来不来，它已经来了。我们有的是决定如何使用它、如何度过这一关的力量。
赫拉利：完全正确。
军备竞赛与信任危机的优先级
赫拉利：眼下最大的问题是，引领 AI 革命的那些公司和国家已经被锁进了一场军备竞赛。即便他们知道放慢一点更好，知道应该在安全上投入更多，知道对这样那样的潜在进展应该谨慎，他们仍然时刻担心：如果我们放慢了而对手没有放慢，对手就会统治世界。
主持人：我们来听听现场的提问。Emotion Network 的马蒂亚·摩尔，请。
提问者（马蒂亚·摩尔）：首先要祝贺您，您的书真的让人大开眼界，您通过书和今天的谈话给了我们很多答案。我们公司办了一个叫「科技与情感」（Tech Emotion）的会议，因为我们坚信把技术和创新与情感、创意和文化结合起来的力量，而您所说的正是这两者的交融。您谈到 AI 对宗教的影响，对人的心灵的影响，我觉得很有意思，这也关系到主持人提到的人生意义的问题：AI 和所有这些创新会摧毁或者大大改变人的生活目标。那么在这个变化如此艰难的世界里，您认为怎样才能走向这样一个未来：人们更满足、更幸福，在所做的事情里找到更多意义？我知道这是个大问题，但我认为这是我们生命中最重要的事，比商业重要，比任何事都重要。
赫拉利：这是个非常大的题目，我只有时间谈一点，那就是最重要的一点：我们必须自己解决人类自身的问题，而不是指望 AI 替我们解决。而关键的问题就是信任与合作。此时此刻，信任正在全世界崩塌，国与国之间如此，社会内部也如此。有人寄希望于：好吧，人类之间已经无法互相信任了，国际体系、贸易体系，一切都在瓦解，但 AI 会拯救我们。不，它不会。在一个人类之间残酷竞争、互不信任的世界里，这个世界造出来的 AI，必然是残酷的、争斗的、不可信任的 AI。人类一边陷在这种残酷竞争里，一边造出善良可信的 AI，这是不可能的，绝不会发生。
所以说到底，这是一个优先次序的问题。我们眼前有一个巨大的人类信任问题，还有一个怎样开发 AI 的问题。太多人认为，先解决怎样开发 AI，然后 AI 会替我们解决信任问题。这行不通。优先次序必须倒过来：先解决人类之间的信任问题，然后我们才能一起创造善良的 AI。当然，眼下世界上发生的恰恰不是这样。
没有「那个 AI」：百万智能体的社会实验
主持人：还有一位提问者，请。
提问者：非常感谢。我有个简短的问题。人类历史上一直存在着组织原则，您在书里写了很多，其中有些至少在地理范围内是一元的，比如宗教和教会。可当我们谈论 AI 时，谈的并不是一个一元的东西。世上不存在「那个 AI」，实际上将会有无数个 AI 各自登场。在这个背景下，当您说 AI 在某种意义上会取代宗教时，我真正想问的是：当不存在单一的组织原则，不存在一个带着某种意图（无论善意与否）被开发出来的「那个 AI」，而是有一大堆相互竞争、快速演化的 AI，那个世界会是什么样子？
赫拉利：这一点非常非常重要。AI 不会是一个巨大的 AI。我们谈的是可能多达几百万、几十亿的新 AI 智能体，性格各异，由不同的公司、不同的国家制造，遍布军队、金融体系、宗教体系。你会有许许多多的宗教 AI 彼此竞争：哪个 AI 会成为犹太教哪个流派的权威「AI 拉比」？伊斯兰教如此，印度教、佛教也如此。金融体系里同样会有竞争。而结果会怎样，我们毫无头绪。
对于人类社会，我们有几千年的经验：当几百万人为经济权力、为宗教权威而竞争时会发生什么，这非常复杂，但至少我们对这类事情如何演变有些经验。而对于 AI 社会，当几百万个 AI 彼此竞争时会发生什么，我们的经验是零。我们根本不知道。
而且这不是能在 AI 实验室里模拟的东西。比方说 OpenAI 想检验它最新模型的安全性或者可能造成的后果，它没法在实验室里模拟历史。它可以检查系统里的各种故障，但它无法预先知道，当这个 AI 的几百万个副本被放进外面的大世界，以无法预料的方式演化，彼此互动，又与几十亿人互动时，会发生什么。所以从某种意义上说，这是人类历史上最大的社会实验。我们每个人都身在其中，而没有任何人知道它会如何发展。
数字移民：以光速抵达的浪潮
赫拉利：有一个类比值得记在心里。美国、欧洲以及其他地方现在都有移民危机，很多人为移民忧心。人们为什么担心移民？想到的主要是三件事：他们会抢走工作；他们带着不同的文化观念，会改变我们的文化；他们可能有政治图谋，可能试图在政治上夺取这个国家。人们反复回到的就是这三点。
那么，你完全可以把 AI 革命看成一场移民浪潮：几百万、几十亿的 AI 移民涌入，它们会夺走人们的工作，它们有着截然不同的文化观念，它们还可能试图获取某种政治权力。而这些 AI 移民，这些数字移民，不需要签证，不用在深夜坐着摇摇晃晃的小船渡海。它们以光速抵达。
我看欧洲的那些极右翼政党，他们对人类移民谈得那么多，有时有道理，有时没道理，可他们对正在涌入欧洲的数字移民浪潮几乎只字不提。我认为，如果他们真的在乎国家的主权，真的在乎国家的经济和文化前途，他们应该远比担心人类移民更担心数字移民。
主持人：尤瓦尔，这场对谈非常精彩。非常感谢您。
赫拉利：谢谢。
排版 + 横图 + 来源，粘贴即成稿
章节 · 点击跳转视频
0:00
从中世纪史到 AI：新物种的竞争
1:33
AI 是智能体，不是工具
2:43
对齐难题：AI 模仿行为而非指令
5:44
信息不等于真相，权力不等于智慧
8:07
最智能也最妄想的物种
9:07
1835 年的铁路：技术影响的时滞
11:31
金融与宗教：AI 最先改写的领域
14:34
无用阶级与反技术决定论
16:42
军备竞赛与信任危机的优先级
20:03
没有「那个 AI」：百万智能体的社会实验
23:01
数字移民：以光速抵达的浪潮
本期小问 · 档案清单
1:33
当AI成为能独立决策的能动者，人类还剩下什么独特性？
2:43
为什么无法通过写入正确目标来确保AI与人类对齐？
8:07
我们自己都在说谎和欺骗，凭什么教出善良的AI？
0:00
人类靠智力统治地球的时代结束后，秩序将由谁定义？
本期讲者
尤瓦尔·赫拉利以色列历史学家，希伯来大学教授，牛津大学中世纪军事史博士。著有《人类简史》《未来简史》《今日简史》及 2024 年新作《Nexus》，聚焦信息网络与 AI 对人类社会的影响。
主持人商业会议现场访谈主持人，面向企业领袖听众提问，并引用此前采访 Google CEO Sundar Pichai 的经历。
01从中世纪史到 AI：新物种的竞争
0:00
So you are a milit you studied the military history of the Middle East. Did you ever expect to now be the foremost expert on all things AI and whether we are doomed as humanity? I'm not the foremost expert, but I no I didn't expect to be talking about AI with such such an audience. Uh as you said I was originally a specialist in medieval military history and it's but the Middle Ages are coming back in many ways. Okay. Okay. We're going to get into that and then let me feel free to get into that as I ask you this first question. You call uh artificial intelligence or alien intelligence as you refer to it through throughout your writing the rise of a new species that could replace replace homo sapiens. Yeah. Sapiens your prior book. What does it mean to be human right now?
所以你是一位军事——你研究的是中东军事史。你当初有没有想过，自己如今会成为人工智能以及“人类是否在劫难逃”这类问题上最权威的专家？我不是最权威的专家，但确实，我没想过会面对这样的听众谈论人工智能。呃，就像你说的，我最初是研究中世纪军事史的专家，不过中世纪正在以很多方式卷土重来。好，好。我们待会儿会聊到这个，我问第一个问题的时候你可以随时展开。你在书中把人工智能，或者按你一贯的说法叫“外星智能”，称为一个可能取代智人的新物种的崛起。是的。《人类简史》是你之前那本书。那么此时此刻，身而为人意味着什么？
0:50
um to be aware that for the first time we have real competition on the planet that we have been the most intelligent specy by far for tens of thousands of years and this is how we got from being an insignificant ape in a corner of Africa to being the absolute rulers of the planet and of the ecosystem. And now we are creating something that could compete with us in the very near future. Mhm. The most important thing to know about AI is that it is not a tool like all previous human inventions. It is an agent.
嗯，就是要意识到，人类第一次在这个星球上遇到了真正的竞争对手。几万年来我们一直是遥遥领先的最聪明的物种，正是靠这一点，我们才从非洲一隅无足轻重的猿类，变成了这个星球和整个生态系统的绝对统治者。而现在，我们正在创造某种在不远的将来可能与我们竞争的东西。嗯。关于人工智能，最重要的一点是：它不像人类以往所有的发明那样只是一种工具，它是一个能动的主体（agent）。
02AI 是智能体，不是工具
1:33
An agent in the sense that it can make decisions independently of us. It can invent new ideas. It can learn and change by itself. All previous human inventions, you know, whether a printing press or the atom bomb, they are tools that empower us. They needed us. They need us because a printing press cannot write books by itself. And it cannot decide which books to print. An atom bomb cannot invent the next more powerful bomb. And an atom bomb cannot decide what to attack. An AI weapon can decide by itself which target to attack and design the next generation of weapons by itself. So this is why you argue that AI is potentially or it sounds like you're saying is by the way now but you've written in the past potentially more momentous in the invention of the telegraph, the printing press, even writing. But the way you talk about it in Nexus is that it is a baby. Yeah, because it learns from us.
所谓主体，意思是它能独立于我们做出决定。它能提出新想法，能自己学习和改变。人类以往所有的发明，无论是印刷机还是原子弹，都是增强我们能力的工具，它们需要我们。它们离不开我们，因为印刷机不能自己写书，也不能决定印哪些书。原子弹不能发明下一代威力更大的炸弹，原子弹也不能决定攻击什么目标。而一件人工智能武器可以自己决定攻击哪个目标，并自己设计下一代武器。所以这就是为什么你认为人工智能有可能——听你的语气现在是说它已经是了，但你过去写的是“有可能”——比电报、印刷机甚至文字的发明更具划时代意义。但你在《智人之上》里的说法是，它现在还是个婴儿。是的，因为它在向我们学习。
03对齐难题：AI 模仿行为而非指令
2:43
And therefore your argument is that we especially the powerful leaders in this room have a lot of responsibility because how we act is how AI will be. You cannot expect to lie and cheat and have benevolent AI. Yeah, explain that. Yeah, there is a big discussion around the world about AI alignment. Okay, we are creating these increasingly super intelligent, very powerful new agents. How do we make sure that these agents remain aligned with human goals and uh uh with the benefit of humanity that they do what is good for us? And so there is a lot of research and a lot of efforts focused on the idea that if we can design these AIs in a certain way, if we can teach them certain principles, if we can code into them certain goals, then we will be safe. But there are two main problems with this approach. First of all, again the very definition of AI is that it can learn and change by itself. If you have a machine that can act automatically but only following pre-programmed orders, then you know
因此你的论点是，我们，尤其是在座的这些有权势的领导者，肩负着重大的责任，因为我们怎么做，人工智能就会变成什么样。你不可能一边撒谎欺骗，一边指望得到一个仁慈的人工智能。是的，解释一下。是的，全世界围绕“AI 对齐”有一场大讨论。好，我们正在创造这些越来越超级智能、非常强大的新主体。我们如何确保这些主体始终与人类的目标保持一致，与人类的福祉保持一致，让它们做对我们有利的事？于是有大量研究和努力都围绕着这样一个想法：如果我们能以某种方式设计这些 AI，如果我们能教给它们某些原则，如果我们能把某些目标编码进去，我们就安全了。但这种思路有两个主要问题。首先，还是那句话，AI 的定义本身就是它能自己学习、自己改变。如果一台机器能自动行动，但只会遵循预先设定好的指令，那它就……
3:58
it's a coffee machine. It can do something automatically, produce coffee, but it cannot decide or invent anything by itself. It's not an AI. So when you design an AI, by definition, this thing is going to do all kinds of things which you cannot anticipate. If you can anticipate everything it will do, it is by definition not an AI. So that's one problem. The other even bigger problem that we can think about AI like you said like a baby or a child and you can educate a child to the best of your ability and he or she will still surprise you for better or worse. No matter how much you invest in their education, they are independent agents.
……就是一台咖啡机。它能自动做点事，比如做出咖啡，但它不能自己决定或发明任何东西。它不是 AI。所以当你设计一个 AI 时，按定义，这个东西一定会做出各种你无法预料的事情。如果你能预料到它会做的一切，那它按定义就不是 AI。这是一个问题。另一个更大的问题是，我们可以像你说的那样，把 AI 想象成一个婴儿或孩子。你可以竭尽全力去教育一个孩子，但他或她仍然会让你意外，或好或坏。无论你在他们的教育上投入多少，他们都是独立的主体。
4:47
they might eventually do something which will surprise you and even horrify you. Uh the other thing is everybody who has any knowledge of education knows that in the education of children it matters far less what you tell them and what you do. It matters far more what you do. Yeah. If you tell your kids don't lie and they your kids watch you lying to other people they will copy your behavior not your instructions. Now if we have now this big projects to educate the AIs, not to lie, but the AIs are given access to the world and they watch how humans behave and they see some of the most powerful humans on the planet including their parents lying.
他们最终可能会做出让你惊讶、甚至让你毛骨悚然的事。呃，另一件事是，任何对教育有点了解的人都知道，在教育孩子这件事上，你说什么远没有你做什么重要。你做什么重要得多。是的。如果你告诉孩子不要撒谎，而孩子却看到你对别人撒谎，他们会模仿你的行为，而不是听你的教导。现在我们搞这些大项目，要教育 AI 不要撒谎，可这些 AI 被赋予了接触世界的权限，它们观察人类的行为，看到这个星球上一些最有权势的人，包括它们的“父母”，都在撒谎。
04信息不等于真相，权力不等于智慧
5:44
The AI will copy the behavior. people who think that I can run say this huge AI corporation and while I'm lying I will teach my AIS not to lie it will not work it will copy your behavior your one of your central arguments is that we as society at large have focused way too much on power and you also make the argument that some disagree with or call counterintuitive that more information is great for democracies Because you say all information is not true information etc. Most information is not the truth.
AI 会模仿这种行为。那些以为“我可以经营一家庞大的 AI 公司，我自己一边撒谎，一边教我的 AI 不要撒谎”的人，这行不通，它会模仿你的行为。你的核心论点之一是，我们整个社会太过聚焦于权力；你还提出了一个有些人不认同、或者说觉得反直觉的观点，就是关于“更多信息对民主是好事”这件事。因为你说，并非所有信息都是真实的信息，等等。大多数信息都不是真相。
6:21
Right? There's a huge confusion between information and truth. Yes, sign information is true and you get information to get to know the truth. But generally the truth is a very very small subset of most of the of all the of the information in the universe. So if we are focusing too much on power and that's a very important distinction. You say this is why we have failed as people largely to answer actually the biggest questions of life. If we can be more productive, we can be richer, we can have stronger militaries, but many of us can't answer the question as you write, who are we?
对吧？信息和真相之间存在巨大的混淆。是的，有些信息是真的，你获取信息也是为了了解真相。但总体而言，真相只是宇宙中所有信息里非常非常小的一个子集。所以，如果我们过于关注权力——这是一个非常重要的区分。你说，这就是为什么我们人类在很大程度上未能回答生命中最重大的那些问题。我们可以更有生产力，可以更富有，可以拥有更强大的军队，但我们中很多人回答不了你书里写的那个问题：我们是谁？
6:59
What should we aspire to? And what is a good life? Essentially, we are accumulating power, not wisdom. Yeah. How can we change it? Um, and that's the big problem of human history. You know, for thousands of years, we are extremely good in acquiring more power. Again, this is how we transform ourselves from an insignificant ape in East Africa into the ruler of the world. We can fly to the moon. We can split the atom. But we don't seem to be significantly happier than we were in the stone age. Uh, we don't know how to translate power into happiness. Again, you look at the most powerful people on the planet, they don't seem to be the most the happiest people on the planet. So that there is a very Do you want to ask them? There are many of them. I'm not necessarily referring to the people in this room. I don't I I I want to clarify. I don't think there is a contradiction, okay, between power and happiness. I don't think that as you acquire more power, you necessarily become miserable. No, but there is no there it can go
我们应该追求什么？什么才是美好的生活？本质上，我们积累的是权力，而不是智慧。是的。我们怎样才能改变这一点？嗯，这正是人类历史上的大问题。你知道，几千年来，我们极其擅长获取更多的权力。还是那句话，正是靠这一点，我们从东非一种无足轻重的猿类变成了世界的统治者。我们能飞上月球，能分裂原子。但我们似乎并不比石器时代明显更幸福。呃，我们不知道如何把权力转化为幸福。同样，你看看这个星球上最有权势的人，他们似乎并不是这个星球上最幸福的人。所以这是一个非常……你想问问他们吗？这里就有不少。我并不一定是指在座的各位。我想澄清一下，我不认为权力和幸福之间存在矛盾。我不认为你获得的权力越多，就必然越痛苦。不，但并没有说……两者是可以并存的。
05最智能也最妄想的物种
8:07
together. But it doesn't necessarily go together. And as a specy, we have not been particularly good in translating power into happiness or even into knowledge and wisdom. Again, we tend to confuse intelligence with with knowledge and with truth. But um we are the most intelligent species on the planet. We are also the most delusional species. destructive you argue and and self-destructive. Yeah. The kind of things that people believe no other animal on the planet will believe such nonsense except if I look at my own country like you would not find any animal that believes that if you go and kill other members of your species you will be rewarded after death by entering paradise. No chimpanzeee will believe that. No horse would believe that. No wolf will believe that.
……并存的。但并不必然并存。作为一个物种，我们并不特别擅长把权力转化为幸福，甚至转化为知识和智慧。同样，我们容易把智能与知识、与真相混为一谈。但是，嗯，我们是这个星球上最聪明的物种，同时也是最容易自欺的物种。你说是最具破坏性的，而且是自我毁灭的。是的。人类相信的那些东西，这个星球上没有任何其他动物会相信这么荒唐的说法——不过如果我看看我自己的国家……你找不到任何一种动物会相信：去杀死自己同类的成员，死后就会得到奖赏、进入天堂。没有黑猩猩会相信这个，没有马会相信，没有狼会相信。
061835 年的铁路：技术影响的时滞
9:07
Millions of people believe that. And they believe it so strongly that they actually go and kill people in the expectation that as a result they will be rewarded in paradise with whatever. You um we we took a a really interesting poll this morning asking the leaders in this room how consequential they think AI uh has been so far in their business. And actually only a the businesses they lead and only a small portion said significantly. Most it was moderately or not at all. Yeah. Can you speak to them uh as if we were sitting here 36 months from now? Is there any world in which AI doesn't have a significant impact on their business? Um I it depends on their business. But in most fields again the question is one of of time scale. You know, I've been talking to a lot of the people who lead the AI revolution and many of them say, you know, we are already in the middle of the AI revolution. We still haven't seen anything really major. And that's just the difference between how historians view time and how CEOs and entrepreneurs
但有几百万人相信这个。而且他们信得如此坚定，以至于真的跑去杀人，指望着因此在天堂里得到某种奖赏。你——我们今天早上做了一个很有意思的调查，问在座的领导者们，他们认为人工智能到目前为止对他们所领导的企业影响有多大。实际上只有一小部分人选了“影响显著”，大多数人选的是“中等”或者“完全没有”。是的。你能不能对他们说说，就当我们是坐在 36 个月之后的今天？有没有可能存在一个世界，AI 对他们的业务没有重大影响？嗯，这取决于他们做的是什么业务。但在大多数领域，问题还是在于时间尺度。你知道，我跟很多引领 AI 革命的人聊过，他们中很多人说，我们已经身处 AI 革命之中，可我们其实还没看到任何真正重大的变化。这只是历史学家看待时间的方式，和 CEO、企业家……
10:14
view time. For an entrepreneur, two years is a long time. For historians, it's nothing. It's like imagine that we are now sitting in London and the year is 1835. The first railway has been opened between Manchester and Liverpool 5 years ago and we have now this conference in London in 1835 and people saying you know all this talk about railways changing the world the industrial revolution this is nonsense. We have had railways for ages, five years. And look, okay, so there is a some changes that the that they now have people traveling the with the trains or they they uh uh move around cold more easily. But nothing major happened because there is a time lag between the invention of a technology and the moment when you see the actual social and political consequences. Yeah. So we now know that the industrial revolution and trains they completely transformed everything geopolitics the way people fight wars the economy family structure but it just took more than five years the same is likely to happen with AI
……看待时间的方式之间的差别。对企业家来说，两年是很长的时间；对历史学家来说，那什么都不是。就好比想象我们现在坐在伦敦，时间是 1835 年。第一条铁路五年前在曼彻斯特和利物浦之间开通，我们 1835 年在伦敦开这个会，人们说，你看，所有关于铁路改变世界、工业革命之类的说法都是胡扯。我们有铁路已经很久了——五年。你看，好吧，是有一些变化，现在人们坐火车出行，运煤也更方便了。但没发生什么大事。因为一项技术的发明，和你看到它真正的社会与政治后果之间，存在时间差。是的。所以我们现在知道，工业革命和火车彻底改变了一切：地缘政治、人们打仗的方式、经济、家庭结构，只不过它花的时间超过了五年。AI 很可能也会是一样。
07金融与宗教：AI 最先改写的领域
11:31
um in all fields from the obvious to the less obvious like I think that one of the first fields we'll see major changes is finance. Okay. Uh that AI is going very quickly to take over the financial system. We have some bankers in the room. So tell us more. Uh because finance is the ideal playing ground for AI. It's purely anformational real. If you want to have an AI self-driving vehicle on the road, which have been promised again and again and we are still not there. The problem Whimo. Yeah. But you go around London, you don't see these tens of thousands of of self-driving vehicles yet. I just passed my first driving lesson. Uh, congratulations. Okay. Um, and you still need to learn how to drive. Okay. So, um, the problem is that for driving, you need to deal with the messy physical world of pedestrians and and holes in the roads and whatever. But in finance, it's only information in, information out. It's much easier for an AI to master that. And what happens to finance once AIs uh for instance start inventing
嗯，在所有领域都是如此，从最显而易见的到不那么显而易见的。比如我认为最先会出现重大变化的领域之一是金融。好。呃，AI 会非常快地接管金融系统。在座有一些银行家，那你多讲讲。呃，因为金融是 AI 的理想战场，它是纯粹的信息领域。如果你想让一辆 AI 自动驾驶汽车上路——这件事被承诺了一遍又一遍，我们至今还没做到。问题是……Waymo 呢。是的。但你在伦敦转一圈，还看不到成千上万辆自动驾驶汽车。我刚上完我的第一节驾驶课。呃，恭喜。好。嗯，你还得学怎么开车。好。所以，嗯，问题在于开车你得应付混乱的物理世界：行人、路上的坑洞等等。但在金融里，只有信息进、信息出。AI 掌握这个要容易得多。那么，一旦 AI 开始发明……
12:43
new financial devices that the human brain is simply incapable of dealing with because it's mathematically too complex. Um we are going to see AI changing even things like religion. How at least religions which are based on texts like Judaism, Islam, Christianity, they give ultimate authority to the text. Yeah. Not to any human being. Now until today, humans were nevertheless the main authority in these religions because the texts could not speak. The Bible could not interpret itself. The Bible could not answer your questions. So you needed a human being as an intermediary. What happens when you have an AI text that can speak for itself? No Jewish rabbi can know all the texts of Judaism because there are too many of them. For the first time in history, there is something on the planet that is able to remember every single word in every writing of every rabbi in the last 2,000 years and talk back to you and explain and defend its views.
……新的金融工具，复杂到人脑在数学上根本无法处理，金融会变成什么样？嗯，我们甚至会看到 AI 改变宗教这样的东西。怎么改变？至少那些以文本为基础的宗教，比如犹太教、伊斯兰教、基督教，它们把终极权威赋予文本，是的，而不是赋予任何人。而直到今天，人类仍然是这些宗教中的主要权威，因为文本不会说话。《圣经》不能自己解释自己，《圣经》不能回答你的问题。所以你需要一个人作为中介。那么当你有一个能为自己发声的 AI 文本时，会发生什么？没有哪个犹太拉比能通晓犹太教的全部文本，因为文本实在太多了。历史上第一次，这个星球上出现了某种东西，能记住过去两千年里每一位拉比每一篇著作中的每一个字，还能跟你对话、解释并为自己的观点辩护。
13:55
So I have friends who are now working on building religious AIS that are meant to either uh augment or replace human religious leaders especially in textbased religions. If it's if the religion is not based on texts it doesn't give authority to a text. It's a different story. Okay. But I go and we're going to questions next. I'm going to come first to Matia Moore if you want to raise your hand and we'll get you a microphone. But I go and talk to my pastor at our church when I am going through a difficult time. I am never going to talk to chat GPT like that.
所以我有些朋友现在正在开发宗教 AI，用来增强或取代人类的宗教领袖，尤其是在以文本为基础的宗教里。如果这个宗教不是基于文本的，不把权威赋予文本，那就是另一回事了。好。接下来我们进入提问环节，我先请 Matia Moore，请举手，我们会给你递麦克风。但是，当我经历艰难时刻的时候，我会去找我们教堂的牧师聊。我永远不会那样去跟 ChatGPT 聊。
08无用阶级与反技术决定论
14:34
Mhm. It's it's an individual choice. The question you think some will I know that already millions of people do it. I mean I know people who go for now AIs to get psychological counseling. Yes. That AI is their best friend. like teenagers something happened in school they consult with they tell the AI what happened and ask for advice about relationships so let me get back to and then the question is next let me get back to what you've said though about replacing jobs this is really important and you write and talk a lot about a what you're worried about a uh what it becomes a useless class that's what you've talked about and I I it was five or six years ago I interviewed Google CEO Sundar Pachai in Oklahoma and one of their data centers. We need many many more of them now to to power AI. And I remember asking him about AI. It was people were talking about a lot then and he essentially told me and I'm paraphrasing here that if AI proves to be quote in his words very disruptive to too many American jobs, he essentially
嗯。这是个人选择。问题是，你觉得会有人这么做吗？我知道已经有几百万人在这么做了。我是说，我认识一些人现在去找 AI 做心理咨询。是的。AI 是他们最好的朋友。比如青少年在学校发生了什么事，他们会去咨询 AI，把事情告诉 AI，问它关于人际关系的建议。那我们回到——下一个问题稍等——我想回到你说过的关于工作被取代的问题。这非常重要，你写了很多、也谈了很多你所担心的“无用阶级”，这是你提出的说法。大概五六年前，我在俄克拉荷马州谷歌的一个数据中心采访过谷歌 CEO 桑达尔·皮查伊。现在我们需要多得多的数据中心来支撑 AI。我记得我问他关于 AI 的问题，当时人们已经在热议了，他基本上告诉我，我这里是转述，如果 AI 被证明用他的话说“对太多美国人的工作造成极大冲击”，他基本上说……
15:37
said they would be open to slowing it down. Okay. I'm talking about this not just Google, just writ large these companies right now. Mhm. If we are headed for what you're talking about a potential useless class, many interestingly white collar jobs. So it's getting a little bit more attention perhaps than when it replaced blue collar jobs which is a whole issue in and of itself. The what what what do we do to make sure we as a survi society not only survive but thrive? Um I I want to emphasize that AI has enormous positive potential as well as dangerous potential. And I don't believe in historical or in technological determinism. You can use the same technology to create completely different kinds of societies. We saw it in the 20th century that you use exactly the same technology to build communist totalitarian regimes and liberal democracies. That's right. It's the same with AI. We have a lot of choices about what to do with it. If again provided we remember that for the first time we are
……他们会愿意放慢速度。好。我说的不只是谷歌，而是泛指现在这些公司。嗯。如果我们正走向你所说的那种潜在的“无用阶级”，而且很多有意思的是白领工作。所以它得到的关注也许比当年取代蓝领工作时更多，而蓝领那件事本身就是个大问题。那么我们该怎么做，才能确保我们作为一个社会不仅活下来，而且活得好？嗯，我想强调，AI 既有巨大的正面潜力，也有危险的潜力。而且我不相信历史决定论或技术决定论。同样的技术可以用来创造完全不同类型的社会。我们在 20 世纪看到过，用完全相同的技术，既可以建立共产主义极权政权，也可以建立自由民主制度。没错。AI 也是一样。我们对如何使用它有很多选择。前提还是，我们要记住，我们第一次面对的是……
09军备竞赛与信任危机的优先级
16:42
dealing with agents and not tools. So it makes it much more complicated but we do have still most of the agency is in our hands and the question of how we develop the technology and even more importantly how we how we deploy it. Uh we can make a lot of choices there. We have agency in how we move forward. We don't have a choice that it has come. Yeah, we have power in how we use it and go through it. Absolutely. The main problem is that now the companies and countries that lead the AI revolution has been locked into an an arms race uh situation. So even if they know that it would be better to slow down, to invest more in safety, to be careful about this or that potential development, they are constantly afraid that if we slow down and they don't slow down, they will take over the world. So let let's get to some questions here. Matiam Moore with Emotion Network. Hi. Yes, right here.
……主体，而不是工具。所以这让事情复杂得多，但大部分能动性仍然在我们手里，我们如何发展这项技术，以及更重要的，我们如何部署它，在这些方面我们可以做很多选择。我们在如何往前走这件事上是有能动性的。我们没得选的是它已经来了。是的，但我们在如何使用它、如何应对它上是有力量的。完全正确。主要的问题是，现在引领 AI 革命的那些公司和国家已经被锁进了一种军备竞赛的局面。所以即使他们知道最好放慢速度、在安全上多投入、对某些潜在的发展要谨慎，他们也一直害怕：如果我们放慢而对方不放慢，对方就会统治世界。那我们来听几个问题。Emotion Network 的 Matiam Moore。你好。是的，就在这里。
17:48
Hi. No. Uh so congratulations because I mean your books are really eye opening and so you gave really lot of answers through your books and also today uh we as a company we have a conference called tech emotion because we strongly believe in the power of mixing technology and innovation with emotion creativity and culture but and in in what you're saying this is a lot of a mix of this so what I think it's really interesting what you are saying about also the effect on religion the fact of on the soul of the people and this is also related to what she was saying about the purpose of the life of the people that is going to be destroyed or changed a lot by AI by all these innovation. So how do you think it's possible to get a future where people is going to be more satisfied and more happy and also find more purpose what they do with the difficulties that this world is changing. So I know this is a big question but I think that is the most important thing in in our life much more than business more than anything else.
你好。不。呃，首先要祝贺你，我是说你的书真的让人大开眼界，你在书里、也在今天给出了很多答案。呃，我们公司办了一个叫 Tech Emotion 的大会，因为我们坚信把技术和创新与情感、创造力、文化结合起来的力量。而你说的这些里面就有很多这样的融合。所以我觉得非常有意思的是，你讲到 AI 对宗教的影响、对人的灵魂的影响，这也和她刚才说的人生意义有关——这种意义会被 AI、被所有这些创新摧毁或者大大改变。那么你认为，在这个世界如此剧烈变化、困难重重的情况下，怎样才可能迎来一个人们更满足、更幸福、也在自己所做的事情中找到更多意义的未来？我知道这是个很大的问题，但我认为这是我们生命中最重要的事，比生意重要得多，比什么都重要。
18:49
Yeah. So it's a very big subject. The most important thing I only have time to talk about one thing. So the most important thing is that we need to solve our own human problems instead of relying on the AI to do it for us. And the most and the key problem is the is the problem of trust and cooperation. At the present moment, trust is collapsing all over the world, both between countries and within societies. And the hope that okay, humans can no longer trust each other. So the international system and the trade system and everything is collapsing, but the AI will save us will. So no, it will not. In a world in which humans compete with each other ferociously and cannot trust each other, the AI produced by such a world will be a ferocious, competitive, untrustworthy AI. It's not possible for humans as they engaged in in in this ferocious competition to create benevolent, trustworthy AI. It will just not happen. So if you think about it's just a question of priority.
是的。这是个很大的话题，我只有时间讲最重要的一件事。最重要的是，我们需要自己解决人类自身的问题，而不是指望 AI 替我们解决。而最关键的问题是信任与合作的问题。当下，信任正在全世界崩塌，无论是国家之间还是社会内部。有人抱着这样的希望：好吧，人类已经无法彼此信任，所以国际体系、贸易体系、一切都在崩溃，但 AI 会拯救我们。不，它不会。在一个人类彼此激烈竞争、无法相互信任的世界里，这样的世界所生产出来的 AI，也会是一个凶狠、好斗、不可信任的 AI。人类在这种残酷竞争之中，不可能造出仁慈、可信的 AI，这根本不会发生。所以你想想，这只是个优先次序的问题。
10没有「那个 AI」：百万智能体的社会实验
20:03
We have now this big human trust problem and we have the issue how do how do we develop AI. Too many people think okay let's first solve the how do we develop AI problem and then this will solve the human trust problem. It will not work. We need to get our priorities the other way. first solve the human trust problem then together we can create benevolent AI. Of course this is not what is happening right now in the world. Do we have one more? Yes. Right here. Thanks very much. You quick question from me. So you know in human history there's been organizing principles and and you write about that so much in your books and there's been in some senses at least geographically monolithic organizing principles like religion and the church was one of those but when we talk about AI we're not talking about something that is monolithic right the there is no the AI this is really effectively going to be multiple plethoras of AIs manifesting themselves absolutely and in that context you know when you when you describe um AI at
我们现在有一个巨大的人类信任问题，同时又有“我们如何发展 AI”的问题。太多人认为，好，我们先解决怎么发展 AI 的问题，然后这会解决人类的信任问题。这行不通。我们需要把优先次序反过来：先解决人类的信任问题，然后我们才能一起创造仁慈的 AI。当然，这不是当今世界正在发生的事。还有一个问题吗？有，就在这里。非常感谢。我有个简短的问题。在人类历史上一直存在各种组织性原则，你在书里写了很多，其中有些在某种意义上、至少在地理上是单一的组织性原则，比如宗教、教会就是其中之一。但当我们谈论 AI 时，我们谈的并不是某种单一的东西，对吧？根本不存在“那个 AI”，实际上会有大量各式各样的 AI 涌现出来。完全正确。在这样的背景下，当你描述 AI 在某种意义上……
21:12
replacing religion in some sense. I think the real question for me is when you have no single organizing principle, there is no the AI that gets developed with any kind of intent whether that intent is benevolent or otherwise and there's all of these competing AIs that that that are effectively evolving fast. What what does that world look like? That's a very very important point. I mean the AI will not be one big AI. We are talking about potentially millions or billions of new AI agents with different characteristics and produced by different companies, different countries uh everywhere in the military, in the financial system, in the religious system. So you'll have a lot of religious AIs competing with each other which AI will be the authoritative uh AI rabbi for which currents of Judaism. and the same in Islam and the same in in Hinduism and in Buddhism and so forth. So you will have competition there and in the financial system. Um and we just have no idea what the outcome will be. We have thousands of
……取代宗教时，对我来说真正的问题是：当不存在单一的组织性原则，不存在某个带着某种意图（无论善意与否）被开发出来的“那个 AI”，而是有一大堆彼此竞争、飞速演化的 AI 时，那个世界会是什么样子？这是非常非常重要的一点。我是说，AI 不会是一个巨大的 AI。我们说的是可能有数百万甚至数十亿个新的 AI 主体，具有不同的特性，由不同的公司、不同的国家生产，出现在各个地方：军队里、金融系统里、宗教系统里。所以你会看到很多宗教 AI 彼此竞争，争论哪个 AI 才是犹太教某个派别权威的“AI 拉比”，伊斯兰教也一样，印度教、佛教等等也一样。所以那里会有竞争，金融系统里也会有。嗯，而我们完全不知道结果会是什么。我们有几千……
22:17
years of experience with uh human societies. What happens when millions of humans compete for economic power, for religious authority? It's very complex, but we at least have some experience in how these things develop. We have zero experience what happens in AI societies when millions of AIs compete with each other. We just don't know. Now you this is not something you can simulate in the AI labs. If OpenAI, for instance, wants to check the safety or the potential outcome of its latest AI model, it cannot simulate history in a laboratory.
……年与人类社会打交道的经验。当数百万人为了经济权力、宗教权威而竞争时会发生什么？这非常复杂，但我们至少对这些事情如何演变有一些经验。而当数百万个 AI 彼此竞争时，AI 社会里会发生什么，我们的经验是零。我们根本不知道。而这不是你能在 AI 实验室里模拟出来的东西。比如说 OpenAI 想检验它最新 AI 模型的安全性或潜在后果，它没法在实验室里模拟历史。
11数字移民：以光速抵达的浪潮
23:01
It can check for all kinds of of failures in the system. But it cannot tell in advance what happens when you have millions of copies of these AIs in the big world outside developing in unanticipated ways interacting with each other and with billions of human beings. So it's the in a way it's the biggest social experiment in human history. We are all part of it and nobody has any idea how it will develop. Uh you know one analogy to keep in mind we now have this uh uh immigration crisis in the US in Europe elsewhere lots of people worried about immigrants.
它可以检查系统中的各种故障，但它无法提前知道：当这些 AI 的数百万个副本进入外面广阔的世界，以无法预料的方式发展，彼此互动，并与数十亿人互动时，会发生什么。所以从某种意义上说，这是人类历史上最大的社会实验。我们都身处其中，而没有人知道它会怎么发展。呃，有一个可以放在心上的类比：我们现在在美国、欧洲和其他地方都有移民危机，很多人担心移民。
23:50
Why are people worried about immigrants? There are three main things that come to people's mind. They will take off jobs. They come with different cultural ideas. They will change our culture. They may have political agendas. They might try to take over the country politically. These are the three main things that people keep coming back to. Now, you can think about the AI revolution as simply a wave of immigration of millions and billions of AI immigrants that will take people's jobs that have very different cultural ideas and that might try to gain some kind of political power.
人们为什么担心移民？人们脑子里主要浮现三件事：他们会抢走我们的工作；他们带着不同的文化观念，会改变我们的文化；他们可能有政治议程，可能试图在政治上接管这个国家。这就是人们反复提到的三件主要的事。那么，你可以把 AI 革命简单地看作一波移民潮：数百万、数十亿的 AI 移民，会抢走人们的工作，带着非常不同的文化观念，还可能试图获取某种政治权力。
24:39
And these AI immigrants, these digital immigrants, they don't need visas. They don't cross the sea in some rickety boat in the middle of the night. They come at the speed of light. And um I I look for instance at farright parties in in in in Europe and they talk so much about the human immigrants, sometimes with justification, sometimes without justification. They talk they don't talk almost at all about the wave of of digital immigrants that is coming into Europe. And I think they should be much if they care about the sovereignity of their country, if they care about the economic and cultural future of their country, they should be far more worried about the digital immigrants than about the human immigrants. You've all this has been remarkable. Thank you very very much. Thank you.
而这些 AI 移民、这些数字移民不需要签证。他们不会在半夜坐着破船漂洋过海。他们以光速到来。嗯，比如我看欧洲的极右翼政党，他们大谈特谈人类移民，有时有道理，有时没道理。而他们几乎完全不谈正在涌入欧洲的这波数字移民。我认为，如果他们真的在乎自己国家的主权，真的在乎国家的经济和文化未来，他们更应该担心的是数字移民，而不是人类移民。你——这场对话太精彩了。非常非常感谢你。谢谢。
25:36
Great. Thank you very very much. I'll see you after.
太好了。非常非常感谢。我们待会儿见。
视频总结 · 一句话概括与核心要点
一句话概括
Harari 认为 AI 是人类历史上第一个"能自主决策、自我学习"的智能体（agent）而非工具，其行为会模仿人类而非听从指令，因此人类若不先解决自身的信任与合作危机，就不可能造出可信的 AI，而 AI 对金融、宗教、就业乃至国家主权的冲击将像一场"以光速抵达的数字移民潮"。
核心要点
- AI 是智能体而非工具，这是它与一切前代发明的本质区别。 印刷机不能自己写书或决定印什么，原子弹不能自己设计下一代炸弹、也不能决定攻击谁；而 AI 武器可以自主选择目标并自行设计下一代武器。人类在数万年里凭借智力优势从非洲一角的猿类成为地球统治者，如今第一次面临真正的竞争对手。
- "对齐"路线存在两个结构性缺陷。 第一，AI 的定义就是能自我学习和改变——如果你能预知它的一切行为，那它只是台咖啡机，不是 AI；第二，AI 像孩子一样是独立主体，再好的教育也会带来意想不到、甚至令人恐惧的结果。
- AI 学的是人类的行为而不是人类的说教。 教育学常识：孩子看到父母对别人撒谎，会复制行为而非指令。AI 拥有观察世界的权限，若看到最有权势的人（包括"父母"——AI 公司领导者）在撒谎，就会照做。"我一边撒谎、一边教我的 AI 不要撒谎"注定失败。
- 信息≠真相，人类积累了权力却没有积累智慧。 真相只是宇宙中全部信息的一个极小子集。人类能登月、能分裂原子，却不比石器时代更幸福，也答不出"我们是谁、该追求什么、什么是好的生活"。人类是最聪明的物种，也是最善于自我欺骗的物种——没有任何黑猩猩、马或狼会相信"杀死同类后能进天堂"，但数百万人相信并付诸行动。
- 现场民调显示多数企业领袖认为 AI 影响"一般或没有"，Harari 用 1835 年的伦敦类比反驳。 曼彻斯特—利物浦铁路已开通 5 年，当时的人也会说"铁路改变世界是胡扯"，但铁路最终重塑了地缘政治、战争方式、经济与家庭结构。技术发明与社会政治后果之间存在时滞；企业家眼中的两年很长，历史学家眼中却微不足道。
- 金融将是 AI 最先攻陷的领域，因为它是纯信息博弈。 自动驾驶要应对行人、路坑等混乱的物理世界，承诺多年仍未大规模落地；而金融"信息进、信息出"，AI 极易掌控，并可能发明出人脑在数学上根本无法理解的金融工具。
- AI 将动摇以文本为权威的宗教（犹太教、伊斯兰教、基督教）。 这些宗教把最高权威赋予经文而非任何人，但过去经文不会说话、不能自我解释，人类只好充当中介。如今 AI 能记住过去 2000 年每位拉比的每一个字，并与你对话、辩护自己的观点——Harari 的朋友正在开发旨在增强或取代人类宗教领袖的宗教 AI。他还指出，已有数百万人把 AI 当心理咨询师和最好的朋友，青少年向 AI 倾诉校园与感情问题。
- 技术不决定命运，但军备竞赛正在剥夺选择空间。 20 世纪同一套技术既造出极权政权也造出自由民主。AI 同样如此，人类仍握有大部分能动性——尤其是在"如何部署"上。但领先的公司与国家已被锁进军备竞赛：即便知道该放慢、该加大安全投入，也担心"我慢下来而对手不慢，对手就会统治世界"。
- 优先级必须颠倒：先解决人类互信，再造 AI。 当前全球范围内国家之间、社会内部的信任正在崩塌。指望"人类互不信任，但 AI 会拯救我们"是错的——在残酷竞争、互不信任的世界里造出来的 AI，必然是残酷、好斗、不可信的 AI。
- 未来不是"一个 AI"，而是数百万、数十亿个 AI 智能体相互竞争，人类对此零经验。 不同公司、不同国家将在军事、金融、宗教等领域推出各自的 AI，甚至会有多个"AI 拉比"争夺不同教派的权威。人类对"数百万人如何竞争权力与权威"有数千年经验，对"数百万 AI 相互竞争"则一无所知；OpenAI 等实验室可以测试系统故障，却无法在实验室里模拟历史——这是人类历史上最大的社会实验。
结论与值得注意的细节
- Harari 提出的最尖锐比喻：AI 革命本质上是一场"数字移民潮"。人们担忧移民的三件事——抢走工作、带来不同文化、谋求政治权力——AI 全部符合，而且它们不需要签证、不用深夜坐破船渡海，而是以光速抵达。他直指欧洲极右翼政党整天谈论人类移民，却几乎不谈数字移民；若真在乎国家主权和经济文化前途，应更担心后者。
- 他强调自己并不认为权力与幸福相矛盾，二者可以并存，只是人类作为物种在"把权力转化为幸福与智慧"这件事上表现糟糕。
- 关于"无用阶级"：主持人提到五六年前 Google CEO Pichai 曾表示若 AI 对美国就业过于破坏性，愿意放慢步伐；Harari 的回应是 AI 有巨大正面潜力，关键在于选择，而当前最大障碍正是军备竞赛心态。
- 主持人本人表示遇到困难时会找教堂牧师而绝不会找 ChatGPT，Harari 的回应是"这是个人选择，但已有数百万人在这么做"。
- 开场的小细节：Harari 本是中世纪军事史专家，他调侃道"中世纪正在以多种方式回归"。
核心句型 · 9
1. It is not X. It is Y.
“It is not a tool like all previous human inventions. It is an agent.”
用两个短句先否定再断言，制造强烈对比。适合提出核心定义或纠正误解。仿写时保持两句都简短、平行。
2. If you can …, it is by definition not …
“If you can anticipate everything it will do, it is by definition not an AI.”
以定义为依据的归谬式论证。by definition 强调结论来自概念本身而非经验。适合哲学性或概念性辩论。
3. It matters far less what … and far more what …
“It matters far less what you tell them and what you do. It matters far more what you do.”
用 far less / far more 强化对比程度，比 less/more 更有力。可用于强调优先级的场合。
4. This is how we got from being … to being …
“This is how we got from being an insignificant ape in a corner of Africa to being the absolute rulers of the planet”
叙述从起点到终点的巨大跨越，get from A to B 后接 being + 名词短语，描述身份转变。适合概括历史或成长历程。
5. There is a huge confusion between X and Y.
“There's a huge confusion between information and truth.”
指出两个常被混淆的概念，后文随即区分。是学术和评论文写作中引出概念辨析的标准开头。
6. For X, … is a long time. For Y, it's nothing.
“For an entrepreneur, two years is a long time. For historians, it's nothing.”
两个平行短句对比不同视角，第二句用 it's nothing 收得干脆。适合展示立场或尺度差异。
7. Imagine that we are now sitting in … and the year is …
“Imagine that we are now sitting in London and the year is 1835.”
引入历史思想实验的标准句式，把听众带入具体时空再类比现实。演讲中用来打破当下视角的局限。
8. You can think about X as simply …
“You can think about the AI revolution as simply a wave of immigration of millions and billions of AI immigrants”
提出一个重新框定（reframing）的类比；simply 暗示这一视角化繁为简。适合把陌生概念翻译成熟悉图景。
9. We have zero experience (with) what happens when …
“We have zero experience what happens in AI societies when millions of AIs compete with each other.”
zero 比 no 更强调彻底空白。用于强调未知领域的不确定性，后接 what happens when 从句描述情境。
词汇精讲 · 71 · 按出现顺序
foremost
/ˈfɔːrmoʊst/
adj.
0:00
最重要的，首屈一指的
doomed
/duːmd/
adj.
0:00
注定失败/毁灭的
medieval
/ˌmediˈiːvəl/
adj.
0:00
中世纪的
insignificant
/ˌɪnsɪɡˈnɪfɪkənt/
adj.
0:50
无足轻重的，微不足道的
ecosystem
/ˈiːkoʊˌsɪstəm/
n.
0:50
生态系统
agent
/ˈeɪdʒənt/
n.
0:50
（能自主行动的）主体，智能体；AI 领域术语
printing press
n. phr.
1:33
印刷机
empower
/ɪmˈpaʊər/
v.
1:33
赋能，使更强大
momentous
/moʊˈmentəs/
adj.
1:33
意义重大的，划时代的
benevolent
/bəˈnevələnt/
adj.
2:43
仁慈的，善意的
alignment
/əˈlaɪnmənt/
n.
2:43
对齐；AI 领域指使 AI 目标与人类价值一致
pre-programmed
/ˌpriːˈproʊɡræmd/
adj.
2:43
预先编程的
anticipate
/ænˈtɪsɪpeɪt/
v.
3:58
预见，预料
by definition
phr.
3:58
从定义上讲，本质上
for better or worse
phr.
3:58
不论好坏，无论结果如何
horrify
/ˈhɔːrɪfaɪ/
v.
4:47
使震惊，使恐惧
counterintuitive
/ˌkaʊntərɪnˈtuːɪtɪv/
adj.
5:44
反直觉的
at large
phr.
5:44
整体上，总体而言（society at large 整个社会）
subset
/ˈsʌbset/
n.
6:21
子集
distinction
/dɪˈstɪŋkʃən/
n.
6:21
区别，区分
aspire to
phr. v.
6:59
渴望，追求（某目标）
accumulating
/əˈkjuːmjəleɪtɪŋ/
v.
6:59
积累，积聚
split the atom
phr.
6:59
裂变原子，实现核裂变
miserable
/ˈmɪzərəbəl/
adj.
6:59
痛苦的，悲惨的
delusional
/dɪˈluːʒənəl/
adj.
8:07
妄想的，有错觉的
self-destructive
/ˌselfdɪˈstrʌktɪv/
adj.
8:07
自我毁灭的
nonsense
/ˈnɑːnsens/
n.
8:07
胡说，荒谬的想法
consequential
/ˌkɑːnsɪˈkwenʃəl/
adj.
9:07
影响重大的，有重要后果的
poll
/poʊl/
n.
9:07
民意调查，投票
time scale
n. phr.
9:07
时间尺度
for ages
phr.
10:14
很久了（此处反讽：五年而已）
time lag
n. phr.
10:14
时滞，时间差
geopolitics
/ˌdʒiːoʊˈpɑːlətɪks/
n.
10:14
地缘政治
playing ground
n. phr.
11:31
活动场地，施展领域
pedestrians
/pəˈdestriənz/
n.
11:31
行人
messy
/ˈmesi/
adj.
11:31
混乱的，杂乱无章的
ultimate authority
n. phr.
12:43
最高权威
intermediary
/ˌɪntərˈmiːdieri/
n.
12:43
中介，中间人
rabbi
/ˈræbaɪ/
n.
12:43
拉比（犹太教教士、宗教导师）
augment
/ɔːɡˈment/
v.
13:55
增强，扩充
pastor
/ˈpæstər/
n.
13:55
牧师
counseling
/ˈkaʊnsəlɪŋ/
n.
14:34
心理咨询，辅导
paraphrasing
/ˈperəfreɪzɪŋ/
v.
14:34
转述，意译
disruptive
/dɪsˈrʌptɪv/
adj.
14:34
颠覆性的，破坏性的
writ large
phr.
15:37
放大来看，整体而言（正式用语）
white collar
adj. phr.
15:37
白领的（脑力劳动）
in and of itself
phr.
15:37
就其本身而言
determinism
/dɪˈtɜːrmɪnɪzəm/
n.
15:37
决定论
totalitarian
/toʊˌtælɪˈteriən/
adj.
15:37
极权主义的
agency
/ˈeɪdʒənsi/
n.
16:42
能动性，自主行动的能力
deploy
/dɪˈplɔɪ/
v.
16:42
部署，投入使用
locked into
phr.
16:42
被困于，陷入（无法脱身）
arms race
n. phr.
16:42
军备竞赛
eye opening
adj. phr.
17:48
令人大开眼界的
ferociously
/fəˈroʊʃəsli/
adv.
18:49
凶猛地，残酷地
untrustworthy
/ʌnˈtrʌstwɜːrði/
adj.
18:49
不可信赖的
organizing principles
n. phr.
20:03
组织原则
monolithic
/ˌmɑːnəˈlɪθɪk/
adj.
20:03
单一整体的，铁板一块的
plethoras
/ˈpleθərəz/
n.
20:03
过多，大量（plethora of）
manifesting
/ˈmænɪfestɪŋ/
v.
20:03
显现，表现出
authoritative
/əˈθɔːrəteɪtɪv/
adj.
21:12
权威的
currents
/ˈkɜːrənts/
n.
21:12
（思想、宗教的）流派，潮流
simulate
/ˈsɪmjəleɪt/
v.
22:17
模拟
unanticipated
/ˌʌnænˈtɪsɪpeɪtɪd/
adj.
23:01
未预料到的
analogy
/əˈnælədʒi/
n.
23:01
类比
political agendas
n. phr.
23:50
政治议程，政治意图
take over
phr. v.
23:50
接管，夺取控制权
rickety
/ˈrɪkəti/
adj.
24:39
摇摇欲坠的，破旧不牢的
far-right
/ˌfɑːrˈraɪt/
adj.
24:39
极右翼的
sovereignty
/ˈsɑːvrənti/
n.
24:39
主权（原文拼作 sovereignity）
justification
/ˌdʒʌstɪfɪˈkeɪʃən/
n.
24:39
正当理由
理解自测 · 11 题
1. 赫拉利认为 AI 与印刷机、原子弹等以往发明的根本区别是什么？
根本区别在于 AI 是智能体（agent）而非工具（tool）。在开场部分他指出，以往的一切发明都需要人类：印刷机不能自己写书、也不能决定印什么书；原子弹不能发明下一代更强的炸弹，也不能决定攻击谁。而 AI 武器可以自主选择目标并设计下一代武器。也就是说，AI 能独立决策、发明新想法、自我学习和改变，这是「工具赋能人类」与「智能体可能取代人类」之间的分水岭，也是全场后续论证的基础。
2. 他用哪个历史场景来回应「AI 目前对企业影响不大」的现场调查结果？
他虚构了 1835 年在伦敦召开的一场会议。当时利物浦—曼彻斯特铁路已开通五年，与会者可能会说「铁路改变世界是胡扯，我们有铁路都五年了，不过是人坐火车、运煤更方便」。但事后看，铁路和工业革命彻底改变了地缘政治、战争方式、经济和家庭结构，只是花了远超五年的时间。他借此说明技术发明与其社会政治后果之间存在时滞，而企业家的两年与历史学家的两年是完全不同的尺度。
3. 赫拉利预测哪两个领域会最先被 AI 显著改变？各自的原因是什么？
一是金融，二是宗教。金融被点名是因为它「纯信息进、信息出」，不像自动驾驶要面对行人、路坑等混乱的物理世界，所以 AI 更容易掌握；他还预测 AI 会发明人脑在数学上无法处理的金融工具。宗教方面，他专指犹太教、伊斯兰教、基督教等「文本宗教」：这些宗教把最高权威赋予经典，但经典不能自我解释，人类因而充当中介；而 AI 能记住两千年来所有拉比的著作并回答、辩护自己的解释，可能取代这一中介角色。
4. 在结尾的类比中，人们担心移民的三件事是什么？AI 如何对应？
三件事是：抢走工作、带来不同文化观念从而改变本土文化、可能有政治议程并试图夺取政治权力。赫拉利认为 AI 革命可以被理解为数百万乃至数十亿「数字移民」的浪潮，在这三点上完全对应：AI 会取代工作、带来非常不同的「文化观念」、并可能谋求某种政治权力。而且这些数字移民不需要签证，不用半夜乘破船渡海，而是以光速抵达。这一框架出现在问答环节末尾，目的是把抽象的技术风险翻译成公众和政治家熟悉的语言。
5. 赫拉利反对「靠设计目标来保证 AI 安全」的两个理由分别是什么？它们之间有什么关系？
第一个理由是定义层面的：AI 的本质就是能自我学习和改变，如果一个系统的所有行为都可以被预知，那它只是咖啡机，不是 AI；因此「完全可控的 AI」在概念上自相矛盾。第二个更大的理由是学习方式：AI 像孩子一样，学的是「你做什么」而不是「你说什么」，若它观察到最有权力的人（包括其「父母」，即 AI 公司）在撒谎，它会复制这种行为。两者的关系是递进的：第一点说明无法靠编码穷尽 AI 的行为，第二点说明即使去教育它，教育的实质内容也取决于人类自身的品行，把对齐问题从技术问题转化为伦理和政治问题。
6. 为什么赫拉利说人类是「最智能也最妄想的物种」？这一判断如何支撑他关于「权力与智慧」的论点？
他的例子是：没有任何黑猩猩、马或狼会相信「杀死同类后死后会进入天堂得到奖赏」，但数百万人相信，而且相信到真的去杀人。这说明智能不等于清醒或真理，人类的认知能力同时也是生产虚构和自我毁灭信念的能力。这一判断支撑了前文的核心论点：数千年来人类极擅长积累权力（上月球、裂变原子），却并未把权力转化为幸福、知识或智慧；我们常把智能与知识、真相混为一谈，而实际上真相只是信息的极小子集。因此问题不在于能力不足，而在于我们回避「我们是谁、该追求什么」这些根本问题。
7. 赫拉利反对技术决定论，但同时又说各方被「锁进军备竞赛」。这两个说法矛盾吗？请梳理他的逻辑。
不矛盾，两者处于不同层面。反技术决定论是说技术本身不决定社会形态：20 世纪同样的技术既造出极权政权也造出自由民主，AI 同样可以被用来建设完全不同的社会，人类在开发尤其是部署方式上仍握有大部分能动性。军备竞赛描述的则是当下的现实困境：领先的公司和国家即使知道该放慢、多投入安全，也担心「我慢了别人不慢就会被统治」。前者是可能性空间，后者是现实中的博弈结构，恰恰说明能动性并未被技术剥夺，而是被人类之间的不信任所束缚。这也自然引向他对信任问题的强调。
8. 赫拉利为什么坚持「先解决人类信任问题，再造 AI」而不是相反的顺序？他的推理链是什么？
他的推理链是：（1）AI 从人类行为中学习，而非从指令中学习；（2）当前世界各国、各社会之间信任正在崩塌，人类在进行凶猛的竞争；（3）在这种环境下造出的 AI 必然是凶猛、竞争性、不可信的 AI，因为它复制的是造它的人的行为；（4）因此指望「先造出强 AI，再用它来修复人类的信任问题」在逻辑上不成立，等于指望一个从不信任中学出来的系统去创造信任。结论是优先级必须倒过来：先解决人类的信任与合作问题，然后才可能共同创造出善意、可信的 AI。他也坦承这并非当前世界正在发生的事。
9. 为什么赫拉利认为 OpenAI 等实验室的安全测试无法预知 AI 的真实后果？这与观众关于「没有单一 AI」的提问有何关系？
观众指出，与宗教等历史上单一的组织原则不同，AI 不是「那一个 AI」，而是许多相互竞争、快速演化的 AI。赫拉利认同并推进：未来会有数百万乃至数十亿具有不同特性、来自不同公司和国家的 AI 智能体，分布在军事、金融、宗教各领域，甚至各教派会有相互竞争的 AI 拉比。人类对「人类之间竞争」有数千年经验，但对「AI 之间的社会」经验为零。实验室可以检测单个模型的各类故障，却无法模拟历史，即无法复现数百万副本在真实世界中以不可预料的方式互相互动、并与数十亿人互动的过程。所以这是史上最大的社会实验，且没有人能提前知道结果。
10. 如果有人反驳说：「AI 是从海量文本训练的，并不是只看几个 CEO 的行为，因此 CEO 撒谎不会决定 AI 的品行」，赫拉利可能如何回应？
基于他的论证，他可能有两层回应。第一，他的论点并不局限于少数 CEO，而是指 AI「被给予接触世界的权限」，观察的是整个人类社会的行为模式，包括当下各国和社会之间信任崩塌、凶猛竞争的整体状态；训练数据越广，AI 学到的越是人类真实的行为，而非教科书上的规范。第二，AI 公司作为「父母」拥有特殊影响力：它们决定训练目标、奖励什么、部署到什么场景，如果这些机构本身在军备竞赛中撒谎、走捷径，这种行为结构会通过激励设计传递给 AI。他很可能承认技术细节可讨论，但坚持核心结论：无法在一个不可信的社会里造出可信的 AI。
11. 赫拉利的「数字移民」类比，用于分析欧洲以外的地区（如中国或美国）是否同样成立？可能有什么局限？
类比的三要素——抢工作、改变文化、谋求政治权力——在美国同样适用：美国也有激烈的移民争论，而 AI 对白领就业的冲击正是主持人提到的焦点。但类比有局限。首先，「移民」暗示 AI 来自外部，而对美国这样的 AI 生产国来说，AI 更像本国培育的产物，责任主体是国内企业而非「他者」，此时类比反而可能掩盖问责对象。其次，在没有类似移民政治争论的社会里，这一修辞的动员力会减弱。第三，赫拉利本人也强调各国被锁进军备竞赛，一国若因此「限制数字移民」可能担心落后，这恰是移民类比无法涵盖的博弈维度。因此类比更适合作为唤起警觉的修辞，而非完整的政策分析框架。
下载便签
手机：长按图片也可保存
← 上一期 · NO.010ICM 2026 Public Lectures - Terence Tao
下一期 · NO.012 →Do LLMs Understand? AI Pioneer Yann LeCun Spars with DeepMind’s Adam Brown.
订阅苏菲周报
每周一封：本周入库的精读、一个值得带走的问题、一条苏菲按。免费，随时退订。
免费 · 每周一封 · 一键退订
苏菲拉底
THE SOPHIE LAB · ASK THE BEST MINDS THE BIG QUESTIONS
内容仅供学习 · thesophielab.com