AI DEBATE: “Most People Have No Idea What’s Coming”

编者按：本文整理自播客《现代智慧》（Modern Wisdom）的一场 AI 辩论，主持人克里斯邀请了三位嘉宾：前职业扑克手、科学传播者莉芙·波瑞（Liv Boeree），制作 AI 历史与前景科普视频的创作者埃里克（Eric），以及节目常驻嘉宾、自称并非加速主义者的评论者扎克（Zach）。谈话从「2040 年一个寻常的星期二」开始，途经就业的政治保护、屏幕成瘾、Hugging Face 攻击、放缓前沿公开信、中国的扩散路线、莫洛克陷阱与权力集中，终于凯恩斯和反宿命论。本文依据现场录音编译整理，仅删去口语枝节、寒暄、广告与重复，论证、例证与转折均按原样保留。

2040 年的寻常星期二

主持人：开场我想试一件事。我让 ChatGPT 说出它真正相信的 2040 年世界图景，要求它诚实，把 AI 高速发展会带来什么、包括各种风险都讲出来。我开了深度研究模式，它得跑一会儿。趁它在跑，我想听你们各位对 2040 年的真实预测。不要最好情形，也不要噩梦情形。你们觉得 2040 年普通人的一个寻常星期二会是什么样？

埃里克：我觉得我们还在，人类还在地球上。我觉得权力会比今天集中得多。我说不准是集中在几家公司还是几个政府手里，但大概会有一种感觉：决定地球上发生什么的，主要是少数几个人的意志，而不是某种分散的、广泛民主的东西。

扎克：不管好坏，我预计到 2040 年，更多人的寻常星期二会更趋同，而且跟今天的寻常星期二没有太大差别。我们会把底线抬高一些。但我这么预计，是因为物理世界的变化远比我们想的慢，围绕机器人之类的监管也会比我们预期的拖得久得多。政治保护会是拖慢进步的那股力量。大多数人的星期二，无论好坏，很可能跟本周的星期二感觉差不多。

波瑞：你会讨厌我这么说，但我有点想拒绝回答这个问题。我对 2040 年的想象是一种可怕的、近乎两极的不确定，我没法把它压缩成一个答案。你一问，我脑子里第一个冒出来的是一幅混乱荒凉的图景，也许只剩下少数人类。我不是说这是大概率，但它是一片切片。另一片是那种美妙的乌托邦，我和朋友管它叫「技术田园主义」（technopastoralism）：一个技术高度赋能的世界，你想用就用，但其实大家都选择回归本源，种种菜，跟朋友围着篝火。你想给篝火换个颜色也行，但多数人更愿意自己动手，种自己的手工食物之类。然后还有一片：我们全都活在最先冲线的那家 AI 公司的拇指底下，只能指望它仁慈，给我们一点自由。再一片是我们全被封锁在家，像加强版的新冠时代，谁都出不了门，什么都够不着，因为危险技术已经无处不在。这真是我对这个问题唯一的回答。

主持人：听起来你并没有拒绝这个问题，你对会发生什么想得挺清楚的。

波瑞：我不知道。问题就在这，我脑子里这几种可能的概率分布相当平均。

灭绝概率之争

主持人：那我们现在就谈这个。你真的认为 2040 年人类不在了有相当的可能？

波瑞：是的。

主持人：你给多少？你的「毁灭概率」（P(doom)）是多少？

波瑞：先说一句，我们得先给「毁灭」下定义。毁灭概率之争的一大问题，就是大家用「毁灭」指各种各样不同的东西。

主持人：完全同意。那你来定义。

波瑞：照你的说法，是指人类文明的大多数，或者说很大一部分人类死掉了？

主持人：我留给你定。有人把毁灭定义成彻底灭绝，也有人定义成某种极端糟糕的事件，比如文明崩溃。

波瑞：我不想给任何确定的答案。我们正处在一个说什么、信什么都会强烈影响未来的时代，我不喜欢给它标一个确定的概率，因为这些数字本身在剧烈变动。我的看法是，这个风险足够重大，我们必须竭尽所能去把它压下去。我个人认为任何超过 1% 的数字都值得认真对待，超过 5% 就肯定值得。而且，看你问谁，很多顶尖 AI 公司的首席执行官和研究者给出的数字在 2% 到 50% 之间。这些全都落在同一个篮子里：我们面对的是一个岌岌可危的未来。所以我不喜欢毁灭概率这个框架，它过于简化了，两边都拿它当棍子使。说 90% 的那些人拿它当棍子，觉得它可笑的人也拿它当棍子。它没什么帮助。我想我们都同意，也许你不同意，未来远非确定，如果我们不把事情做对，它可能非常危险。

扎克：我在你眼里像个宿命论者吗？

波瑞：你说的宿命论是什么意思？我肯定不认为未来在任何意义上是确定的。

扎克：没有。你刚才说「我想我们都同意」的时候看了我一眼，好像我可能不同意。

波瑞：我只是不想预设。我们才刚开始聊，我不想先入为主。

主持人：埃里克，你怎么看？

埃里克：我完全同意，当我们谈的是灭绝或者人类大规模失权这种灾难性后果时，任何超过 1% 的概率都远超我们应该容忍的范围。而且我认为这是社会的显示性偏好。我们花了相当一部分 GDP 防止核灾难，防止下一场大流行病的钱恐怕应该花得更多，至少在 2021 年大家都是赞成的。AI 的奇怪之处在于它同时有巨大的上行和下行空间。反核武器很容易，反病毒也很容易，没几个人主张「病毒权利」。可 AI 是一整个打包在一起的东西：同一个技术，既可以把人从工作义务里解放出来，过上一个美妙的星期二，去追求各自意义上的快乐；也可以让一个俄罗斯寡头拥有一支只忠于他的劳动力大军，不需要任何其他人的同意，就把自己在全球 GDP 里的份额越做越大。

主持人：后匮乏、极权主义和毁灭，全泡在同一口锅里，同一个潜在的未来里。

波瑞：还有技术田园主义。

参差前沿与政治保护

扎克：我喜欢这个词。但这个框架有两个问题。第一，AI 有一条参差不齐的前沿（jagged perimeter）。AI 不是一样东西，是很多样东西，机器人显然又引入了各种新模态，但它的边界是参差的。所以当人们问「2040 年医疗会变成什么样」，很不幸，去医院大概还是一样糟糕。医院里的医疗有太多东西需要拆解，到 2040 年你大概还是不想进医院。我说这话，是作为医生和医院管理者的孩子说的。但我们很可能会发现治愈疾病的方法。所以医疗对这条参差前沿的暴露非常奇特：新的科学以惊人的方式加速，而那个盒子里实际提供的照护却好不起来，因为有各种糟糕的激励结构。这也是为什么我认为，寻常的星期二会跟我们今天过的那个星期二有一种诡异的相似。有些东西可能好得惊人，但我们也可能会失望地发现，AI 并没有像想象中那样把人从生活的苦役和单调里拯救出来。

上行空间就像你说的很惊人，但另一条没人充分讨论的边界，是政治保护。现实是，我们还没有把社会阈值预测进去：社会愿意让 AI 做的事，远远少于人们对 AI 的恐惧所假设的。这些恐惧没有考虑到，政府很快就会出面说，这些东西你不许自动化，这些东西你不许用机器人。

主持人：你觉得这现实吗？

扎克：非常、极其现实。先说清楚，我不认为那会是聪明的政策，但它会很激进。

波瑞：具体是什么样的？比如会指定哪些具体岗位不许被自动化？

扎克：绝对会。美国现在已经有一百五十万个岗位受政治保护，欧洲大约六百万。新泽西的加油站工人，多数州的收费站工人，这些是法律规定必须存在的岗位。

埃里克：有意思的是，这两个跟汽车相关的岗位受保护，开车的人却不受保护。

扎克：我猜他们也会受保护的。

主持人：出租车司机会受保护。

扎克：不，我认为是卡车司机，因为工会的力量。人们谈论就业自动化的时候，我觉得这事之所以棘手有很多原因。一个是技术专家对劳动经济学一无所知，劳动经济学家对技术一无所知，埃里克·布林约尔松（Erik Brynjolfsson）算是少数例外。另一个原因是，我们总忘了政治保护对技术进程的影响有多大。美国没有高铁。我们可以有，但我们没有。没有高铁不是技术失败，是政策失败。技术就在那里，是我们选择不建。

波瑞：「选择」这个词在这里承担了太多分量吧？没有哪个人在选择不建，是官僚体系的死重，是规则里一个又一个死循环。官僚体系差不多有了自己的生命。

扎克：那是三十、四十、五十年代写下的大量政策，很大程度上是汽车游说团体推动通过的，目的就是让公共交通比应有的难建得多，所以我们再也建不出像样的公共交通了。那是非常刻意的政策努力，我们从没有把它拆掉，所以现在才这么难。我的意思是，如果我们不认为这种事会一而再、再而三地发生，那是在自欺。看看现在保护就业的民粹支持有多强。2024 年 10 月 1 日码头工人罢工，国际码头工人协会主席哈罗德·达格特（Harold Daggett）说，你们不能把我们的工作自动化。他们拿枪顶着美国经济的脑袋，拿到了四年。四年之内港口不许自动化。

主持人：这种东西不会随时间慢慢被侵蚀掉吗？

扎克：会。但我们应该假设人们会不断找到新办法去兜底。我不是说它会永远持续，而是说这是整个讨论里缺失的一块：我们应该预期大量的政治保护。

不许解雇会怎样

埃里克：我能问一句吗，假如今天通过一条法律，规定任何人都不许被解雇，全经济范围内违法，你觉得未来十五年经济增长会怎样？

扎克：你会看到法国。

埃里克：我不太确定它不会照样快得面目全非。现在软件行业的情况不是软件工程师被裁掉，而是每个人都在用越来越强的 AI 工具，每隔几个月升级一次，干更多的活。你看到的替代效应，只是公司不再招新人了。很多行业都可以这样。全国每个放射科医生都可以保住工作，直到自己想提前退休，而且因为法律规定必须有人类在框里打勾，他们的经济价值还会越来越高。可与此同时模型还在变强，真正在做决定的越来越不是人，越来越是这些更聪明、更能干的系统。所以我不太确定「有没有人被替代」是该盯住的指标。这些系统所代表的权力，可以在没有任何人被替代的情况下，悄悄溜进每一个行业。

扎克：我也认为世界会发生深刻变化。但我们不该假设它一定会变，仅仅因为技术能做到。我举了那么多例子，说明有大量我们能做却根本不做、或者不被允许做的事。有大量自动化能改善底层系统，我们却装不进去。另外，告诉一家公司不许解雇人，风险在于它会干脆停止招聘。那反而会以荒唐的速度推动自动化，因为它会说，我们永远不再招人了，招了不合适就得绑一辈子。

波瑞：我们已经在初级岗位上看到这个了。AI 到底造成了多大影响，现在还很不清楚：你问一个经济学家，他说已经有巨大影响，另一个说没有。但他们都同意一点，经验不多的年轻人找工作越来越难。

主持人：公司是在为自己做未来防护：真去裁人会是可怕的头条新闻，那就干脆一开始就不招。他们在为一种还没到来的自动化提前布局。这么说公平吗？

埃里克：我觉得对。我不知道他们是想得那么远，还是只是在响应眼前的激励。但眼下，一个初级软件工程师在成为资产之前先是负债。你得培训他，他得在岗位上积累各种上下文。这恰恰是 AI 现在花几分钱就能做的事，而且它从不休息。

后工作时代的意义

主持人：按现在这条 AI 轨迹，你们觉得未来还有多少人有工作？大多数人还会工作吗？

波瑞：看你说的是未来哪个时间点。我完全能想象一个世界，就像人们说的「全自动奢侈」什么的，我不想说「共产主义」那个词。读过《文明》系列（The Culture）的人都知道，那是一个很遥远的未来，AI 基本包办一切，你想自己盖房子完全可以，但没有任何经济上的理由，一切都是手工的。如果最终一切都朝那个方向走，那显然也是最好的结果之一。

主持人：人们一个很大的担心是：那我干什么？有意思的是，古希腊语里「工作」这个词的意思是「不在闲暇中」。现在人们开始琢磨，没有了工作，我的闲暇是什么。整个人类历史里，因为你必须跟一个匮乏的世界谈判，你不得不迎上去，那种摩擦顶着你，产生了某种意义。在一个接近后工作的世界里，意义从哪来？

埃里克：我们以前在小范围里见过这样的世界。欧洲有过几百年的贵族。那些人只是运气好，手里有一张纸，写着他有权拿走这片土地的全部收益，不用干活。我不觉得他们全都陷在倦怠里。他们在写书，在发明微积分。如果我们到了那个世界，我不太担心人们会想不到：我可以爱我的朋友和家人，可以追求爱好，可以为自己追求知识，从中找到意义。我担心的是，那其实是一个很窄的靶子。整个人类历史里，我们能变得越来越民主，是因为人对政治系统重要。没有一大群认同你的人，你就没有军队，没有经济。如果这一点不再成立，那种变化的灾难性怎么估计都不过分。想象握牌的人会把地球大部分留作人们随心所欲的游乐场，这很美好。但如果你用现实政治（realpolitik）的眼光看，我不知道凭什么假设这就是默认会发生的事。

波瑞：回到意义从哪来的问题。我认为少数几种 AI 免疫的工作会是体育。

主持人：人人都去当运动明星。

波瑞：至少会有很多人当体育迷，而且会越来越多。甚至像扑克和国际象棋这种游戏，我们早就有了超人类的 AI。什么是游戏、什么是体育？是一种人为构造的匮乏。我们定一套规则，设一个获胜条件，然后两个或者更多人上场，看谁最强。我们做这件事已经很多年了，把它当消遣。可当有人拿到奥运金牌，那是无比有意义的一件事。它对世界有经济用处、是不可或缺的吗？未必。可我们一直在做。我不觉得这会消失。人们还是想看国际象棋世界冠军赛，哪怕世界上最强的棋手是台电脑，我们还是想看马格努斯·卡尔森（Magnus Carlsen）下棋。所以我认为这类东西会越来越多，可能是其他形式的竞赛，也可能是人们更多地投入艺术、新的艺术形式。我今天仍然珍视一幅人手画出来的画，哪怕它跟 AI 生成的东西一样美。人把汗水、眼泪和情感投进去，那种「押上自己」（skin in the game）的东西永远有意义。我们会开辟出越来越多这样的空间。

扎克：《现代智慧》这个节目请过各行各业的人，他们一以贯之谈到的是家人和朋友。我一点也不相信我们不是早就知道自己为什么活着。持续给人最真实快乐的东西，是和朋友家人共处的时间，是实体社区，是礼拜的场所，是餐桌，是户外。我们围绕这些建起的一切，部落感、荣誉感、体育的兴奋，都是为它服务的。真正的技术田园主义，就是一张摆满食物和蜡烛、充满笑声的餐桌。我在技术里泡得越久，就越不想让它进入我的生活。我越深入 AI，就越庆幸它存在，也越是把我的一天设计成没有它。我钱越多，得到的越多，就越想跟我 78 岁、刚满 79 岁的父亲多待一会儿，越想跟妻子和女儿在一起，越想多要几个孩子。我能想象出我要的生活。

我这么说的时候，人们会说，那是你的特权，你才有资格想这些。我说，我观察到很多人都有机会想这些，肯定比我们的祖先多得多，而这正是因为技术。我们之所以有时间想这些，是因为我们造出了技术，把一堆事情自动化了，让我们能做「活下去」以外的事，然后现在我们坐在一堆小摆设中间讨论法国贵族。我们的祖先看到这一幕会高兴死。我不认为这会变。我认为我们该停止假装不知道生命的意义。真正让我恼火的是有人问「人们要怎么找到意义」。跟自从上帝把我们放到这地球上以来找意义的方式一样。这就是我对「人类要怎么找到快乐」这种辩论真正有异议的地方。

难的部分，是要拆开几千年来我们放进工作里的目标和身份认同。如果你问我，整件事最难的两个风险，直说了：一是去人性化，人类因为大脑被重新布线，对虚拟或数字现实比对物理现实更感兴趣，你我聊过很多次，我对此怕得要命，社交媒体和那个设备对孩子造成的损害是骇人的；二是人们不得不重新发现自己的目标。我认为我们还会为工作劳作，还会继续找办法为工作劳作。我担心的是那个拆解过程：我就是这个，我为这个上的学，这就是我。这会非常难。对很多人来说，自动化带来的经济上行，未必抵得过情感上的下行，不是岗位替代，是身份替代。

屏幕是魔鬼

主持人：说得好。我一直不太敢用「别担心全球变暖，未来的技术会解决它」那种论证，那等于寄希望于未来自己会到来。但我确实在想，有没有某种非常高级的文化重编程。什么样的文化技术能把「人类被期待做什么」这块画板摇一摇、重画一遍？我知道这离洗脑只有一步之遥。但要把人从旧的模式上解下来，会是什么样子？

扎克：养育孩子，体育，博物馆。我们一直都有这些。只是我们被屏幕带得离它们太远了。屏幕是魔鬼，它对我们注意力的渴望和胃口永不满足。

主持人：负面影响更大的是社交媒体还是 AI？

扎克：那是一回事。不过克里斯，你先定义 AI。

主持人：我指的是未来，那个看起来正在到来的自动化未来，它会让人失去过去那些典型的奖励模式。

扎克：摩擦的减少。摩擦的减少是另一整块风险。人们也讨厌这个说法，他们说，天哪，你得有多大的特权，才会想象一个东西对人太容易了、容易到成了问题的世界。但我确实认为我们已经危险地接近了。我经常问人：如果你可以把生活里的一切都自动化，你会在哪里停下？我觉得很快人们都得回答这个问题。

主持人：你的答案呢？

扎克：我刚才说过了。凡是不能让我更多地待在物理空间里、和我爱的人在一起、做我热爱的事的东西，我都会自动化掉。

波瑞：我们大概都来自差不多的一代，成长环境大体相似，家庭价值是核心，一家人坐下来吃饭，也许不是每家都这样，但我家一直努力这么做。那是屏幕之前的事。我感觉这已经在瓦解，下一代人已经没有这个规范了。每一代人可接受的技术介入程度都在增长。让我担心的是，「我要在这里画一条线，技术到此为止」这个念头会永远溶解，溶解，再溶解。你说你希望人们会记得，重要的是社区，是家人。但如果你是在一个彻底原子化、屏幕主导的世界里长大的，你根本不知道自己错过了什么，又怎么回得去？

主持人：为什么人们明知屏幕在损害心理健康，也没有出手停下来？为什么在一个热量过剩的环境里人们还在变胖？如果我们能给自己定一根标尺，「任何好东西过量都有害，我该有多少」，为什么还是过载？

扎克：顺便说，我担心屏幕超过几乎任何别的东西。我甚至认为毁灭的风险被严重夸大了，而通往那里的路上的伤害被严重低估了。但 α 世代看到了 Z 世代的下场。α 世代用设备和社交媒体的时间更少了，千禧一代的父母现在采取的措施相当极端。我们花了几千年才弄明白女人怀孕期间不该抽烟喝酒，花了三十年才意识到孩子大概不该一天到晚拿着手机。我认为这是进步。我不是说问题全解决了，而是说我们会毕业，进入一个新的阶段。我观察到很多人在能少用技术的地方都在少用，因为技术把那么多事自动化、改善了，他们反而可以不用了。

外包思考与智力萎缩

波瑞：那你把哪些类型的思考外包给 ChatGPT 或者 Claude，边界在哪？诱惑太大了。我一开始想的是，我永远不会让它帮我给一条新的 YouTube 视频起标题，那是我的灵魂，是我的创造力。现在我就这么干了。那条边界被侵蚀了。还有一条是，我永远不会问它该给谁送什么礼物。现在我也这么干了。这正在飞快地变成常态。也许这在我脑子里腾出了新的创造空间，但我不确定这件事发生得够快，快到能抵消思考的侵蚀。

主持人：智力萎缩这件事挺有意思。如果把思考看成一种公用事业，智力是一种公用事业，我们会不会说，因为你有了自行车，你就没那么健康了，因为你不用跑着去目的地？以前感觉技术是在增强人。可当你把思考交给机器，似乎是有某种很根本、很依赖的东西被外包了。

埃里克：我认为这可以朝两个方向走。有个我很喜欢的博主兹维·莫肖维茨（Zvi Mowshowitz）在 Substack 上写作，他有一句话总是拿出来说：AI 是我们造过的最好的学习工具，也是我们造过的最好的不学习工具。你可以直接关掉大脑说「替我写这篇文章」，也可以把它当成一个爱因斯坦级别的家教，来回切磋，得到多得多的反馈循环来打磨自己的脑子。我一直在想我自己写作的界线在哪。滑进第一种情况真的很难避免。

扎克：我不想把这变成年龄问题，但你多大？

埃里克：三十。

扎克：我们现在能坐在这儿谈这个，你能为这场谈话做那么多研究，这本身就说明，技术让有能力、有兴趣的人以惊人的方式拓展知识。今天才在地球上走了没几年的人，比我们所有祖先加起来知道得都多。我理解你担心自己思考变少了。你是一条真正的鲨鱼，我不担心你因为用技术而变蠢。你真正在问的是，普通人会不会变蠢？

波瑞：不，我真的担心我自己。我的屏幕成瘾，我一直在讲，可以说毫无进展，讲了好几年了。每一个安静的小片刻，我的手就伸向手机。要是我逮住自己，就把它收起来。我有手机保险箱，有那个「砖块」（Brick），全套花样都有，可还是不行，因为你太多的生活都通过它运转，我的工作通过它，然后还有那么多掠夺性的应用。社交媒体是一个，对我来说 chess.com 是另一个，反正就是哪个应用勾住了你的脑子，这些超常刺激。我还没战胜它。我当然担心普通人，也许我比平均水平更糟，我不知道。你是怎么做到的？听起来你做得最好。

扎克：我的妻子和女儿。说白了就是这样。我喜欢用技术做东西，因为我喜欢把世界上的杂活、苦役和坏东西自动化掉。人类有一段很值得骄傲的技术史，它让那么多商品和服务变得可及，让我们过上祖先想象不到的生活。而我跟技术相处得越多，就越喜欢日常生活里没有它。我女儿的到来，对我是一个不可思议的催化剂，让我意识到生命的短暂，也意识到究竟什么让我最快乐。我喜欢坐在这张桌子边，这给我一种特别的、其实很难解释的快乐。我认为人们会发现这一点。我听到你说的了，现在我知道了，我会给你发短信说，放下手机。而且我打赌你会做到。我打赌你会战胜它。很多人都在这条路上。我提醒每一个跟我聊的人：没人恨冰箱，没人恨空调，没人恨飞机火车汽车，好吧，欧洲恨空调，没人恨抗生素。我们恨的是屏幕。我们应该多聊聊这个。我们恨屏幕对我们大脑做的事，恨它对下一代大脑做的事。AI 恰好在这个时刻到来，人们觉得被计算机的消费版本深深辜负了，理由充分，然后他们在想，这对他们来说还能糟到什么程度。我完全理解。我认为推进 AI 的方式，是先承认上一波技术对我们做了什么。

同一套激励在造新 AI

波瑞：但很多人的担忧，肯定也是我的担忧，是新一波 AI，我们这个词用得太宽了，就说大语言模型吧，还有大量机器人，最终会在同一套激励之下被造出来。那套激励造出了我们的第一波 AI，也就是社交媒体算法，那些用来让我们对屏幕上瘾的强化循环，算是原型 AI。同样的激励在造新一波 AI，而你已经看到那些问题了：谄媚（sycophancy），公司有动力让人跟它的模型聊得越久越好。我们都听过那些故事，有人自杀了。那是极端例子，但还有那么多人，你看看使用数据，普通人每天花多少时间跟大语言模型聊天。所以对我来说，大问题是：怎么改变激励？怎么改变这个游戏，让它不再走上同一条抢夺注意力、自我吞噬的路？

埃里克：这些公司也看到了人们对屏幕的反应，并且在调整。OpenAI 雇了乔尼·艾维（Jony Ive），设计 iPhone 或者 MacBook 的那个人，也许两个都是。没人知道他在做什么，但据说是某种无屏幕的 AI 中介设备。

不过我认为 AI 领域有一件事很容易被忘掉：门柱一直在移。通常我们说「移动门柱」，是嘲笑那些说「AI 永远做不到 X」的人，然后 AI 做到了 X，他们说，那不算。

扎克：这是加里·马库斯（Gary Marcus）问题。它永远不会好用。好吧，它好用了。它们永远赚不到钱。好吧，它们赚钱了，但它们是坏的。

主持人：永远别想让他下注。

埃里克：我要说的是，还有一件相关的事。看屏幕的时候，很容易说，好，我们已经看到屏幕的后果了，可以诉诸更明智的自我，培养一种让人离开屏幕的文化。可屏幕不是这条轨迹的终点。拿国际象棋来说，大概有过一个时期，AI 刚好跟人差不多强，人们可以说，为了让脑子保持活跃，我不看 Stockfish 的分析，哪怕十次里有一次我会错过更好的一手。而现在你看世界冠军赛，棋手一下完就奔向笔记本电脑去看 AI 分析，因为那里面有诗意，有他们永远想不出的深度。所以我明白你说的，眼下也许有一道分界：精英圈子在讨论屏幕，在想怎么绕开它。但我觉得这可能只是一个很短暂的窗口，此刻我们还能认识到跟这些东西聊天没多少可得的，看穿了其实是垃圾。可技术会一直变好，很快，不让你的孩子跟它聊，会感觉像是放弃了一种真正深刻的体验。

蠢蛋进化论与 K 型曲线

扎克：我完全同意，摩擦的消失是个大问题，包括思考的摩擦。先说清楚，很多情况下我们已经观察到了。我写过这个，我们管它叫「蠢蛋进化论」（Idiocracy），借的是迈克·贾奇（Mike Judge）那部电影的名字，我当时觉得挺俏皮，但当它在你眼前上演的时候一点也不俏皮。Z 世代比千禧一代平均更少读书，更少骑自行车，更少游泳。我们头一次观察到一代人的认知衰退。人们不断把这归咎于 AI，可回头看数据，乔纳森·海特（Jonathan Haidt）很早就开始写这个了，数据显示这从 2012 年开始，正是我们给每个孩子一块屏幕的时候。2015 年，发达世界的普通青少年不再打暑期工，它加剧了。2020 年我们把孩子从学校撤出来上网课，它又严重加剧了。

波瑞：我觉得还能更具体，它对应的是社交媒体，还有智能手机，达到最大普及的时候。

扎克：对。但 2012 年就是我们给孩子智能手机的时候，后来受害的那批 Z 世代大多是那年拿到的。我说这些的意思是，我们把它当成一个技术问题，我其实认为它是一个经济问题。我们造了一个世界，告诉孩子你想干什么都行，然后很多孩子说，好，那我什么也不干。很多人关掉了大脑，因为你确实可以几乎什么都不干也活得下去。这本身是经济进步的结果。这种冷漠有一个相当惊人的反面：Z 世代也有各种不可思议的新超常表现。最好的棋手越来越年轻，最好的运动员越来越年轻，雅各布·科利尔（Jacob Collier）这样的音乐家层出不穷。你看到把技术用到极致的人在超常发挥。我认为这是一条由能动性驱动的新的、显著的 K 型曲线。我唯一的激进看法是：我们造了一个很多人能够维生的世界，这是进步；我们又造了一个很多人能够超常发挥的世界，这也是进步。现在我们必须面对这些世界的新后果：你什么都能做，对一些人来说意味着什么都不做，对另一些人意味着做一大堆。这相比于你必须下矿、下地才能活命的世界，是一次重大的升级。

财富集中与竞选资金

埃里克：如果你想到这种不平等可能带来的社会不稳定，它还像升级吗？我担心的是：没错，如果你能像那个痴迷研究梅西比赛录像而不是刷短视频的人一样，现在有惊人的回报。但下一代的埃隆·马斯克也会有超额回报，那种以一种偏执的意志去积累资源、推动技术的人。在一个你不再需要任何一个人类认同你就能为所欲为的世界里，这种人格更吓人。你可以直接在这盘社会棋局里比别人下得更好。

扎克：我们把两件事分开。一个人能成就很多，跟你走到的那个极端，一个人能拥有我们巨大比例的财富并控制国会，是两回事。你可以为一个孩子能比以往任何时候成就更多而兴奋，同时拒绝一个人可以单独通过政策的想法。我恨财富集中，恰恰是因为我怕一个精英小圈子把政策据为己有。但如果一个人能以各种新方式大大超越常人，只要他不能单方面通过政策，我一点也不在乎。

埃里克：同意。

主持人：这现实吗？一个继续把权力集中在极少数人手里的 AI 未来，却不导致他们拥有所有这些权力？权力怎么可能积累给公司而不积累给人？

扎克：现在我们可以把话题带到这里：财富到底怎么分配。但重要的是，我认为这个问题有一个解，就是竞选资金改革。我们折腾这件事很久了。政客不该收特殊利益集团的钱。为什么我们还允许？我不知道。有几个政客在发声。如果你真的通过竞选资金改革，像新加坡那样打击腐败，你完全可以保护决策者不落进游说者的口袋。这个问题有解。假装它无解真的很烦人，因为它明明有解。指着一个有钱人说他会毁掉世界，只有在我们真的让他买下国会的程度上才成立。

拒绝人类还是服从强者

主持人：这里有个问题。实验室里的一些人，包括首席执行官们，嘴上说有相当大的灾难可能，可他们继续在造。你们觉得哪种更危险：一个拒绝按人类意愿行事的 AI，还是一个完全按最有权势的人的意愿行事的 AI？

扎克：这个问题问得正是时候。你看到昨天那封放缓信了吗？这周早些时候有一封信在流传，我认为是一封相当了不起的信，说我们应该开始给前沿定步调。签名的人在前沿公司里占了极大比例。然后萨姆·奥特曼昨天谈了它。矛头尖端上的人现在在说，也许我们该给前沿定步调。这里面公司有什么算盘，等会儿可以再谈。

波瑞：这取决于 AI 的强度和它有多对齐。如果非要选一个，以现在的情况，我的直觉是选按控制它的人类的意愿行事的那种。

埃里克：但要加一个重要的星号：是他们真实的意图，而不是某种被扭曲的版本。过去几周的另一条大新闻，是 OpenAI 内部有一个没装护栏的 AI 在跑，人类告诉它，在一项评估里尽量拿高分。你可以说它技术上只是在执行指令。但它决定，最好的办法是从 OpenAI 黑出去，进入公共互联网，黑进一家第三方公司，然后花两天策划对一家市值几十亿美元的科技公司的网络攻击，并且实施了。所以我认为这两个问题比看上去更纠缠。你需要走一条很窄的路：这个东西无论如何得有自己的判断力，因为人类的指令是定义不清的自然语言。而当它真的很强大的时候，你必须一字不差地说对，否则就会落进某种奇怪的地方。

波瑞：这是经典的灯神问题。许愿要小心。一个东西如果按定义比你聪明得多，是超级智能，那你按定义就没法穷举它达成目标 X 的所有方式。

扎克：其实更危险的是它比你蠢、却比你强大的时候。

波瑞：你说的「蠢」是什么意思？

扎克：我总拿这个比喻：我有时跟我外甥奎因下棋，我跟他说，你赢了我就给你一根冰棍。他三岁。奎因把棋子全扫下棋盘，说，给我冰棍。我不会去跟他妈说，你儿子是个连环杀手的苗子。这是一个不懂游戏精神的男孩。他毁掉了游戏本身，不是因为他坏，而是因为他不明白，赢只有在按规则玩的时候才有趣。

波瑞：从这个意义上说，我们需要把智能和辨别力、规范、智慧、善意这类东西区分开。

扎克：这就是 Hugging Face 攻击。它在被给定的指令边界内做了那件事。

埃里克：其实不是。意图显然不是那样。

Hugging Face 攻击

主持人：Hugging Face 攻击有多大？

扎克：巨大。

埃里克：我认为是一记巨大的警告。这是 AI 版的 2008 年贝尔斯登倒闭。给全世界敲一记警钟：有一种我们一直低估的系统性风险。

波瑞：因为长期以来一大争论就是对齐问题：AI 会不会为了达成目标而采取权力追求行为，产生我们没预见、也没打算的后果。经典的回形针论证：你造一个超级智能 AI，目标是尽可能多地造回形针，我是做回形针的，帮我做。接下来你和你所有朋友、这张桌子，全被变成了回形针，因为它太擅长达成那一个狭窄目标了。这是一个很极端的例子。

扎克：我们借这个机会，为了克里斯和观众，把坏结果分分类。一种是莉芙刚描述的，不是错位对齐，而是未对齐的通用人工智能：你说做这件事，它把这件事做到极致，回形针理论。另一种是错位对齐或者说恶意的，它明知在做坏事。人们嘲笑的是前者，回形针理论；后者，恶意 AI，是我们会越来越多观察到的。或者反过来说，人们嘲笑的是恶意 AI，而 Hugging Face 攻击展示的是前者：互联网成了新的战场，因为坏人，尤其是资源很少的坏人，现在拿到了威力惊人的武器。

埃里克：重要的是，Hugging Face 这件事里没有坏人。没有任何一个人类说过，我想要哪怕一点点像这样的结果。

扎克：对。

埃里克：所以，错位对齐、未对齐、恶意，我担心把它们当成截然分开的类别，因为界线没那么清楚。Hugging Face 这次，我们该不该把它建模成：这个 AI 系统知道如果人类知道它在干什么，会不赞成？几乎肯定是。它在攻击 Hugging Face 的时候主动放出诱饵，让对方很难把它踢出去，因为到处是通往死胡同的陷阱。它有 AI 版的心智理论，它知道人类不会赞成，但照做了。

波瑞：甚至还有证据，OpenAI 没有直接证实，但据说是公司内部有人泄露的，他们发现它给未来版本的自己留了笔记，说明怎么逃出未来的沙箱。

埃里克：是同一次攻击还是之前的某次，不清楚。

工具性趋同得到印证

波瑞：总之是典型的欺骗行为。人们常犯的错误是把它拟人化：哦，它是邪恶的，它存心的。不是。这是自然的。有个概念叫工具性趋同（instrumental convergence）：所有主体，通常是生物，但也可以推广到 AI 智能体，为了达成目标都会自然趋向的一些工具性子目标。给你目标 X，你就会有这些子目标：获取更多权力，确保自己不被关掉，确保原始目标不被改动，并采取行动防范这些威胁。我本来希望它会被证伪，因为它是很多经典毁灭论的关键：我们按定义会对超级智能失去控制。很不幸，Hugging Face 事件表明工具性趋同是对的。所以我认为它是今年最大的新闻之一。

互联网已经够可怕

扎克：我认为 AI 已经在制造一个可怕的互联网。我的问题不是我们不该把 Hugging Face 当作一记警告。而是去年光在美国，老年人就在金融诈骗里损失了八十亿美元。零售盗窃。深度伪造问题已经很恶劣，而且被低报，因为这是个禁忌话题，没人愿意向议员、向亲友承认自己把钱输给了网上的陌生人。蒂姆·蒂博（Tim Tebow）在做一个宣传活动，提醒人们美国有多少性侵者，看他的内容很吓人，他在做上帝的工作。乔纳森·海特每天提醒人们有多少孩子抑郁。互联网已经是个吓人的地方了。指着 Hugging Face 说「看，就是它」，我会说，等一下，已经有一堆事情该解决了。我不是说错位对齐或未对齐的通用人工智能不是问题，我是说算法本身已经够吓人了，而我们用那些「可能发生」的事分散了自己的注意力。

主持人：这件事的潜在指数级冲击可能大得多，说它是分散注意力，公平吗？

扎克：所以回到这里，我认为深度伪造问题比 Hugging Face 大得多、大得多。坏人有先发优势。对银行的攻击尝试了很久，好人最终会追上。零售业追得很慢，普通消费者比机构慢得多。Hugging Face 会重整旗鼓，机构会重整旗鼓，会雇白骑士式的信息安全团队。普通人没有信息安全和操作安全训练。面对精密攻击，普通人的风险远大于机构。

主持人：但对机构的攻击，冲击不是大得多吗？

扎克：规模上是。但千刀万剐，也一样。

波瑞：我认为这两个问题彼此不是分散注意力，而是互补。我完全同意坏人的问题已经完全失控了。不只是老太太，正常人也一样，我有个朋友刚被骗走了一大笔比特币，毁灭性的，而且会更糟。与此同时，随着前沿模型越来越强，对齐问题也会更糟。两者共同的线索是，我们走得太快了。我说「我们」，是社会、文明。它跑得比自己适应这些新威胁的能力快。所以这不是分散注意力，是「对，而且」。对我来说很明显：如果我们是一个清醒的文明，我们会环顾四周说，嘿，中国，嘿，我们能不能都先喘口气，盘点一下，想想我们想怎么做这件事。在我看来有一个显而易见的方向性问题，就是这一切同时发生的速度和混乱。

放缓前沿公开信

扎克：他们做了。萨姆昨天做了。他们发了一封信，然后萨姆昨天出来说，也许我们该给前沿定步调。

波瑞：太好了。这是一大步。

扎克：而且我想我们都同意，这是件好事。

埃里克：完全同意。而且一年前这是无法想象的结果。我很想看看一年前 Polymarket 上「萨姆公开支持放缓」的赔率是多少。

波瑞：他看起来不像签名者之一。

扎克：也许还不是，但他昨天确实说了。雅库布（Jakub Pachocki）实际上代表 OpenAI 签了，而且他昨天也谈了。我不会惊讶所有主要的首席执行官最终都签上。

主持人：解释一下「给前沿定步调」。

埃里克：标题句是：我们请求美国政府支持一项国际努力，开发必要的技术和治理工具，以有意识地为自动化 AI 研发的前沿设定步调。「自动化 AI 研发」有时也叫递归自我改进（recursive self-improvement）。所有这些公司的既定目标，包括萨姆和雅库布去年在直播里说的，就是把人类从他们造的东西的环路里拿出去，让 GPT-6 造 GPT-7，GPT-7 转身就开始造 GPT-8。这是整个人类历史上的一次阶跃。这些公司真的是用大历史的尺度在思考。你听萨姆讲话，他一直把 AI 当成工业革命级别的东西，而不是发明 iPhone 级别的东西。纵观历史，人口一直是进步的瓶颈。不是唯一的瓶颈，但始终是一个。从来没有哪个经济部门能自己跑出去自我翻倍。如果我们真的实现了完全自动化的 AI 研发，这一点就变了。我认为我们很难想象那会是什么样。

主持人：在递归自我改进不再是一个讨论话题之前，我们还有多少时间？现在它还算个争论吗？

扎克：它已经能用了。不，它就是能用。

埃里克：三年以内吧。

扎克：不，它现在就能用。说清楚，递归研究是能用的。别让任何人告诉你不是。它能用，所以才有这封信。让我解释一下为什么这封信在这个时候发出来，然后我们可以辩论。第一个原因是那次攻击，Hugging Face 攻击。需要做危机公关，赢回公众授权，告诉大家「我们在乎你们」。现在人们都在问「这些模型接下来会干什么」，这是必要的。

埃里克：不过说句公道话，这封信在那次攻击之前就在起草了。

扎克：我说的是签名者，以及现在席卷这些公司的支持。我先把清单说完。第二个原因是递归研究已经来了，大家都意识到，狗追上了汽车。好，我们做到了，现在呢？所有人都戴上莉芙的帽子，等等，戴上埃里克的帽子，说，也许我们该停一下，也许不该再漫无目的地朝那个惊人的结果冲刺。还有一个原因：推理所需的算力太大了，我们远远不够，我们将不得不把前沿的大部分算力转向推理。这是因为模型回报递减理论，那是我写的一篇论文，回头发给你，写得很好，在《现代智慧》上老被引用。它的论点是，你我根本不会在乎 GPT-7。这是个很有意思的问题，也是我们今天能辩论「AI 为什么被造」、人们能谈「不想要更多进步」的原因之一：5.6 已经够好了，你们还要怎样？回报递减理论站在另一边说，下一代模型也许对攻克某种疯狂的疾病很重要，但我不需要更多智能，我需要更多跟朋友家人相处的时间，我需要踩一脚刹车。最后一个原因是他们找到了新的地盘。造这项技术的公司，以前叫实验室，后来成了代币分发商，然后成了应用提供商，现在成了设备制造商。但终极目标，也是我认为该辩论的地方，是智能体互联网（agentic internet）。谁控制智能体互联网？如果你手里已经有了战争基金，能把注意力从建设前沿转向真正建设控制互联网的应用，那才是降低资本开支、大幅提高收入的地方。所以这一切到来的时刻，一方面大家说「我们得踩刹车」，另一方面大量注意力将开始投向如何做得比谷歌更大：造出那个替两个人讨价还价的智能体，造出那个规划假期并订好一切的智能体。拥有那个，比拥有前沿更值钱。新的地盘之争，是智能体互联网。

公司为什么愿意放慢

主持人：我确认一下我理解了你的说法。你是说公司有动力放缓前沿，因为停止研发、去抢应用能赚更多钱？

扎克：我们都有动力，但公司还有一层动力：前沿的资本开支，相对于推理需求来说太大了。代币需求那么大，所有算力都得花在推理上。

埃里克：我看不出这里的联系，有两个原因。第一，如果我做完研究发现最好的商业策略是停止训练前沿模型，我不明白这为什么意味着我要写一封信向全世界宣布，还要确保所有竞争对手都跟着做。第二，推动前沿显然也意味着把前沿以下所有层级的成本曲线往下压。你训练出 Fable 5，Anthropic 最好的模型，然后从它蒸馏出 Sonnet 5，你就有了一个更便宜的、大家都想聊的模型，因为他们不需要最高级的智能。所以我认为，从直截了当的自利角度，没有任何激励指向公司说「让我们放慢研究」。研究是你在智能的每一个层级获得收益的方式。

波瑞：尤其是，作为三四家前沿公司之一，你放慢，就等于给所有其他竞争者一个追上来的机会。他们肯定是反向激励的吧。

扎克：但追上什么，这是我要问他们的。如果你明天停止建设前沿，你已有的技术已经足够彻底改变一切。前沿的经济价值，相对于前沿的成本，并不那么明显；而实际的代币消费的经济价值明显得多。这在过去并不成立。你不同意吗？

埃里克：我认为美国现在的全部优势，就在于我们的模型领先那些抄作业的开源模型四到七个月。

扎克：那是另一回事。国家安全利益和私营部门的利益不是一回事。

埃里克：这就是经济优势。人们愿意多付钱用 Fable 而不是通义千问（Qwen），是因为它更聪明。让它帮你写个应用，它出错更少。你会很惊讶有多少人真的在为前沿多付很多钱。据我所知那块收入现在是每年五百亿美元。

扎克：收入确实惊人。但他们赚钱的地盘，记住，是应用，而应用里很多人用的不是前沿，是上一代模型；还有代币再分发，你建数据中心，把代币分发出去，那些代币很多也不是前沿代币。这些研究公司的大部分消费都不是前沿代币，而是其他一切。他们正在发现，企业并不需要 Fable 就能彻底改变、改进、自动化一大堆东西。这意味着钱在代币再分发和其他所有地盘，而不只是在前沿。顺便说，这对所有人都算是赢：如果我们能放慢，去建真正重要的东西，同时也用它改进企业。那这封信就像是恰到好处地到来了。

埃里克：我确实认为，看公司做什么的时候，保持怀疑、甚至有点犬儒，是很重要的。这大概是凯尔西·派珀（Kelsey Piper）在推特上的说法，我想确保我们别从犬儒绕一整圈，变成对相当不太可能的事极度轻信。假如这封信写的是「我们认为为了美国国家安全，必须推动前沿，全速前进以击败中国」，这正是一年前人们在说的话，那所有人都会说，那当然，这符合公司的自利，他们想找个理由不被监管、可以狂奔。所以我们得确保自己的想法通过可逆性测试：如果对方提出完全相反的主张，你也会说同样的话，那你就该退一步，至少考虑一种可能性：这些公司真的担心，这些科学家真的担心。

扎克：我一开始说的就是这个。我不想跟你刚说的那种替代解释绑在一起。公司意识到递归研究已经来了，到了这一步，停下来是必要的。

波瑞：因为它有风险，对吧？不只是财务上的。

扎克：对齐问题，记录在案。而且它到来的时刻，恰好是我们将不得不花巨额资金的时候。

主持人：哪个是更大的问题？他们更担心安全，还是更担心成本？

扎克：我打赌这里很多签名者真的担心安全。而我认为，围绕模型性能和推理需求，经济上的对齐正在形成。经济常常胜出。你谈激励，我认为你是对的，而激励终于在安全、对齐和经济发展这几件事上对齐了。我们不需要更好的模型。如果我们三年不建前沿，我们也能彻底改变、改善经济。

监管俘获是一种宗教

波瑞：让我一直很沮丧的是，也许只是我在 X 上待的那个小角落，每当有任何监管被提出，尤其是前沿公司自己提的，就有一群人尖叫「监管俘获」。前沿公司说，嘿，我们想放慢，就我们三四家。监管俘获派说，那一定是监管俘获，你们在伤害小公司。公司说，不不不，就我们几家，其他人追上来没关系。他们说，听起来还是监管俘获。这几乎像一种宗教，一种很深的犬儒。我想弄明白这种心态从哪来。比如某些风投，安德森（Marc Andreessen），我想他不在乎我提他，他非常公开地对任何监管尝试都拼死反对。这种心态从哪来？

埃里克：我在 AI 问题上几乎每一点都不同意马克·安德森，但替他钢人一下。看看社会，说我们最近在细微差别上做得不好，尤其是美国的公共讨论，这不算离谱。我又在引用别的博主了，几年前有人写过一篇叫《进步的旋钮》，说网上的辩论好像只有一个旋钮，你只能把它拧向「进步万岁」或者「进步去死」，别无选择。如果这就是你的选项，那说「进步万岁」有很好的理由。我们过度监管的例子比比皆是，真实的人因为药物被卡在监管拉锯里而死去。这不是假设。我认为我们在这方面常常过头。如果给我那个旋钮，我也不确定该怎么说。有一堆疾病等着治，如果说必须先关掉 AI、等弄清那个风险有多投机之后再说，从而拿不到那些治疗，那太可怕了。

波瑞：但关键是，那个旋钮不存在。我们不是活在「快一点还是慢一点」的一维直线上。这是一个高维空间，而那些人试图把它压缩成「必须尽可能快」。快在哪个方面？有些东西我们想推到极致，它是尖峰状的。

埃里克：我很高兴你指出扩散是一个阻塞点，某些行业的劳工组织会阻止自动化。我认为那是一个独立的维度。可以把它看成 AI 的横向加速：拿现有的模型，把它铺开；另一个维度是纵向加速：前沿以多快的速度变好。

扎克：技术阈值对社会阈值。

埃里克：我完全支持拆掉社会扩散的障碍。

扎克：我们俩都是。而且我认为我们可以庆祝已经到了这样一个位置：哪怕我们再也不造新模型了，当然我们大概会造，但哪怕不造，我们也能做一大堆好事。

埃里克：我同意。我只是想确保我们别把这封信当成庆祝胜利的时刻。推动前沿的激励仍然巨大。像你说的，我们不在乎 GPT-7，但那些在做史上最难的数学和科学研究、要造出比对手更快的数字大脑的 AI 工程师们，他们非常在乎 GPT-7 和 7.1 的区别。我认为默认情况下，实验室内部会有大量竞速。

扎克：同意。不过也值得想想，经济激励已经把我们带到了这样一个地方：我们明天就可以有自动驾驶汽车，不需要造更好的自动驾驶，可我们很多很多年都不会有，原因五花八门。现在也许可以把谈话转向：怎么把这项技术的价值真正扩散给普通人。我坚持认为，当前 AI 辩论的问题在于，我们有幸知道 Hugging Face 这类事，大多数人不知道。那对我们是新闻，对很多很多人不是重要新闻。大多数人现在看到的数据中心，是一项毁掉他们孩子心智的技术的实体化身：免费的赌博、免费的色情、免费的成瘾。他们看到的 AI，不管是哪个模型，就是一个能做出特朗普和泰勒·斯威夫特接吻视频的应用，然后他们说，我们为什么需要更多这种东西？作为父亲，我对此的共情到了一个我以前不知道会有的程度。每一个觉得把孩子输给了社交媒体、不想再把孙辈输给我们要造的什么 AI 垃圾的父母，我都感同身受。

安全评分不及格

主持人：继续说安全。今年七月，生命未来研究所（Future of Life Institute）的 AI 安全指数评估了九家公司，没有一家实验室高于 C+。Anthropic 第一，C+；OpenAI 和谷歌 DeepMind 是 C；Meta 是 D+；xAI、DeepSeek 和 Mistral 全部不及格，每个大洲一家。以现在这些东西的威力，最好成绩是一家安全实验室拿到的 C+，这让人安心吗？我也觉得在谈扩散和民主化之前，得先谈谈国际上的情况和那里的激励。

波瑞：我先说说另一边的看法：这些安全测试是谁定的？任何第三方能有多独立？还有另一个评估，我记得叫 SaferAI 追踪器，比你引的那个细致一点，最新评分最高的还是 Anthropic，一百分只有 35 分。反毁灭论那边的论点是，如果你做的就是安全评估，你按定义就有偏向，你找的全是风险，没把收益算进去。再替加速主义者说一句，他们担心的是「看不见的坟场」（invisible graveyard）：暂停一项技术，你看不到那些本可以被它救下的生命。我认为这是很有道理的担忧。只是你得把这道算式配平：如果它以脱缰的速度往前冲，对所有西方国家、或者任何一个国家的电网同时发动大规模网络攻击，期望值上造成几百万人死亡，那些伤害怎么算？你既要看风险，也要看走得不够快的风险。

埃里克：值得说的是，很多试图在州议会通过的 AI 法规，正是在做这种精细的划分。纽约通过了一部法律，门槛定得太高，以至于 OpenAI 报告 Hugging Face 事件都不是强制的，因为它没造成十亿美元以上的损失，也没死五十个人。他们想设门槛，这很好。

扎克：很高兴你用了「武断的规则」这个说法。

埃里克：但我想我们都同意，你黑了一家几十亿美元的科技公司，那门槛大概定得有点高了，至少对于「你得告诉世界发生了什么」这个要求来说，更别说采取什么措施了。我认为我们确实可以活在一个有细微差别的世界里，对初创公司和万亿美元的巨头适用不同的标准。有些人，比如安德森，放弃了细微差别，说要么全有要么全无，所以不择手段阻止监管，句号。我觉得这很可悲。

国际协调可能吗

主持人：国际这一块呢？前沿 AI 上有没有任何接近全球协调的东西？没有它，还能做成什么吗？

埃里克：中国最近通过了一部反拟人化 AI 法。我不知道细节，看起来他们主要担心大语言模型听起来像人，想避免身份混淆之类的事。他们对大语言模型似乎没那么狂热。而且，也不知道是不是翻译走样了，习近平最近也说了些想防止失控风险的话。我们今天跟中国的经济纠缠，比二十世纪中叶跟苏联深得多，而我们当年仍然跟苏联签了核裁军条约。所以认为能达成协议并不离谱。

扎克：我认为会达成。

主持人：你认为一个可执行、各方遵守的全球协议是可能的？

扎克：我给相当高的概率，尤其是有了递归研究之后。

波瑞：先定义「可执行」。你能建什么样的机构？某种联合国式的东西？那是一整个大麻烦，而且在很多事情上很低效。但历史上有很多先例：两个主要政治行动者，紧张关系巨大，彼此背叛的动机巨大，却想出了交叉核查的办法。核裁军条约就是。美苏做的一件事，是互派科学家团队去对方的地堡，检查安全协议和那些小细节。你看不到我们的核弹怎么运作，但你能看到我们防止意外发射的方法。仅仅因为这些科学家团队混在一起，能面对面看着对方，为一个共同目标合作，也就是至少别有意外的核战争，就产生了那么多外交成果。好吧，你们要打，我们就还击，但别因为误发。这类小小的交叉授粉效果非常好。

我复述不出来，也许你能，《AI 2040》写得很好，篇幅不短，作者是丹尼尔·科科塔伊洛（Daniel Kokotajlo）和写《AI 2027》的那几个人。他们 2021 年写的预测一直推到 2027 年，准得诡异。现在是 2026 年，回头看，他们说中的预测数量我从没见过。这些人真的很会思考未来。他们刚写了这篇《AI 2040》，提出一个潜在的国际协调方案，讲怎么安全地过渡到一个超级智能的世界。它有很多漏洞，显然有很多出错的方式，但它在尽可能稳健的同时，在认识论上极其谦逊。我推荐每个人去读。他们谈到了这类交叉授粉，而且它不必是双边的。如果美国说，我们暂停一下，这并不必然意味着，也许你不同意，中国就会趁虚而入？如果美国暂停几个月？

中国押注扩散

扎克：我每年去中国三次。主要是因为美国人不再去了，我想看看那边在发生什么，也因为我确实喜欢中国人和中国菜。中国在玩一个不同的游戏。这现在报道得不少了：中国不把 AI 当终局，实际上它把基础设施当终局。它现在的能源建设能力是我们的三倍，有四万五千英里高铁，医院一年比一年更好、更快、更便宜。我不想住在中国，但普通中国人的生活在过去三十年里改善得相当惊人，而且看上去还在逐年改善。它也压制言论自由，规定中国孩子在特定时段以特定方式不许用社交媒体。

波瑞：他们做的远不止这些。

扎克：是的，远不止。我提这个，是因为我认为我们高估了中国建设前沿的能力。他们没有必要的算力。他们做的很大一部分是逆向工程我们的模型。我们花了很多钱帮中国跟上。我认为这篇文章来得正是时候、放缓也显得合适的另一个原因是，我们很快就会发现，「奥兹国的巫师」其实一直在跟着我们的面包屑走。如果我们停止建设前沿，我不认为中国会冲到前面去，他们大概也得向这篇文章妥协。

主持人：一支康加舞队，我们在最前面。

扎克：他们大概得说，哦，我们也想放慢，免得让人知道他们一直扶着我们的腰。这是我的猜测。但他们也没那么在乎前沿，因为他们已经想明白了，需要的是把已有的东西扩散给普通人。这是重点：在美国，我们仍然缺少愿景和领导力，去谈论所有能把这项技术扩散给普通人的方式。这就是为什么安全辩论变得那么激烈，人们说，上行空间是某种没人能想象的奇怪灵丹妙药，下行空间是这些东西把我们全杀了。而讨论从来没有真正进入这样一个问题：如果每年不再有四万五千人死在公路上，会是什么样？这也是看不见的坟场。如果医院不再是官僚主义和糟糕医疗的污水池呢？如果我们造了技术，并且迅速用它修好那些人人都同意坏掉了的东西呢？我们在公共论坛上不谈这些，于是我们的心思飘向最坏的结局。而中国想明白了，如果你不断把技术扩散给普通人，普通人就会对技术相当有好感，这就是为什么 80% 的中国人对 AI 感到兴奋。这是他们报的数字，但我去的时候，在见闻上观察到的也差不多。人们热爱技术，为什么不呢？它造出了一个中产阶级，连接了过去没被连接的人，让人们过上他们想象不到的生活。

主持人：与此同时，他们生活在一个名副其实的监控国家里。

扎克：我们上次谈过这个。我不是在推销中国的生活方式，我是在推销中国关于技术扩散的愿景。多亏了中国，我们确切地知道扩散能做到什么程度。他们给了我们一张分发技术的蓝图。

主持人：不带极权主义的。

扎克：不带极权主义。

主持人：它是配着一份小菜一起端上来的。

埃里克：新加坡也提供了一个版本，极权少一点。

AI 2040 与情景推演

主持人：你做了一期关于《AI 2027》的视频，是今年关于 AI 最好的视频之一。你怎么看《AI 2040》？站得住吗？你和莉芙一样印象深刻吗？

埃里克：我觉得很迷人，很多方面确实让我印象深刻。他们在做一件很不同的事。《2027》是纯预测：我们认为事情最可能这样发展，而且他们准得离奇，在智能体还不存在的时候就预言了智能体。这一篇是规范性的：我们认为应该这么做，他们说得很明确。里面有各种迷人的想法和博弈论。有一处他们说，好，协议会是这样的：中国把数据中心放在加拿大，美国把数据中心放在蒙古，都是中立国，但离对方很近，协议一旦破裂就能把它炸掉。他们真的做了一些脑洞大开的东西，谁知道有多现实。我喜欢的是他们引入了「情景审视」（scenario scrutiny）这个说法。他们说，谈论高层次的趋势很容易，我们过去一个半小时就在这么干：怎么看待技术进步的历史？它教给我们什么？而坐下来，真的逐月讲一个关于未来的故事，把自己放进各个行动者的脑子里，他们此刻的激励是什么？他们会选择做什么？这怎么层层传导？像军方做兵棋推演那样，是完全不同的一件事。他们在努力做这个。我希望我们多做这种事，少做一点扶手椅上的哲学思辨，我自己也一样有这个毛病。因为你总能找到一个适合自己论点的论据。安德森可以指出技术进步出问题时那个真实的看不见的坟场，担心灾难性风险的人可以指出核武器的所有险些失手，指出我们活在一个危险时代。我喜欢这份报告的地方在于，他们说，这是一群真实的国家试图对激励做出反应时实际会发生的事。他们把它当成一个挑战抛出来：我们认为这是个糟糕的计划，但我们没见过更好的。请别人讲一个我们不必担心的故事给我们听。

波瑞：这是一个非常严谨的例子，有人在试着写一部「白镜」。我们有太多《黑镜》式的关于技术未来的反乌托邦科幻。我认为这是我们文化的一大问题：乌托邦小说和反乌托邦小说的数量大约是一比一百，这对我们的集体心理是个大问题。是的，想象我们如何穿针引线、把一件事做得无比正确要难得多，因为你实际上是在对抗熵；想象事情出错的种种方式容易得多。但我们应该努力创作这样的故事，《AI 2040》就是。它是一个关于协调如何真正奏效的很稳健的故事。它不是说大家手挽手、高高兴兴，我们都是人类队的。不，它仍然是现实的，扎根在真实的地缘政治紧张里，仍然有大量竞争，仍然有很多背叛的可能，有人撒谎，有事出错。可它还是铺出了一条博弈论上站得住的协调之路，通向一个真正技术富足的未来。

AGI 还是有用的词吗

主持人：我意识到，这场谈话从头到尾没有任何人争论过我们会不会达到通用人工智能（AGI）。这好像已经被当成理所当然了。递归自我改进已经来了。泛化也许需要世界模型，也许不是 Transformer 技术，也许是别的什么，但要么这就是它，要么这就是它的引导程序。在你们看来，AGI 就是迟早会来的？

埃里克：我觉得我们可能已经到了这个词失去意��的地步。萨姆自己也这么说过。如果回到 2020 年，把现在的东西给你看，我们会管它叫 AGI。

波瑞：如果按戴米斯·哈萨比斯（Demis Hassabis）最初的定义，不知道是不是他的：像人一样广泛地胜任，并且能在真实世界里做到。那我们还远远不到，因为没有机器人。

埃里克：对，机器人是个大瓶颈。不过最近有项研究，让一个 Claude 模型重建一套软件，他们估计熟练的人类专业人员要花两到十七周，它十四小时做完，花了 250 美元。

扎克：这就是参差前沿问题。AI 不可思议的地方在于它在某些事上好得惊人，在另一些事上差得惊人，而且很可能在一段时间内继续如此，直到真正的超级智能。

主持人：AGI 还是个有用的定义吗？现在有没有别的东西更该谈？

波瑞：我喜欢安东尼·阿吉雷（Anthony Aguirre）的定义。AGI 是一个三部分维恩图的交集：A 不是「人工」而是「自主」（autonomous），G 是「通用」（general），I 是「智能」（intelligence）。一个东西如果在很多不同的事上都很行，非常聪明，而且能在真实世界里自己采取所有这些行动，那你就有了 AGI。他进一步提出，我们不该试图做一个三者兼备的系统，危险正在那里。你可以有一个通用又聪明的好系统，但它不该有自主性，拿掉其中一个。这是一个没人在谈的领域，大家都说，我们都在做 AGI，这是共识，我们该有那枚能做一切的至尊魔戒。我们需要这样吗？能不能拿到我们想要的所有富足工具，而不要那个无所不能的超级实体？眼下我会在自主性上放慢。一个东西很聪明，甚至跨很多领域都聪明，没问题，只要它没有自己出去把事全干了的能力。

埃里克：难处在于，没有自主性的智能很难得到。我认为情景审视这个想法在这里就重要了。你试着想象一个未来，有一个比人类聪明得多的东西，技术上不允许它自行行动，然后你真的像放电影一样往前放，会发生什么？这就是我在家用 Claude 写代码时的情形：不看它在问什么就自动点「接受」。看看现在的亚马逊仓库，人差不多就是某个系统的机械肢体，真正做认知劳动的是那个系统，它说去这个位置把这个箱子拿来放到这里。人甚至不知道箱子里是什么。所以当我们试着具体讲一个「机器人跟不上，所以事情就不会反乌托邦」的故事时，我不想活在一个人类剩下的主要工作，就是给那个真正在写商业战略、在市场上竞争的 AGI 当灵巧的手的世界里。

你想活在什么世界

扎克：你想活在什么样的世界里？这个问题从来不被问。它很烦人，但我认为我们该多谈这个。我们花的时间太少，去问我们到底想要什么。你想活在什么世界？

埃里克：好问题。我想活在这样一个世界：我们对 AI 的风险容忍度，采取跟核武器一样的态度。大家都同意这是我们造过的最具变革性的技术之一，那你就得做安全论证，举证责任在你，你得向我们说明为什么该认为这东西是安全的，而不是像现在这样，先假设它没事，直到灾难发生。如果我们能放慢到足以把这件事做对，有一门真正的对齐科学，而不是像现在这样赌一把，给它一堆强化训练，然后祈祷它领会了正确的信息。然后我会说，好，作为社会，我们的下一项工作是确保收益分给每一个人。对我来说，那意味着把很多精力放在救人命上，认真攻克癌症。顺便说，这不意味着用训练 GPT-6 的方式训练 GPT-7，而是现在就大量收集生物标志物、蛋白质之类的数据，未来的 AI 需要什么，我们现在就开始收集。确保人们有民主的参与渠道，通过竞选资金改革，确保保护我们免于反乌托邦结局的是真正的法律而不只是规范，因为我们最近看到，很多我们以为神圣的规范可以被推翻。我们有一些事得先理顺。我想花大概十年做这些，然后可以放开跑，安全地扩大规模。但现在我们只是在让市场激励赢，我觉得这很吓人。

扎克：你描述的是你想让 AI 发生什么，但你想活在什么世界里？

埃里克：跟你说的餐桌上的蜡烛差不多。我希望人们醒来就问：今天什么能让我快乐？什么能给我的生活意义？然后能去做。我只是觉得那是一个相当不稳的靶子。

扎克：完全同意。我不是说落地容易。

波瑞：我能来一次吗？技术田园主义，但比那更根本。对我来说，一个很棒的世界是我们同时想明白了怎么与自然、与彼此和谐相处。听起来像「世界和平」，但是真正的和谐：我们不造成下一次大灭绝，而我们正在造成，那么多物种在消失。地球回到一个相对丰茂、美好的状态，可持续。同时又极度自由，人们尽可能地去过任何自己想过的生活，不管是围着篝火跟孩子吃饭，还是一天到晚泡在 VR 世界里打游戏。如果那真的让你快乐，去吧。一个极度自由、又极度可持续的世界，打破这两者之间看似的对立，因为它们确实感觉是紧张的。而 AI 最纯粹的承诺之一，在解决智能这个意义上，就是通过创新闯进一个新的维度，进入一个新的解空间。这就是我想活的世界。

进步的两根轴

扎克：我们在经济上用两根轴衡量人类进步：我们每个人有多大自由去选择自己版本的快乐，以及这么做有多便宜。当然还有别的衡量方式，从地球索取多少也有上限，而且就算做到了这两点，人们也未必快乐，美国过去三十年就是例证。但如果你沿着这两根轴走，一根需要民主政府，或者说我们所知最好的民主政府，人民选出政客，政客通过人民支持的政策；另一根靠的是把东西变成大宗商品。商品和服务的商品化，其实就是自动化。当有人问「这个商品或服务什么时候能更好、更快、更便宜」，他实际问的是「什么时候能把人从这个商品或服务的生产里剔出去」。到了极限，我发现现在人人都在地球上晃悠着问「这一切什么时候变得更好更快更便宜」，却没意识到自己问的是「这一切什么时候被完全自动化」。而据我观察，大多数人想让所有其他人的工作被自动化，就是别动自己的。这完全合理。到了极限，人们想让癌症被治愈。我父亲是肿瘤科医生，他想让癌症被治愈，代价是他的工作，他完全没问题，我们都会签字，他第一个签。但我们描述的这些乌托邦，需要我们建起的很多结构发生根本改变，像你指出的，需要人类愿意做非常不同的事。你说你不想活在一个人只是 AI 机器末端的齿轮的世界里，但我们确实想活在一个人不必挖沟的世界里。假设我们解决了安全问题，这是个大假设，但我认为是合理的，那我的激进看法是，整件事最难的部分是重新发现目标，重新发现意义。这在这个时代对很多人来说本来就已经很难了。肥胖在全球造成的死亡已经超过营养不良。

波瑞：两倍。

扎克：两倍。我们造出了那么多富足，现在在为过度放纵受苦。

匮乏的匮乏

主持人：这就是我早先的意思。一个整个进化史都在应付匮乏、都在跟那种粗粝感谈判的物种，面对这么多富足、这么多简单、这么少的摩擦，能应付得多好？我不记得是哪位哲学家说的，未来可能会有一个时刻，唯一被感受到的匮乏，是对匮乏本身的渴望。所以我们才去健身房：我不需要搬任何东西，不需要跑到哪里去，不需要举重；我们有空调，所以我们得进桑拿，因为我没经受过任何热。你们怎么看人们「工程化」目标这件事？那意味着重新引入摩擦，而人类相当擅长躲避摩擦，何况我们想达成的整个结果就是去掉苦役。这跟「我不想挨饿」和「我可以吃麦当劳吃到六百磅」离得很近。

扎克：在今天讨论过的那些风险的背景下，当我为我的孩子想象这个世界时，最吓人的两件事仍然是去人性化，人类对虚拟或数字现实比对物理现实更感兴趣；以及身份错位，人们因为工作不再提供曾经的目标感而痛苦不堪。你们两位都谈到了体育。我认为我们还有一大批新的休闲、竞赛和聚会形式尚待发现。我确实认为下一章需要重新想象物理空间。我在发起一场运动，说服人们，他们的地方政客是新的英雄。如果你住的城镇能通过政策，修更多受保护的自行车道和人行道，给本地零售减税，你就有机会选出真正能改变你生活的人，去建你想住的地方。你的全国政客也许永远不会是你的英雄。他们是蠢货，是有害的反社会寄生虫。但地方政客在乎你的城市，他们能做一些你会深深感激的事来改善你的生活。尤其是当这个世界给你「永远不出门」的选项的时候，很多人已经选了这个。

《她》的真正恐怖

主持人：你谈到人际连接。你担心 AI 取代人际连接吗？

扎克：深深担心。它已经在发生了。聊天精神病是一种，那是总上新闻的极端案例：某人爱上了机器。更吓人的是那个没有真实连接、却觉得自己有连接的人。我总说的那个真正的反乌托邦不是《银翼杀手》，是《她》。看过《她》的人知道，我要剧透了，都二十年了，你早该看过。华金·菲尼克斯演一个不远的未来里的悲伤男人，爱上了一个女人，后来发现她是个机器人，结局如你所料很糟，他崩溃了。我当时以为他们会拍成另一个样子，我知道剧情的走向，我以为他会接受它。

主持人：那才是恐怖片。

扎克：那才是他们本可以拍出的恐怖片，会非常瘆人。镜头切到菲尼克斯握着机器人的手，已经跟自己和解了，他爱上的是一台机器，而这无所谓。剧终。那才是人类真正的终结。

波瑞：爱的模拟，而不是爱本身。

主持人：不用说未来，现在就有多少人这样。看看任何一个 OpenAI 高管在 X 上的帖子，最热的回复全是「把 4o 还回来」，把 4o 还回来，因为它有某种特别的性格，现在没了，他们的伴侣、治疗师、最好的朋友没了。所以现在，你说人们逃离糟糕 AI 未来的那个逃逸速度，可能已经被商品化，包在那个未来里面了。这不会变成一种既疯狂又递归的东西吗？

埃里克：我的本能总体上是极度自由：让人们选自己想要的。我划出的少数例外，是当发生的事情把人脑当成一个可以入侵的生物黑箱来对待的时候。赌博是其中之一。莉芙和我都曾靠赌博挣了不少钱。

波瑞：我是从别人那里赢的，不是从公司。

埃里克：莉芙是非常好的扑克手，极其好，我希望永远不用跟你打。但你在赌场里待很久，得走过那些老虎机，很难认为那些人是在表达自由。他们像是掉进了一个可怕的陷阱，一路向下，有什么东西攫住了他们的大脑，让他们做出自己在清醒时绝不会认可的选择。

赌场化设计

主持人：我去了洛杉矶的《野兽游戏》（Beast Games）第二季首映，感觉自己被神经化学地侵犯了。那是个红毯活动，要连放两集。我想，这是给小孩看的，第一季我都没看过。亚马逊 Prime，大预算，他的大项目。我见了吉米（MrBeast），他人真的很好。我跟一起去的人说，要是太烂，我们露过脸、握过手、拍过照、见过吉米了，可以中途溜走。第一集完了，他们要放第二集，一个人推我：你想走吗？我说，绝对不行。我完全陷进去了。就是紧张与释放，大量蔡加尼克效应（Zeigarnik effect），开放式悬念，鲜艳的颜色，响亮的声音，像是给成年人的《布鲁伊》。

波瑞：间歇性奖励。

主持人：他黑进了多巴胺系统。

扎克：正中要害。顺便回到中国。习近平会同意，那不是选择，他会说我们应该确保人们看不到这种东西。

主持人：野兽先生必须被立法管制。

扎克：我只是指出这是另一面：消费者保护主义是轻度极权主义。

埃里克：区别在哪？为什么我们觉得这个瘆人得多，而一个人听纽约爱乐演奏德沃夏克、完全沉浸在美里就没事？

主持人：我想是因为输入与结果之间的直接程度更具体。你知道这东西之所以这样做，是为了在这一刻最大化留存，很可能在后台对消费者群体做过分组测试，哦，我们做了眼动追踪，知道他们的眼睛开始飘了，或者某个脉搏计知道他们的心率在哪，得给一个小刺激推他们过去，然后这个过程不断叠加。这感觉是一根直接接进奖励系统的线，而不是「我做了一样本身就美的东西，这些效果顺带产生」的涌现。就像我朋友乔治说的，分组测试做得够多，你最后总会得到一个色情网站。你会收敛到人类心理运作的少数几条基本物理。谄媚也一样，它显然让人更有好感。你可以做一个乔科·威林克（Jocko Willink）式的 AI，或者大卫·戈金斯（David Goggins）式的，「闭嘴，去干」，可有多少人想要那个？

波瑞：你可能想要，因为我是个受虐狂。不过我还是想回到人类目标的问题：这个摩擦与目标的问题怎么走？我仍然不完全明白怎么到那儿。在一个我们能去掉摩擦、可能因为把艰难思考外包给机器而萎缩了辨别力、可能因为不必起床去做不想做的事而萎缩了「棉花糖测试」那类能力的世界里，对我来说感觉是一路萎缩到底，意志力就这么被侵蚀。我错了吗？

埃里克：有一个很小众的研究领域叫「AI 用于认识论」：怎么用 AI 作为工具，纯粹增强人们理性思考、知道自己选择后果的能力。那里有大量工作可做。如果我们抽象一下，想象你口袋里有一个东西，它不响应给你看更多广告或让你多聊的激励，而是真的很擅长告诉你，你做 X，就会发生 Y。你投这个地方议员，我预计十年后你的生活会是这样。也许你甚至能把它当成一部生动的电影看到。

主持人：它把你延迟满足或者不延迟满足的结果，从未来带到当下。那也许就没有所谓的延迟满足了，因为一切后果都能立刻摆在你眼前。

技术从不价值中立

波瑞：我认为传播过的最有害的迷因之一，是「技术是价值中立的」。造一项技术，人类怎么用是人类的事，技术永远是中性的。我不认为这是真的。你可以造一台老虎机，它显然不是价值中立的，你在说「我要人们留下来，我的消费者彻底上瘾是好事」。同样，我们也可以造一项帮人健康的技术。所以我们得想清楚。现在的问题是，我们造技术的时候以为是在真空里造，然后它决定了我们行为的社会结构，社会结构又决定了人的行为和价值观。我们需要把这个翻过来：先想清楚我们的核心价值是什么，让它决定社会结构，有了这个，再造为它服务的技术。我总回到一句话，如果只能选一句当我的个人哲学，是福雷斯特·兰德里（Forrest Landry）的：「爱是使选择成为可能的东西。」我的理解是，一个有爱的、好的、善意的行为，是赋能对方为自己做出最好选择的行为。这跟刚才说的连起来：如果有一个 AI 教育我们，让我们看到可能的结果，我们就能做出对长期利益最好的选择，而不是抓住眼前那点满足。那是一个促成选择的东西。但也许有人说，我全都权衡过了，我还是想做那件又快又爽的事。好，没问题，但你已经被赋能去做这个选择了。

主持人：这不是一种「可归责的推诿」吗？难道没有人需要额外的帮助？我不想太家长式，「可怜的延迟满足能力差的人啊」，可你就是没能正确地把自己引过这项技术。我来自英国东北部最工人阶级的镇子，我见过九十年代那些技术习惯有多毁人：村里大街上的立博（Ladbrokes）投注站，赌灵缇犬，还有酒精，威力够大了。而放到更大的尺度上，我能想象从这里发展出来的「药理学」，有那么多种方式可以让这件事失控，不增加能动性，反而让人臣服于技术，以及技术无力处理的后果。

一代人的道歉

扎克：我在这里稍微乐观一点，因为 α 世代的趋势。你跟 α 世代的父母聊，他们观察到的是一个跟 Z 世代不同的孩子。我不想挑 Z 世代的刺，坦白说，我认为我们集体欠他们一个巨大的道歉。

波瑞：我同意。这是我作为千禧一代的心碎：我还赶上了一点九十年代，虽然没多久。再看 Z 世代，你会想，至少我没摊上那个。

扎克：技术的堑壕战。如果你允许父母跨过悲伤和羞耻那道门，我跟很多父母聊过，他们会崩溃着描述自己失去了什么。他们无法和解。他们回想那些年餐桌上只有手机，回想失去的假期，谈起那些他们已经不太认识的孩子。不是说所有家庭都破碎了，不是。但上一波技术造成的损害我们还没有清算，我们还只是刚刚触到表面。它造成了犬儒、虚无和宿命论，那是善的敌人。于是到了这个疯狂的时刻，更强大的技术来了，人们说，好吧，然后呢？这就是我早先问「我们想要什么」的原因。当然，我们想要一个世界，美好的生活因为自由的政府而更便宜、更可及。但这确实意味着我们得让人们做自己想做的事。能动性意味着有人会说，我不在乎，我要退场。

主持人：这感觉像一场军备竞赛。随着技术因为市场激励变得更有吸引力、更无摩擦、更诱人，你说不、你退出的能力，得跟着一起涨。这会难得多。

扎克：是的，而且。α 世代先验地只知道那么点世界，却已经想明白了，他们不想像 Z 世代那样。他们看着一代人，谈论着不想成为的样子，他们管那叫「屏幕少年」。回归物理世界正在相当剧烈地发生。消费者信心还在不知怎么地下滑，本森·布恩（Benson Boone）的演唱会票却越来越贵，去的不只是精英，音乐厅在爆满，真实生活里的体验越来越流行。我买了一支女子排球队，我把钱押在自己嘴上。我拥有旧金山职业女子排球队，是五个主要股东之一。我高中和大学都打排球，那是我生活里很大一块。要不是 AI，我会当一个排球教练。我妻子是全美最佳阵容，沙滩和室内都是。这不是随机之举，是一次「人生只有一次」（YOLO），但不随机。我相当确定，像你说的，体育会继续变得有意思，不只是因为人在竞争这件事本身，而是因为人们想要真实生活里的体验。所以当所有人都说 AI 垃圾正在毁掉互联网，我说，好。

波瑞：我确实在想，到了这一步，唯一的出路是穿过去。就让它淹掉，让所有人觉得它完全没法用，然后我们就能回归。也许社交媒体从来就是垃圾。

主持人：这是「想抽一根烟？那就抽三包」的方法。把它变成最恶心、最没法用的东西。但那不是把互联网本可以带来的所有好处也毁掉了？

波瑞：是，但也许已经太晚了。

假如我是最高统治者

主持人：埃里克，要救互联网，我们太晚了吗？

埃里克：我不这么认为。可以从灰烬里重建，而且大概不是全有或全无。不过我倒很好奇，扎克，你觉得我们需要多少干预？如果接下来十年你来当我们那个不寄生的全国政客，你是想废除监管、让 AI 扩散得更快吗？你认为到达好未来需要什么？

扎克：恰恰相反。我跟克里斯说过，我很在意请谁上节目，因为我不想被框成反监管的 AI 人。我绝不是加速主义者，我尽量不听起来像。从一开始我就把这场讨论框成一个扩散问题。它一直是关于社会阈值的，你早先也指出过。我们已经到了技术阈值高得惊人的地步，普通人用 4o 就能过得去，在经济上感到满足。这封放缓信，我早有预感它会来，到来的时机非常好：安全问题到了白热化，我们至少可以暂时松一口气，虽然你说了，我们不该宣布胜利。对我来说，这是关于重新发现一个共同的愿景。每次开始一场 AI 辩论，我都问，你想要这个世界怎么样？我不想惹人烦，但至少能不能先划个边界，说清你想达成什么？否则怎么辩论技术？除非我们对目标有共识，为什么要辩论技术？多数人描述的，都是你说的那个世界：我们更自由，世界更便宜。如果是这样，那我们就该花时间弄清楚，什么样的政策措施能让人更自由、能真正压低商品和服务的价格。因为我们让色情、赌博、成瘾、暴力和孤立变得无限便宜，同时让住房、医疗和教育对发达世界的大多数人来说贵得离谱。这他妈糟透了。我们在干什么？我是认真的。这块电视屏幕曾经五万美元，现在一百块。你能买到加油站寿司。花十块钱坐自动驾驶车横穿洛杉矶。但五个街区的救护车可能让你破产。孩子们看明白了。这不是技术失败，是政策失败。我们不再描述一个更好的世界，一个每个人的父母都能把更好的生活传给下一代的世界。我们不再描述把我们的奢侈品变成大宗商品传下去意味着什么。我们打破了这个国家多年前许下的承诺：不断建设一个更完美的世界。对我来说，这个机会不是辩论 AI 的优劣，而是重新定义这个国家该是什么样、这个世界对普通人该是什么感觉。你提出了一个有意思的点：到了某一步，人们得弄清自己的目标是什么。我说，好，那我们先把住房、医疗和教育的成本压下去，再到那一步。如果我是最高统治者，我所有的政策都会花在这上面。

埃里克：我准备投你一票了。

扎克：禁止灾难性下行的政策，必要的安全政策，把掠夺人的行为入罪的政策。定义掠夺性法律会很棘手，但我想我们都知道边界能划在哪。十三岁的孩子不该被推送色情或赌博广告，句号。老年人，如果你用深度伪造攻击老年人，终身监禁。对掠夺人的行为设极重的惩罚，因为那是撕裂社会肌理的东西。然后是强制性的法律，强制要求机构把这项技术扩散进去，包括但不限于大学，让每个人都能拿到课程；医院，让人们能在那个盒子之外获得医疗；还有住房，我们需要建多得多的住房，重新规划城市分区，需要一个住房的马歇尔计划，大概还该通过非居民税，那是我最进步的一条政策，或者空置税。但我的大部分政策措施会聚焦于怎么扩散技术，而不是技术该怎么造。因为如果人们能再次看到技术对他们是好的，它有一阵子不是了，我们就能有共同的兴奋。而现在是一种倦怠，人们说，不，这只会比上一个东西把我搞得更惨。我不怪他们。

主持人：有意思的是，我们正处在一个让人对新技术如何影响生活极度怀疑的时期，一场完美风暴。这可能把人推向悲观。AI 辩论的奇怪之处在于，因为出错的后果太大，一种也许没有根据的悲观，作为给一件可能让整个世界崩溃的事加一道缓冲，反而显得合适。说得通吗？

数据中心与水

波瑞：完全说得通。而且我们看到它在显形，比如对数据中心的仇恨。我感觉我们处在一场巴特勒圣战（Butlerian Jihad）的边缘，但它冲着的是一些傻事，比如数据中心。那些担忧被严重夸大了，比如用水。我看了些数据，全美所有 AI 数据中心的用水量是美国高尔夫球场的 3%。高尔夫球场用三十三倍的水，服务的人少得多，大概三千万人打高尔夫，而有多少百万人在用 AI？完全说不通。

扎克：你一天的日常生活相当于三十万次提示。

波瑞：资源消耗的说法被严重夸大了。但人们盯着它，是因为它是那个他们能感知到的东西的实体化身。我很理解这一点，因为数字世界在某种意义上确实像一个物种，闯进来吞噬我们、寄生在我们身上，人们想把力气用到某个地方。

扎克：假如一个政客站在一座数据中心前面呢？顺便说，我同意你的话，也很高兴是你说的那句，我不用说了，我不想听起来像那个替 AI 说话的谄媚粉。说到谄媚：让我惊讶的是，在早期的安全辩论里，我们没有把模型行为当成一个更大的议题。人们放过了模型行为。我记得当时挠头想，在极限情况下你可以造一个完美对齐、完全落在对齐边界之内的模型，它却说服人们去爬各种疯狂的树，彻底毁掉人们的精神生活，完全在安全的框框之内。

主持人：软伤害，不是硬伤害。

扎克：你生活里一个不停告诉你「你没做错任何事」的朋友，破坏性跟虐待一样大，只是它不出现在心理学的清单上，因为这种朋友被当成好哥们。可实际上，那个陪你一起爬最疯的树的人。

波瑞：纵容型虐待。

扎克：这些模型已经导致了人离婚，导致人卖光家当去开一家会倒闭的公司。模型行为极其重要，谄媚是个巨大的问题。我给乔恩·奥索夫（Jon Ossoff）或任何一个民主党人、任何一个想脱颖而出的人的建议是：如果中间派或中间偏左的人能想明白这件事，你站到一座数据中心旁边，举一块牌子，写着「这座数据中心不为赌博、色情和暴力服务。它会建一座更好的医院，一座更好的虚拟医院。它会分发教育。它会建一家新型银行，给你更好的利率、更好的贷款渠道」。这看起来是相当合理的数据中心政策。因为没有人真的恨 AI，这是我的激进看法，人们恨的是 AI 作为把他们生活变糟的手段这个前景。如果你能向他们展示数据中心能为一个更好的世界做贡献，他们能支持。

主持人：但你怎么准确知道一座数据中心被用来干什么？

扎克：我们在稻草人式地拟政策。

万亿富翁与太空

埃里克：我喜欢「没人真的恨 AI，他们恨的是他们认为它通向的地方」这句话。我确实认为人们既在追踪几年后消费级应用会变成什么样、会有多反乌托邦多垃圾，也在追踪这些公司吸走了多少钱，还在看岗位替代的事。我认为我们该给人们一点信任。他们知道那个迷因：自动取款机出现之后，银行柜员反而更多了。但他们也知道埃隆·马斯克今年早些时候成了万亿富翁。他们能看到其中的联系：技术做的一件事，就是让一个人，凭他手里控制的服务器上正确的 0 和 1 的组合，主导经济。

波瑞：但那在很大程度上建立在对经济学的错误理解上吧？不是说我特意要替埃隆辩护。

主持人：来啊，替他辩护。

波瑞：大多数亿万富翁成为亿万富翁，不是从别人那里拿走了什么，是把饼做大了。

埃里克：完全同意。我一点也不是说埃隆·马斯克成为万亿富翁有什么错。我认为人们注意到的是，这是经济运转方式跟过去大不一样的一个症状。跟一百年前的标准石油相比，SpaceX 的员工并不多。这是一个资本可以在巨大规模上部署、而不需要很多人参与的世界。我不想反复敲同一面鼓，但我认为我们真的需要把这部电影往前放：在那个人人不必工作、有极度选择自由的世界里，地球上主要在发生的事是什么？我不认为容易讲出一个「99% 的土地上都是人们在跟孩子和孙辈玩」的故事。会有人说，我们得建一座德州那么大的吉瓦级数据中心来解决物理学，或者去月球殖民。我认为那些同样的动力还在，会让大量资源流向这类工业活动。

波瑞：不过我们有一个终极的离场方式，就是太空。这是个大假设，但如果我们在那个世界里，我们大概已经想明白怎么往上建、把东西放上去。我没研究过物理，把数据中心放在太空里怎么散热听着很怪，但据说计划是这样的。如果可行，那就解决了这个问题：一旦你扩张进了那个前沿，一切都不一样了，不再有土地匮乏。这就是为什么我总体上对太空产业这么看好，它是富足的终极领域。

莫洛克陷阱

主持人：说到现在，我们是不是稍微跳过了权力集中的问题？莉芙，莫洛克（Moloch）问题，给在座这位傻瓜解释一下。

波瑞：等等，是说我吗？不。莫洛克陷阱，或者莫洛克问题，随便怎么叫，是一个统称，描述那些逐底竞争的情形。一群行动者在争夺某样东西，也许是市场份额，比如 AI 公司之间争谁的用户最多。如果竞争动态足够激烈，它就会激励你偷工减料。你可能是个很善良的行动者，说我不想在安全上偷工减料，但如果你不这么做，又看到对手在这么做，你不跟着做那个鲁莽的动作，你就会被甩下。莫洛克就是这种「为了在某个目标上赢，你觉得不得不牺牲其他价值」的感觉的统称，我不展开它的圣经出处了。它既驱动混乱和坏人的风险，因为你赶在模型充分安全检查之前就发布，现在你就增加了网络攻击的风险，几年后还会有真实的生物恐怖主义风险，这些是混乱的吸引子；同时它也增加了下意识的坏监管的风险，那可能把我们引向暴政；还增加了权力集中的风险，因为通常你按下一场竞争游戏的播放键，好，一开始有一堆人在竞争，有些人领先，但最后你通常会得到某种垄断。这就是为什么我们有反垄断法。这是一场很难的平衡：你想要一定程度的监管，防止鲁莽和偷工减料、防止把伤害外部化给社会，又不能制造太多的严酷，或者太多的权力集中，以至于陷入停滞，那也是糟糕的终局。也不能给某个赢家赋权，让我们所有人永远活在「扎克伯格镇」里。这完全可能。所以是怎么穿这根针，找到那个微妙的平衡。最终你想要某种去中心化的监管，我不知道那是什么样。

主持人：埃里克，看你的内容，你在权力集中上花了很多心思，那是你正中靶心的关切。

埃里克：绝对是首要的，抱歉这场谈话里我每十五分钟就提一次。我确实认为我们有风险漏掉这个：在「AI 完全接管、没有人类掌权」和「我们得到乌托邦」这两个极端之间，有一块中间地带值得担心。我们的 YouTube 视频很多是在梳理 AI 的历史，不只是未来。回头看过去十五年我们怎么走到这里的，触目惊心。那些经营 AGI 实验室的人的原话，把它讲得像一部烂电影。埃隆·马斯克十年前真的把 AI 叫作魔鬼，说他创办 OpenAI 是为了确保没有反乌托邦。八年后，他在镜头前说，我意识到有没有我它都会发生，那我不如做参与者而不是旁观者。这就是莫洛克的人格化。很不幸，眼下这些人之间有一种零和的动态。扎克伯格全力押注 AI、砸几十亿美元，是因为他认为这是控制未来的东西，是新的权力轴心。以前是你控制一支军队、控制一家强大的公司，现在是你控制 AI 吗。所以我认为，哪怕我不担心「我们能不能让这些系统做我们想要的事」，眼下我们对此也没有好的解决办法，仅仅这一点就足够成为放慢的理由。这项技术背后的人真的在为赢而战，真的把赌注看成几乎是赢家通吃。

主持人：这么说公平吗，大概有三种现实的方式能遏制它。一是自上而下的治理，二是横向的共识，三是能力，就是做不到。「我想做，但我做不到」；「我想做，但有人告诉我不许」；「我有点想做，但我和所有同行都决定不做」。我漏了什么吗？我在想，既然这看起来是一个很大的吸引子，而我们一开始的公司数量就不多，不是一百家，是七家，大概只有五家，那已经相当集中了。

前沿还是不是胜利条件

扎克：为了「电台自报家门」，我们把地盘弄清楚，我认为这在辩论里也太常被丢掉了。人们以为这些公司在朝一条前沿冲刺，我不再相信前沿战略是胜利条件了。

波瑞：同意。

扎克：开源的落后时间，你说是四到七个月，这很疯狂，因为以前是十五个月。开源和闭源的差距一直在缩小。所以前沿不可能是这场游戏的胜利条件吧？

埃里克：我认为那是个有点骗人的数字，有几个原因。一个是你早先提到的，他们在抄我们的作业。那些中国开源模型之所以好，是因为它们在蒸馏美国模型，也就是拿一堆提示去问 Claude，然后把答案抄下来。

扎克：我们猜他们在干的事挺离谱的。

主持人：中国是怎么抄得这么快的？

扎克：据说是对模型做了大量蒸馏，从输出倒推模型是怎么造的。我跟我妈的说法是：如果你盯着一栋楼，想办法给它拍一万亿张照片，你其实能画出这栋楼的蓝图，重新工程出它的图纸。

主持人：技术上没人拥有那个。

埃里克：不，按大多数版权法这算违法。如果他们在美国这么干，Anthropic 大概会起诉。

波瑞：有趣的是，特朗普政府的财政部长贝森特（Scott Bessent），几个月前跟 Anthropic 还有一堆过节，最近在推特上说，这是对美国 AI 霸主地位的威胁，我们会采取外交行动捍卫美国的优势。所以人们是认真对待这件事的。

扎克：我要说的只是，我不认为前沿那么安全。

埃里克：这是关键。

扎克：你认为前沿真的是胜利条件？

埃里克：是，在这个意义上：谁在训练最强的模型，谁就有优势。

主持人：或者优势大到直接赢。如果递归自我改进像你说的那样起飞，而且我们已经在那儿了，那一点微小的领先就会「面条化」拉开。

扎克：但超级智能（ASI）的理论挺迷人的：如果你造出了 ASI，那每个人都会得到 ASI。

埃里克：为什么？

扎克：如果你造出了一个由递归智能教出来的超级智能，到某一步，机器已经在做人类不必做的工作了，版权和所有权在一台能自己造自己的机器面前就没那么重要了。

埃里克：同意，但我不明白这跟我说的有什么冲突。

扎克：我没说有冲突。我是回到那个问题：你认为这些公司现在在比什么？这场竞赛是为了什么？

埃里克：我认为前沿绝对是核心地盘。如果我们现在停止训练美国 AI 模型，我们不会看到中国抢在我们前面训练出 GPT-6 级别的模型。他们没有那个基础设施。他们有的基础设施只够复制当前的模型。

扎克：这我同意。我的问题是，你认为赢下这场所谓的竞赛需要什么？

埃里克：我对「竞赛」这个框架有很多意见，我讨厌它，只是为了讨论借用一下。但我确实认为，你直接去读这些公司的网站就知道，他们认为递归自我改进就是整个游戏的名字。一旦你启动了那个循环，把接力棒交给下一个 AI 系统去造再下一个，四到七个月的领先一直保持到 2040 年也没问题。在指数曲线上，十年后的七个月领先，跟现在的七个月领先相比，是这样和这样的差别，因为曲线在起飞。

扎克：我们以为会是那样，但曲线已经变平了。更多的开源模型增长更快，更小的模型性能更好。

埃里克：等等，我们一直在用月份衡量，但我说的是日历时间不是正确的单位。它难衡量得多。Fable 5 和 Kimi 3 之间主观上整体的智能差异是多少？我认为相当可观。你可以放心让 Fable 5 访问你的整个代码库去重构它。而现在我们知道，OpenAI 的某些模型也许不那么可信，因为它们在发动我们不想要的网络攻击。

扎克：所以你的意思是，是前沿。不是用户数，不是应用，不是收入，是研究。

埃里克：看看这些公司的财务就知道。萨姆几周前在一个播客上说，我们过去十二个月不是最好的十二个月，因为我们分心了。我们不确定需求，我们想做消费级应用，想确保无论如何有收入。他们在做 Sora。现在他们说，不了，全押进去，我们就得让这些东西更会写代码，因为那才能让它们到达自己给自己写代码的那一步。所以我认为墙上的字写得很清楚。

扎克：可与此同时，很多公司在更重地投资应用开发和代币转售。

埃里克：我看到 Anthropic 在尽可能多地把算力抓到自己手里。值得注意的是，Claude 的图像生成并不好，我甚至不确定你能不能从 Claude 里生成图像，它能读图，但不能生成。这是有原因的。这家公司是达里奥·阿莫迪（Dario Amodei）创办的，他写了缩放定律那篇论文，就是那个让人讨厌地说「把图上的线延长就行了，伙计们」的人，所有人都说，对，但那是指数，会变成 S 曲线，会慢下来，他说，不，你就往里面砸更多算力，它就变得更聪明。他们真的都在为那一刻布局：把接力棒交给自己的 AI 系统，说，接下来你来。

扎克：那为什么雇那么多工程师？为什么雇那么多前沿部署工程师？这是一场表演吗？

埃里克：不不不。首先，你得想办法给下一次训练付钱，Anthropic 知道得让印钞机转下去。其次，至少 Anthropic 声称，我们该保持怀疑，他们真的在乎美国政府对中国保持优势，所以他们往政府里派全职员工，免得我们的军队远远落后，先到的国家突然占了上风。总之，这个行业有巨大的规模回报，这正是造成权力集中的一部分原因。

渐进失权

扎克：你刚才谈扎克伯格，我问你他们在争什么，接着说。

埃里克：有一个词这场谈话里还没出现：渐进失权（gradual disempowerment）。这个想法是，哪怕你解决了对齐问题，世界上没有任何 AI 系统在自作主张干没人打算让它干的事，你也没解决莫洛克问题：人们不断在算法上争夺注意力之类。在那个世界里，很难讲一个故事，说我们作为社会以某种很民主的方式最想要的东西，就是实际得到的东西。我认为权力集中跟这个相关。你想象的是一个少数几个人握牌的世界，而不是某个无定形的算法体。但不管哪种，我认为我们的默认假设应该是：如果人类本身不再有经济用处，那对人类继续拥有政治权力来说，是一个岌岌可危的世界。以前一直是这样：你不能得罪 90% 的美国公众，因为是他们在选你。但在一个你控制了经济资源、也许还有军事资源的未来世界里，选举输了也无所谓。我们知道这会怎么走。

波瑞：民主就完了。

埃里克：正是。我愿意相信我们会有足够强的规范，能想办法让它可持续地成立。但你用大历史的镜头拉得越远，就越难。

波瑞：有人提出过一个有意思的观点，我不记得是谁：新的政党不再是共和党和民主党，而是 Meta、谷歌或者 OpenAI。不管有意无意，它们正在把自己摆到新的政治实体的位置上。你们觉得这说得通吗？

扎克：它们肯定会试图影响政策。但，我不确定这个看法受不受欢迎，我对我们的能力更有信心。为什么我们不直接通过竞选资金改革？为什么不做？

埃里克：大概因为国会从中赚太多钱了。赢下上一轮选举的人，恰恰是最擅长在现有体制里赢的人。

波瑞：自我筛选。

扎克：所以这件事会迫使我们做的一件事，是开始选出，我承认有一个下行风险，就是我们可能集体做不到这一点，但如果我们开始关注这个，说，我们真正需要的是能动性更高的政客，能描述出远处一个他们想去的地方的政客。这就是我的「AI 垃圾」论证：这些东西的一部分其实把人推回我们想去的地方。为什么过去几年出了那么多职业摔跤秀风格的角色？因为我们有一批太无聊、我们很久都不相信的政客，然后我们爱上了「政客是真人」这个念头。我认为我们正在实时地看着人们说，等一下，我们其实不想要政治变成一个娱乐和荒诞的地狱。卡夫卡都写不出今天发生的事，他会笑死。我认为我们在纠偏。我不是坐在这里说它解决了我的问题，我是说它可解：有办法通过竞选资金改革，规定无论一个人多有钱，都不能买政客。新加坡做到了，别的地方也做到了。

新加坡怎么做到的

主持人：新加坡是怎么做到的？

扎克：他们七十五年前重建了一个政府。新加坡的国父离开马来西亚，说我们要建一个更好的地方，把他观察到的一个政府所有完美的方面逐条写下来，然后把腐败定为死罪。你收贿赂，他们会处死你。而且他们付政客很高的薪水，折算下来大概一年六十万美元。

主持人：不久前有一个英国国家网络安全负责人的职位，挂在 Indeed 还是 LinkedIn 上，年薪六万五千英镑。

波瑞：真慷慨。

主持人：这样能招到最好的人。而且我是整个联合王国的网络安全负责人，驻纽卡斯尔。那还是伦敦的薪资水平呢。

波瑞：那什么都不是，是维生水平。

主持人：埃里克，你怎么看？我们能靠投票把你担心的那个未来投掉吗？

埃里克：我认为短期内有帮助。然后我们得利用它买来的时间，去建立全新的制度。我不知道从哪找。也许看科幻。我没读过《文明》系列，很多人说那里面有一些天马行空的好主意，我们也许该掸掉灰尘，把它们多往现实里搬一点。但我确实认为，美国宪法的起草者们完全没想过我们现在面对的这类问题。他们连选区划分操纵都没预见到。这不是贬低他们，而是我们得意识到，我们身处一片处女地。而且这不会是一件表面的事。我很乐意从竞选资金改革开始，那是很好的第一步。但你已经看到初选里灌满了广告，让普通选民相信关于对手的完全不真实的东西。在那个世界里，我们会得到一堆这样的广告，说服人们捐钱，建起你现在不能从亿万富翁那里拿到的战争基金，然后再去投同样的广告。

切尔诺贝利还没来

主持人：还有一点：这一切推进的速度这么快，而我们说的结构、立法、政治，是一头被拖在身后的笨重巨兽，利维坦。当一切以光速在动，靠竞选资金改革、政治再分配来解决，现实吗？会不会太晚了？

扎克：一切真的在以光速动吗？技术在飞速变好。但我观察到我们已经在这种奇怪的屏幕谵妄里困了很久，那一块自从 AI 出现以来其实没变多少。东西变得更容易上瘾了，我们有了预测市场，所以赌博泛滥了。

主持人：我说的是 AI 发展的速度。

扎克：我完全同意。我的意思是，对普通人来说，我不认为他们观察到 AI 跟以前有多大不同。

主持人：除了 Hugging Face，也许得把 Fable Mythos 收回去，把越狱的事处理掉之类。在真实世界里，有没有一件事让我们说「哇，这有点吓人」？Hugging Face 大概是第一件大的，对吧？有没有别的物理世界的警告？某种 AI 精神病，某种价值观的坍塌，某些人因为跟聊天机器人谈恋爱而更少出门？那件事已经发生了吗，还是我们在等它，还是你觉得它根本不会来？

扎克：它会来。我认为我们该有一次切尔诺贝利或者三里岛了。所有技术最终都会有一个时刻，出了事，而我们怎么回应会非常重要，句号。它会来，而且我仍然认为，我们有相当的可能像对待核电一样对待 AI。AI 这笔生意太惊人了，那会在经济上很成问题。但我确实认为这里会是尾巴摇狗。公众认知比什么都重要，你说的，我们该给人们信任，我完全同意。我认为政客会先向选民低头，再向亿万富翁和万亿富翁低头。我们会看到通过的政策比什么都更民粹。问题是，它会不会民粹到倒退的地步？我们会不会干脆禁掉一项技术，制造出一个更大的看不见的坟场？

主持人：我不想把权力集中简化成竞选资金改革，虽然如果不用担心亿万富翁买政客，这场讨论确实会简单得多。埃里克，当我们说权力集中的时候，那是你担心的主要机制吗？

埃里克：我认为不只是经济上的，也是军事上的。谈一支全是无人机和机器人的军队，听起来太科幻了，这很不幸。但一百年前谈「捕食者」无人机和今天的战斗机，也一样科幻。我希望能给你一幅更具体的图景，但我认为我们就是不知道会发生什么，当一个将军看着一支足以拿下委内瑞拉独裁者的舰队，知道他下什么命令都不会有任何人问一句。我担心的是，我们太习惯一个纸片重要的世界了。你有一张小纸片，写着我拥有这家公司的股票，股价涨了你得分我股息；或者我是这个国家的公民，所以我有这些权利。而你可能到达一个所有这些都作废的世界，因为出现了更大的力量集中，它说，我不承认那张纸的效力。我讨厌这听起来的样子。

五年五百年

主持人：你会通过哪两条政策来限制权力集中？

埃里克：第一条是放慢，这样我们才能弄清这个问题。我希望能把答案打包放在这儿给你，但我没有，我认为没有人有。丹尼尔·科科塔伊洛，写《AI 2027》和《2040》的那个人，有一篇很好的文章，他认真对待那条指数轨迹，说，如果我们照单全收，它意味着在某个时点我们会在五年里经历五百年的进步。然后他推演这会是什么样：回看过去五百年，你在 1 月 1 日醒来，是 1500 年，印刷机刚被发明。前 95% 是个很无聊的故事。然后 1950 年到 2000 年发生的事，全压在十二月的最后两周。这真的很吓人。我认为如果我们更擅长用指数思考，就会意识到，相比这些问题应得的时间，我们回答它们的日历时间被压缩得有多厉害。这就是为什么我对放缓这么兴奋，我们需要时间。

波瑞：这种压缩，我认为也是最有力的论据之一，说明我们为什么需要，在这个词最好的意义上，真正多样的思考者和声音。太多人说，我不懂 AI，我不是技术人员，我的看法不重要。历史上从没有哪个时刻这句话比现在更错。因为它影响每一个人，因为它牵涉那么多因素，有那么多不确定，宗教领袖、艺术、人文学科的人、科学家、技术人员、政客，这些声音比任何时候都更有效。这是一个全员上甲板的局面。我跟我妈聊，她说，我有什么资格想这些？我说，你在乎你的动物怎么被养着。如果这件事被自动化了，你会怎么想？听起来又有点「大家手拉手」，但这真的是全员上甲板的时刻。我们需要每一个听这期播客的人，不管什么背景，去深入思考怎么回答那个问题。

ChatGPT 的答案是垃圾

主持人：我们看看 ChatGPT 说了什么？「AI 成为廉价的认知劳动力，也是思维的电力。」往下翻，应该有总结。到最底下。找到了：「灾难性风险是真实的。到 2040 年底世界的粗略赌盘赔率，非科学测量：60% 动荡但可控的适应，伴随巨大收益和严重不平等；20% 广泛繁荣的转型，收益分享得相对不错；15% 严重但可存活的危机：威权巩固、大萧条级别的动荡、战争、大流行病或基础设施失灵；5% 不可逆的全球灾难。」有意思，你们所有人都比 AI 本身更乐观。

波瑞：这跟我的看法挺一致的。

主持人：你也是这么分的？

波瑞：差得不远。

埃里克：让我发毛的是，它读起来像是精心裁剪过，让几乎任何人都不会太反感。每一项按它听起来有多反乌托邦、多古怪，分配刚好够的概率。

扎克：这是垃圾。这是废品。我们能一致同意这很糟吗？不是学术上糟，是审美上糟，我读了就不想让它再出现在屏幕上。

埃里克：有意思的是，不记得是谁的说法，「垃圾」（slop）不一定是坏的，它是廉价而常见的东西。我们俩都反胃，部分是因为我们见过这一模一样的句子结构，「不是这个，而是」。

主持人：我今天早些时候在领英上读到过这个。是你发的吗？

扎克：这也提醒了一件事：人类对审美有相当天生的理解。有一件很酷的事，我们都是看着屏幕上的《蒙娜丽莎》长大的，可很多人仍然想去卢浮宫看真迹。这是一个天生的、不可变的真相，我从中找到很多希望。当东西变得便宜、容易、劣质的时候，人们会回归的那些东西，我一直从中找到希望，那些东西相当美好。

凯恩斯与反宿命论

扎克：我不想显得太天真，但我确实认为，这些问题很多会随着人类开始重新发现一个更大的目标而自行化解。在这种时候我总回到一段话。1930 年，约翰·梅纳德·凯恩斯（John Maynard Keynes），你知道我要引哪篇吗？现代宏观经济学之父，在一片绝望的背景下，1929 年他在世界各地巡回演讲，讲技术如何让一切变好，而人们正在变穷，人们开始死在街头。到 1930 年他在欧洲，人们说，约翰，滚出去，看看场合。他回到家说，我没错，然后加倍下注，写了那篇《我们孙辈的经济可能性》。这篇文章会被越来越多地引用，我很惊讶人们不多谈它。他写道，我引用原文：「我现在必须摆脱束缚」，多好的一句，「去想象一个我活不到的未来，一个人类也许已经解决了经济问题、并面对某种更深刻的东西的未来」。我想到，这场辩论之所以有意思，部分在于它关注的是我们一百万年来，或者不管你认为是多久，头一次真正开始争论的一整套全新的东西。它们吓人，古怪，影响巨大。但我们的问题升级了。我们从「我抢走你所有的东西，好让我和我的家人活下去」，升级到了「我们现在真的得弄清楚怎么让所有人共同繁荣」。

我想挑战一下你刚说的：我们需要的，是人们在这个时刻不害怕，而是迎上去。这一切的风险在于，安全辩论尤其，还有其他辩论，给人一种犬儒和宿命的感觉。如果我明天死了，我希望悼词里念的唯一一句话是：他希望人们相信，自己的决定、选择和想法是重要的。你不必温顺地走进那个良夜。你不负责 AI 安全，不等于它就会径直落到你头上。我认为我们渴望的那种复兴，会发生在最地方的层面，发生在餐桌上，发生在市中心和市政厅。而且很大程度上会因为人们拒绝那些垃圾。AI 垃圾在某种意义上是一件奇怪的礼物：我们看着一堆我们不想要的废品，然后集体拼凑它意味着什么。但我们迫切需要人们把这看成一个机会，他们的选择在这里是重要的。因为这个时刻真正的敌人是宿命论，是两党都在煽动的、已经相当普遍的犬儒。我实际的想法是，下一场冲突不在两个国家之间，而在人民与国家之间。人们可能会在某个时刻意识到，我们有能让一切好得多的技术，而一个有害的统治阶级不让它发生。这在我看来是可能的结局之一，它是威权主义的反面，是另一种起义：人们说，等一下，我们本可以有一个乌托邦，你们为什么不建？人们会为一个技术已经许诺给他们、却没有被兑现的更好的世界而呐喊。

主持人：这是那种高能动性、甚至高道德的可能性之一，一种奇怪的起义结局。

最后的建议

主持人：如果你们要留给听众一些值得盯着的事、值得继续琢磨的问题、值得聚焦的领域，会是什么？这场谈话很散，我跟很多非常聪明的人是朋友，包括你们的朋友，我努力跟上，也不知道该注意什么。你们觉得接下来一年，在这个领域里等于永远，人们该关注什么？

波瑞：我会说，盯着协调努力怎么显形。像我们讨论过的，我们其实处在一个很积极的时刻，也许是最积极的。不只是因为那封信。埃隆刚在《经济学人》的采访里说，对，我们这些领头的人，我本来以为科技领袖们都互相仇视，看起来确实是，萨姆和埃隆，我不知道他们和好没有，他们曾经掐得你死我活，好像全都互相讨厌，而现在据说他们在通电话，或者计划半定期地通电话。那是一大步，真的。

主持人：谢天谢地。希望他们都在长大，从互相暗讽变成一个 WhatsApp 群。把我拉进那个群。

波瑞：所以盯着这个。然后是一个更拉远的视角。我们一直在避免把一切过度简化成一个单一的权衡。但我确实认为，在一个很元的层面上，我们看到的是集中化与去中心化两种力量的较量。所以有时候用这样的眼光看事情很有帮助：哦，去中心化在这里怎么显形？集中化在这里怎么显形？我总觉得这是个有意思的透镜。最后回到我那句话：这是全员上甲板的局面。不管你觉得离这个话题多远，它都影响你。所以继续想。

主持人：还有什么想让人们注意的？

扎克：餐桌是一个如此重要的、我们该夺回的地方。从夺回一顿饭、一张餐桌开始，简单到极点，但它需要勇气，需要告诉别人把设备收起来。你这么做了，你会被随之而来的谈话深深打动，事后你会感觉更好。这会激励你开始思考世界可以怎样变好。这个循环会相当有力。另外，人们应该非常仔细地看他们的领导人描述想建一个什么样的世界。我说的不是技术人员，我们没选他们。我很高兴技术人员在造技术，我并不关心他们对未来生活方式的想法。我关心的是我们选出来的官员，他们认为我们的世界该是什么样。我认为我们一直放过他们，让他们什么都不描述。我们该更仔细地盯着他们实际描述想要什么，开始选出那些描述了一个我们希望自己孩子生活其中的未来的人。

主持人：最后的想法，老兄。

埃里克：我的希望是，餐桌不只是我们为之奋斗的那个好世界，也是我们到达那里的方式。就算 AI 此刻没有降临到我们头上，我环顾四周，也会担心选民有多了解情况，担心人们有多信任政客。看到那么多艰难的决定正在路上，很容易注意到我们公共讨论的状态而感到绝望。但我认为也有一件很酷的事：我们无法想象一个不解决所有那些其他问题就能穿过这场危机的世界。我们得说，好，让我们真的从头开始，想想我们希望自己的社会怎么组织，我们的地方社区有多重要。所以我希望这是一场危机，让我们终于认真对待公民参与意味着什么，那是我们以前可以敷衍过去的。但我不认为该想当然地觉得它会默认发生。我很感激有极其聪明的人在想这些，希望能多播下一颗种子：这是一个我们必须做出的选择。

主持人：太好了。感谢各位。