Dario Amodei — “We are near the end of the exponential”

2026 年初，Anthropic 联合创始人兼首席执行官达里奥·阿莫迪（Dario Amodei）再度做客 Dwarkesh Podcast，与主持人德瓦凯什·帕特尔（Dwarkesh Patel）展开了一场三小时的长谈，距二人上一次对话已过去三年。此时阿莫迪刚在寒假期间写完长文《技术的青春期》（The Adolescence of Technology），Anthropic 的年化收入正以每年十倍的速度攀升。谈话从规模定律的现状谈起，一路延伸到算力采购的赌注、行业的利润均衡、威权风险与出口管制、Claude 宪法的书写权，以及他如何经营一家两千五百人的公司。本文依据现场录音编译整理。

指数快到头了，没人看见

帕特尔：我们上一次对谈是三年前。在你看来，这三年里最大的更新是什么？当时的感受和现在的感受，最大的差别在哪里？

阿莫迪：大体上说，底层技术的指数增长走得和我预期的差不多，前后误差一两年。代码这个具体方向我未必预测得到，但如果看整条指数曲线，模型从聪明的高中生走到聪明的大学生，再开始做博士和专业人士的工作，代码领域甚至走得更远，这条路径基本是我预想的样子。前沿有些参差不齐，但整体符合预期。真正让我意外的，是公众完全没有意识到我们离这条指数曲线的终点有多近。在我看来，圈内圈外的人都还在谈论那些老掉牙的热点政治议题，而我们其实已经快走到指数的尽头了，这实在太荒唐。

大块算力假说与七要素

帕特尔：我想弄清楚这条指数曲线现在是什么样子。三年前我问你的第一个问题是「规模扩展是怎么回事，为什么有效」。现在我想问同样的问题，但它变复杂了。至少从公众角度看，三年前有众所周知的公开趋势，横跨多个数量级的算力，你能看到损失函数如何改善。现在我们有了强化学习（RL）的规模扩展，却没有任何公开的规模定律，连它的故事线都不清楚。它是在教模型技能，还是在教元学习？此刻的规模假说到底是什么？

阿莫迪：我持有的假说和 2017 年时一模一样。上次我可能提过，我写过一份文件叫《大块算力假说》（The Big Blob of Compute Hypothesis）。它讲的不专指语言模型的规模扩展，写它的时候 GPT-1 刚刚问世，那只是众多方向之一。那年头还有机器人，有人把推理当成独立于语言模型的课题来做，还有 AlphaGo、OpenAI 打 Dota 那种强化学习的规模扩展，DeepMind 的 AlphaStar 打星际争霸大家也记得。所以那份文件写得比较泛。几年后理查德·萨顿（Rich Sutton）发表了《苦涩的教训》（The Bitter Lesson），假说基本是同一个。它说的是：所有的巧思，所有的技巧，所有「我们需要一种新方法才能做到某事」的想法，都不太重要。真正重要的只有几件事。

我记得我列了七条。第一，你有多少原始算力。第二，数据的数量。第三，数据的质量和分布，分布必须足够宽。第四，训练多长时间。第五，你需要一个能一路扩展到天上去的目标函数。预训练的目标函数就是其中之一。另一个是强化学习的目标函数，也就是给定一个目标，让模型去达成它。这里面既有数学和编程那种客观奖励，也有 RLHF 及其高阶版本那种主观奖励。第六和第七条是归一化和条件化之类的东西，也就是把数值稳定性弄好，让这一大块算力像层流一样顺畅地流过去，而不是撞上各种问题。

这就是当年的假说，我至今仍然持有。我没见过多少与它相悖的东西。预训练的规模定律是它的一个例证，而且这些定律一直在延续。现在外界报道很多，我们对预训练感觉良好，它仍在带来收益。变化在于，我们现在在强化学习上也看到了同样的现象。先有预训练阶段，再在上面叠一个强化学习阶段。强化学习其实是同一回事。其他公司在发布材料里也公开过：在数学竞赛（AIME 之类）上训练模型，模型的表现与训练时长呈对数线性关系。我们也看到了同样的东西，而且不只是数学竞赛，而是各种各样的强化学习任务。预训练里看到的规模扩展规律，在强化学习里同样成立。

样本效率：进化还是学习

帕特尔：你提到了萨顿和《苦涩的教训》。我去年采访过他，他其实很不「LLM 派」。我不确定这是不是他的原话，但可以把他的反对意见概括为：一个真正拥有人类学习核心能力的系统，不需要几十亿美元的数据和算力，不需要这些定制的环境，才能学会用 Excel、用 PowerPoint、用浏览器。我们不得不用这些强化学习环境把技能一个个灌进去，这本身就暗示我们缺了一种核心的人类学习算法，所以我们在扩展错误的东西。这确实引出一个问题：如果我们相信会出现某种像人一样能即时学习的东西，那为什么还要做这么多强化学习的规模扩展？

阿莫迪：我认为这把几件本该分开看的事情混在了一起。这里确实有一个真正的谜题，但它可能无关紧要，我甚至猜它大概率无关紧要。我们先把强化学习放到一边，因为在这个问题上，说强化学习和预训练有什么不同，其实是转移视线。

回看预训练的规模扩展，2017 年亚历克·拉德福德（Alec Radford）做 GPT-1 的时候很有意思。GPT-1 之前的模型是在一些不代表广泛文本分布的数据集上训练的，都是很标准的语言建模基准。GPT-1 本身我记得是在一堆同人小说上训练的，是文学文本，只占你能拿到的文本的很小一部分。那时候大概是十亿词的量级，数据集小，分布也窄，泛化得并不好。你在某个同人小说语料上做得更好，并不能很好地迁移到别的任务上。我们有各种指标，衡量它预测其他各类文本的表现。直到你在互联网上的所有任务上训练，也就是从 Common Crawl 之类的地方做全网抓取，或者像我们做 GPT-2 时那样抓 Reddit 里的链接，你才开始得到泛化。我认为强化学习正在重演同一件事。先从简单的强化学习任务开始，比如在数学竞赛上训练，再扩展到代码之类更广的训练，现在又转向许多其他任务。接下来泛化会越来越强。

这样一来，强化学习和预训练之间的区别就消掉了。但不管怎样，谜题仍然存在：预训练用了上万亿个 token，而人类一辈子看不到上万亿个词。所以样本效率上确实存在差异，确实有什么东西不一样。模型从零开始，需要多得多的训练。但我们也看到，模型一旦训练完成，如果给它一百万的长上下文（长上下文唯一的阻碍是推理），它在上下文内学习和适应的能力非常强。这个问题的完整答案我不知道。

我觉得情况是这样：预训练不像人类学习的过程，它介于人类学习和人类进化之间。我们的许多先验来自进化，大脑不是白板，这方面有整本整本的书。语言模型则更像白板，它们真的是从随机权重开始的，而人脑一开始就有各个区域，连接着各种输入输出。也许我们应该把预训练（以及强化学习）看成处在人类进化和人类现场学习之间的中间地带，把模型的上下文内学习看成处在人类长期学习和短期学习之间。所以这里有一个层级：进化，长期学习，短期学习，以及人的即时反应。语言模型的各个阶段落在这条谱系上，但未必落在同样的点上。人类的某些学习模式在语言模型里没有对应物，模型的阶段落在那些点的中间。这样说讲得通吗？

帕特尔：讲得通，但有些地方还是让人困惑。比如，如果这个类比是说预训练像进化，所以样本效率低没关系，那么如果我们将从上下文内学习中得到一个样本效率极高的智能体，我们为什么还要费劲搭建这么多强化学习环境？有些公司的工作看起来就是在教模型怎么用这个 API、怎么用 Slack、怎么用各种东西。如果那种能即时学习的智能体正在出现，或者已经出现，我不明白为什么要在这上面下这么大功夫。

阿莫迪：别人为什么强调这些我说不了，我只能说我们怎么想。目标不是在强化学习里教会模型每一项可能的技能，正如我们在预训练里也不这么做。预训练时，我们并不试图让模型见过词语的每一种可能组合，而是让模型在大量东西上训练，然后在整个预训练范围内实现泛化。这就是我近距离看到的从 GPT-1 到 GPT-2 的转变。模型会到达某个点。我有过这样的时刻：「哦，你只要给模型一列数字，这是房子的价格，这是房子的面积，模型就能补全这个模式，做出线性回归。」做得不算好，但它做到了，而且它从没见过这个具体的东西。所以我们搭建强化学习环境，目的和五年、十年前做预训练非常相似。我们要收集一大批数据，不是为了覆盖某份具体文档或某项具体技能，而是为了泛化。

十年九成，一两年五五开

帕特尔：你铺陈的这个框架显然说得通。我们在向通用人工智能（AGI）推进，到现在没人否认本世纪会实现 AGI。分歧在于，你说我们正在触及指数的终点，而另一个人看着同样的东西会说：「我们从 2012 年起就在进步，到 2035 年会有一个类人的智能体。」我们显然在这些模型里看到了进化所做的事，或者人一生的学习所做的事。我想知道，你看到了什么，让你认为这是一年之遥而不是十年之遥。

阿莫迪：这里可以提两种主张，一强一弱。先说弱的。2019 年我第一次看到规模扩展的时候，我并不确定，那是个五五开的事。我觉得我看到了点什么，我的主张是「这比任何人想的都更可能，也许有百分之五十的概率」。对于你说的这个基本假设，也就是十年之内我们得到我所说的「数据中心里的天才之国」（country of geniuses in a data center），我给百分之九十。很难比九十再高多少，因为世界太不可预测。也许不可消除的不确定性把我们放在百分之九十五，剩下的是那种多家公司同时内乱、台湾遭到入侵、所有晶圆厂被导弹炸掉的世界。

帕特尔：你这是给我们下咒了，达里奥。

阿莫迪：你可以构造出一个百分之五的世界，事情被推迟十年。还有另外百分之五，来自我对可验证任务非常有把握这件事。编程方面，除去那点不可消除的不确定性，我认为一两年内就能到。十年之内做不到端到端编程，这是不可能的。我唯一一点根本性的不确定，哪怕放在长时间尺度上，是关于那些不可验证的任务：规划一次火星任务，做出 CRISPR 那样的基础科学发现，写一部小说。这些任务很难验证。我几乎可以肯定我们有一条可靠的路径到达那里，但如果说还有一点不确定，就在这儿。十年的时间线我给百分之九十，这差不多是你能有的最大把握了。我认为说 2035 年前不会发生是疯了。在一个正常的世界里，这种说法应该属于非主流。

帕特尔：但你对可验证性的强调，在我听来暗示了你并不完全相信这些模型是泛化的。想想人类，我们既擅长有可验证奖励的事，也擅长没有可验证奖励的事。

阿莫迪：不，这正是我几乎确定的原因。我们已经看到了从可验证的东西向不可验证的东西的大量泛化。这已经在发生了。

帕特尔：但你刚才把它说成一条谱系，谱系会把领域分开，某些领域进展更快。这不像人类变强的方式。

阿莫迪：我们到不了那里的世界，是这样的：我们把所有可验证的事都做了，其中很多泛化了，但我们没有完全到达，没有把盒子的另一边完全涂满。这不是非黑即白的事。

软件工程自动化的谱系

帕特尔：即使泛化很弱，你只能做可验证的领域，我也不确定在那样的世界里你能把软件工程自动化。你在某种意义上也是「软件工程师」，但你做软件工程师的一部分工作是写关于宏大愿景的长篇备忘录。

阿莫迪：我不认为那是软件工程师的工作，那是公司的工作，不是软件工程专属的。但软件工程确实包括设计文档之类的东西。模型现在写注释已经相当不错了。再说一次，我在这里提的主张比我实际相信的弱得多，是为了区分两件事。在软件工程上，我们已经快到了。

帕特尔：以什么为标准？有一个标准是有多少行代码是 AI 写的。可如果看软件工程史上的其他生产力提升，编译器写了所有的软件行。写了多少行，和生产力提升有多大，是两码事。「我们快到了」指的是什么？生产力提升有多大，而不只是多少行代码是 AI 写的？

阿莫迪：这一点我完全同意你。我在代码和软件工程上做过一系列预测，我认为人们一再误解了它们。让我把这条谱系铺开。大约八九个月前，我说三到六个月内 AI 模型会写下百分之九十的代码。这发生了，至少在某些地方发生了。在 Anthropic 发生了，在许多使用我们模型的下游用户那里也发生了。但这其实是个很弱的标准。人们以为我在说我们不再需要百分之九十的软件工程师。这两件事天差地别。谱系是这样的：百分之九十的代码由模型写；百分之百的代码由模型写，这在生产力上是个很大的差别；百分之九十的端到端软件工程任务由模型完成，包括编译、搭建集群和环境、测试功能、写备忘录；今天百分之百的软件工程任务由模型完成。即便到了那一步，也不意味着软件工程师会失业，他们可以做新的、更高层次的事情，比如去管理。谱系再往下，是对软件工程师的需求减少百分之九十，我认为这也会发生，但这是一条谱系。我在《技术的青春期》里写过，用农业走了一遍这条谱系。所以这点我完全同意你，这些基准彼此很不一样，但我们正在飞快地穿过它们。

扩散是真约束还是托词

帕特尔：你的愿景里有一部分是，从九十到一百会很快发生，而且会带来巨大的生产力提升。但我注意到，即便是从零开始的项目，人们用 Claude Code 之类的东西起步，报告说开了很多项目……可我们在外面的世界看到软件的文艺复兴了吗？看到那些本来不会存在的新功能了吗？至少到目前为止，似乎没有。这让我怀疑，就算我永远不需要干预 Claude Code，世界还是复杂的，工作还是复杂的。仅仅在写软件这种自足的系统里闭合回路，能带来多大范围的收益？也许这该稀释我们对「天才之国」的估计。

阿莫迪：我同时同意你，这是事情不会瞬间发生的原因，但我又认为效应会非常快。这里有两个极端。一个极端是 AI 不会取得进展，很慢，要花很久才能在经济中扩散。「经济扩散」已经成了一个流行词，用来说明为什么 AI 不会进步，或者为什么 AI 进步不重要。另一个极端是我们会得到递归自我改进，整套东西。难道不能在曲线上直接画一条指数线？递归一开始，几纳秒之后我们就有戴森球环绕太阳了。我完全是在漫画化这些观点，但这两个极端确实存在。而我们从一开始看到的，至少在 Anthropic 内部看到的，是这种怪异的每年十倍的收入增长。2023 年从零到一亿美元，2024 年从一亿到十亿，2025 年从十亿到九十亿、一百亿。

帕特尔：你们该直接买十亿美元自家产品的，这样就能……

阿莫迪：今年头一个月，这条指数曲线……你会以为它该放缓了，可我们一月份又加了几十亿的收入。这条曲线显然不可能永远走下去，GDP 就那么大。我甚至猜它今年会有所弯曲，但这是一条很快的曲线，真的很快。我敢打赌，就算规模扩展到整个经济，它仍然会相当快。所以我们应该考虑这种中间世界：事情极快，但不是瞬间完成，需要时间，因为经济扩散，因为需要闭合回路。因为琐碎：「我得在企业内部做变更管理……我把这个搭起来了，但得改安全权限才能真正跑通……我有个老软件，会在模型编译发布前做检查，我得重写它。是的，模型能做，但我得告诉模型去做，这需要时间。」所以我认为我们迄今看到的一切，都与这个图景相容：有一条快速的指数，是模型的能力；还有另一条快速的指数，是它的下游，即模型向经济中的扩散。不是瞬间，也不慢，比以往任何技术都快得多，但有它的极限。看 Anthropic 内部，看我们的客户：采用很快，但不是无限快。

帕特尔：我能对你抛个激进观点吗？

阿莫迪：来。

帕特尔：我觉得「扩散」是人们用来自我安慰的说辞。模型做不了某件事的时候，他们就说「哦，那是扩散问题」。但你应该拿人来做比较。AI 天生的优势，应该让新 AI 的上岗比新人的上岗容易得多。AI 几分钟就能读完你整个 Slack 和网盘。同一个实例的其他副本知道的东西，它们都能共享。雇 AI 不存在逆向选择问题，你直接雇一个经过审核的 AI 模型的副本就行。雇人麻烦得多。可人们一直在雇人，我们付给人类的工资高达五十万亿美元，因为他们有用，即便原则上把 AI 整合进经济比雇人容易得多。所以扩散解释不了这件事。

阿莫迪：我认为扩散是非常真实的，而且不完全是 AI 模型的局限造成的。再说一次，有人把扩散当作一个流行词，用来说这事不是什么大事，我说的不是那个。我说的不是 AI 会以以往技术的速度扩散。我认为 AI 的扩散会比以往任何技术都快得多，但不是无限快。举个例子，Claude Code。Claude Code 极其容易上手，你是开发者的话，直接开始用就行。没有任何理由，大企业的开发者不该像个人开发者或初创公司开发者那样快地采用 Claude Code。我们尽一切可能推广它，把 Claude Code 卖给企业。大企业、大金融公司、大药企，全都在以远超企业采用新技术常规速度的速度采用 Claude Code。但它仍然需要时间。任何一项功能、任何一个产品，比如 Claude Code 或 Cowork，那些整天泡在推特上的个人开发者、A 轮初创公司采用它的时间，会比一家做食品销售的大企业早好几个月。

原因有很多。得过法务，得给所有人配置，得通过安全和合规审查。公司领导离 AI 革命更远，他们有前瞻性，但得先说服自己：「哦，我们花五千万有道理。Claude Code 是这么个东西，它这样帮到我们公司，这样让我们更有生产力。」然后他们得向下面两级的人解释：「好，我们有三千名开发者，我们这样把它推给开发者。」我们每天都在进行这样的对话。我们在尽一切可能让 Anthropic 的收入每年增长二三十倍而不是十倍。很多企业确实在说：「这东西太提高生产力了，我们要在常规采购流程上走捷径。」他们比我们当初只卖普通 API 的时候动作快得多，而他们很多人也在用那个 API。Claude Code 是更有说服力的产品，但不是无限有说服力的产品。我不认为即便是 AGI、强大的 AI、「数据中心里的天才之国」，会是一个无限有说服力的产品。它的说服力也许足以让你每年增长三到五倍，或者十倍，哪怕在几千亿美元的规模上，这已经极其困难，史无前例，但仍然不是无限快。

帕特尔：我接受它会带来一点放缓。也许这不是你的主张，但有时人们的说法像是：「哦，能力已经在了，只是因为扩散……否则我们基本上已经到 AGI 了。」

阿莫迪：我不认为我们基本上到 AGI 了。如果我们有了「数据中心里的天才之国」，我们会知道的。这个房间里的每个人都会知道，华盛顿的每个人都会知道。农村地区的人可能不知道，但我们会知道。我们现在没有，这非常清楚。

剪辑师案例与在岗学习

帕特尔：回到具体的预测。因为要区分的事情太多，谈能力的时候很容易各说各话。比如三年前采访你时，我请你预测三年后我们该期待什么。你说对了。你说：「我们应该期待这样的系统：你跟它聊上一个小时，很难把它和一个受过良好教育的普通人区分开。」我认为你说对了。但从精神上讲我不满足，因为我内心的预期是，这样的系统能把白领工作的很大一部分自动化。所以也许更有效的方式是谈你想从这样的系统里得到的最终能力。让我问一个很具体的问题，好让我们弄清近期该考虑哪些能力。我拿一份我很了解的工作来问，不是因为它最有代表性，而是因为我能评估关于它的说法。视频剪辑师。我有几位剪辑师。他们工作的一部分，是了解我们观众的偏好，了解我的偏好和口味，以及我们面对的各种取舍。他们在好几个月里逐步建立起这种对上下文的理解。他们入职六个月后拥有的这种技能和能力，一个能在工作中即时学会它的模型，我们该在什么时候期待？

阿莫迪：你说的大概是这样：我们做这场三小时的访谈，有人进来剪，他会说：「哦，达里奥挠了下头，我们可以把这段剪掉。」「这里放大一下。」「这段长讨论观众没那么感兴趣，另一段更有意思，所以这样剪。」我认为「数据中心里的天才之国」能做这件事。它做的方式是，它能全面控制一块电脑屏幕，你把素材喂进去。它还能用这块屏幕上网，看你以前所有的访谈，看人们在推特上对你的访谈是怎么反应的，跟你聊，问你问题，跟你的团队聊，看你过去的剪辑记录，然后据此完成工作。我认为这取决于几件事。其中一件真正阻碍部署的，就是电脑操作（computer use）要达到模型真正精通用电脑的地步。我们看到基准测试在攀升，基准测试永远是不完美的衡量。但我记得一年零一个季度之前我们首次发布电脑操作时，OSWorld 大概是百分之十五，具体我记不清了，现在我们爬到了百分之六十五到七十。也许还有更难的衡量标准，但我认为电脑操作必须跨过一个可靠性的门槛。

帕特尔：在你说下一点之前，我能追问一下吗？多年来我一直在尝试给自己搭各种内部的大模型工具。我经常有那种文本进、文本出的任务，这应该是这些模型的正中靶心。可我至今还在雇人来做。比如「找出这份文字稿里最好的片段」，模型也许能做到七分。但我没法像对待人类员工那样，持续地跟它互动，帮它在这份工作上越做越好。这种缺失的能力，即使你解决了电脑操作，仍然会阻碍我把一份真正的工作交出去。

阿莫迪：这又回到我们之前谈的在岗学习。很有意思。拿编程智能体来说，我不认为人们会说，在岗学习是阻碍编程智能体端到端做完所有事的原因。它们一直在变好。Anthropic 有工程师已经完全不写代码了。说到你之前的生产力问题，我们有人说：「这个 GPU 内核，这块芯片，以前我自己写，现在我就让 Claude 写。」生产力提升是巨大的。看 Claude Code 的时候，「对代码库不熟悉」或者「模型没在公司干满一年」，这在我看到的抱怨清单上排不到前面。我想说的是，我们走的是一条不同的路。

帕特尔：你不觉得编程之所以如此，是因为存在一个外部的记忆脚手架，它就实例化在代码库里吗？我不知道有多少其他工作有这个东西。编程进展快，恰恰是因为它有这个别的经济活动不具备的独特优势。

阿莫迪：但你这么说，其实是在暗示，把代码库读进上下文，我就拥有了人类需要在岗学习的一切。所以这就是一个例子，不管它有没有写下来、有没有可用，一切你需要知道的东西都从上下文窗口里得到了。我们所谓的学习，「我刚入职，得花六个月才能理解这个代码库」，模型直接在上下文里做完了。

帕特尔：我老实说不知道该怎么看这件事，因为有人在定性地报告你说的东西。你肯定看过去年那项重要研究：让有经验的开发者在他们熟悉的代码仓库里去关闭拉取请求。这些开发者报告说自己得到了提升，感觉用了模型更有效率。但如果看他们的产出，看有多少真正合并回去了，实际是百分之二十的下降。用了这些模型之后，他们的生产力反而更低。所以我想把两件事对上：人们对这些模型的定性感受，与第一，宏观上软件的文艺复兴在哪里；第二，独立评估为什么没看到我们预期的生产力收益。

阿莫迪：在 Anthropic 内部，这件事毫不含糊。我们承受着难以置信的商业压力，还给自己加码，因为我们做了这么多安全工作，我认为比其他公司做得多。既要在经济上活下来，又要守住价值观，压力大得惊人。我们在努力维持这条十倍的收入曲线。没有时间扯淡，没有时间在并不高效的时候自我感觉高效。这些工具让我们的生产力大大提高。你以为我们为什么担心竞争对手用这些工具？因为我们认为自己领先于对手。如果这东西暗地里在降低我们的生产力，我们不会费这么大劲。我们每隔几个月就能在模型发布上看到最终的生产力。这件事上没法自欺欺人。模型确实让你更有生产力。

帕特尔：第一，人们「感觉」自己更高效，这恰恰是那类研究定性预测到的。第二，光看最终产出，你们显然进展很快。但原本的说法应该是，递归自我改进：你造出更好的 AI，AI 帮你造下一个更好的 AI，如此往复。而我看到的，看你们、OpenAI、DeepMind，是大家每隔几个月在领奖台上换换位置。也许你认为这会停下来，因为你们赢了什么的。但如果上一代编程模型真的带来了巨大的生产力收益，为什么拥有最好编程模型的那家没有获得持久的优势？

阿莫迪：我对局面的理解是，有一个逐渐增长的优势。我的看法是，编程模型现在大概带来百分之十五到二十的全要素提速。六个月前也许是百分之五，那时候不重要，百分之五显不出来。现在刚到它成为几个重要因素之一的地步，而且会继续加速。我认为六个月前有几家公司大致处于同一位置，因为这还不是一个显著因素，但现在它开始越来越快地加速。我还要说，有好几家公司都做用于编程的模型，而我们并不能完美地阻止其中一些公司在内部使用我们的模型。所以我们看到的一切都与这种滚雪球模型相符。我在所有这些问题上的主题都是：软起飞，平滑的指数，只是指数相当陡。我们看到雪球在积累动量，百分之十，二十，二十五，四十。往前走的时候，按阿姆达尔定律（Amdahl's law），你得把所有阻碍你闭合回路的东西清掉。这是 Anthropic 内部最优先的事项之一。

帕特尔：退一步说，我们之前在谈什么时候能得到在岗学习。你在编程上的论点似乎是，我们其实不需要在岗学习。没有这种基本的人类在岗学习能力，你也能有巨大的生产力提升，AI 公司也可能有数万亿美元的收入。也许这不是你的主张，你可以澄清。但在大多数经济活动领域，人们会说：「我雇了个人，头几个月没什么用，然后随着时间推移，他建立了上下文和理解。」这东西很难定义，但他得到了什么，然后现在成了主力，对我们非常有价值。如果 AI 不发展出这种即时学习的能力，我有点怀疑没有它我们能看到世界发生巨大变化。

阿莫迪：这里有两件事。一是技术的现状。我们有两个阶段，预训练和强化学习阶段，你把一堆数据和任务扔进模型，它们就泛化。所以这是学习，但是从更多的数据里学，而不是在一个人或一个模型的一生里学。它介于进化和人类学习之间。但一旦学会了那些技能，你就拥有了它们。就像预训练一样，模型知道得更多。我看一个预训练模型，它对日本武士史的了解比我多，对棒球的了解比我多，对低通滤波器和电子学的了解比我多。它的知识面比我宽得多。我认为光是这一点，可能就足以让模型在一切事情上比人强。

我们还有，同样只是扩展现有的设置，上下文内学习。我会把它描述成类似人类的在岗学习，但弱一点、短期一点。看上下文内学习，你给模型一堆例子，它确实能学会。上下文里发生的是真实的学习。一百万个 token 是很多的，相当于人好几天的学习。想想模型读一百万个词，我读一百万个词要多久？至少好几天到几周。所以你有这两样东西。我认为在现有范式内，这两样东西可能就足以让你得到「数据中心里的天才之国」。我不能肯定，但我认为它们能让你得到其中的一大部分。可能有缺口，但我确信，就按现在的样子，这足以产生数万亿美元的收入。这是第一点。第二点是持续学习（continual learning）这个概念，单个模型在岗学习。我们也在做这个，未来一两年内很有可能也解决它。再说一遍，没有它你也能走完大部分路。每年数万亿美元的市场，也许我在《技术的青春期》里写的所有国家安全和安全影响，都可以在没有它的情况下发生。但我们，我想还有其他人，都在做这件事。未来一两年内到达那里的可能性很大。有一堆想法，我不会详细讲，其中一个就是把上下文做长。没有什么阻碍更长的上下文起作用，你只需要在更长的上下文上训练，然后学会在推理时提供它。这两件都是工程问题，我们正在做，我想别人也在做。

长上下文只是工程问题

帕特尔：说到上下文长度的增长，从 2020 年到 2023 年，从 GPT-3 到 GPT-4 Turbo，上下文长度从两千增加到了十二万八千。之后这两年左右，我们似乎一直停在差不多的范围。上下文长得多的时候，人们报告说模型考虑整个上下文的能力在定性上会退化。所以我很好奇你们内部看到了什么，让你认为「一千万、一亿的上下文，就能得到六个月的人类学习和上下文积累」。

阿莫迪：这不是研究问题，这是工程和推理问题。要提供长上下文，你得存下整个 KV 缓存。把所有内存放进 GPU、来回腾挪内存，是很困难的。细节我甚至不知道，到了这个层面我已经跟不上了，虽然 GPT-3 时代我还知道：「这些是权重，这些是你必须存的激活……」但现在整件事翻了个个儿，因为我们有混合专家模型（MoE）之类的东西。你说的退化，不说太具体，有两回事。一个是你训练时的上下文长度，一个是你提供服务时的上下文长度。如果你在短上下文上训练，然后试图在长上下文上提供服务，也许就会出现这种退化。这总比没有强，你可能还是会提供，但会有退化。也许在长上下文上训练更难。

帕特尔：我同时想问几个细节。你难道不会预期，如果必须在更长的上下文上训练，同样的算力就只能塞进更少的样本？也许不值得深挖。我想得到那个更宏观问题的答案：我不再偏好一个为我工作了六个月的人类剪辑师，而不是一个跟我合作了六个月的 AI，你预测这会在哪一年实现？

阿莫迪：我的猜测是，有很多问题，基本上一旦我们有了「数据中心里的天才之国」就能解决。要我猜的话，我的图景是一到两年，也许一到三年。真的很难说。我有一个很强的观点，百分之九十九、九十五，这一切会在十年内发生，我认为这是个超级稳妥的赌注。我有一个直觉，这更像是五五开的事，它更可能是一到两年，或者一到三年。

帕特尔：那么一到三年。天才之国，以及经济价值稍逊的视频剪辑。

阿莫迪：我跟你说，那看起来经济价值可不小。

帕特尔：只是这样的用例太多了，类似的太多了。所以你预测是一到三年之内。再往大了说，Anthropic 预测过，到 2026 年底或 2027 年初，我们会拥有这样的 AI 系统：「有能力操作今天从事数字工作的人所使用的界面，智力能力匹敌或超过诺贝尔奖得主，并且有能力与物理世界交互。」你两个月前接受 DealBook 采访，强调你们公司在算力扩张上比竞争对手更负责任。我想把这两种观点对上。如果你真的相信我们会有一个天才之国，你就该要尽可能大的数据中心，没有理由放慢。一个真能做到诺贝尔奖得主所能做的一切的东西，潜在市场规模是数万亿美元。所以我想弄明白，这种保守，如果你的时间线更温和它就是理性的，怎么与你公开的进展观点对得上。

买多少算力：破产边缘的下注

阿莫迪：这其实全能对上。回到那个「快，但不是无限快」的扩散。假设我们以这个速度进步，技术进步得这么快。我非常确信几年内我们会到达那里，我的直觉是一两年内。所以技术方面有一点不确定性，但相当有信心不会差太多。我不那么确定的，还是经济扩散那一面。我真的相信一两年内我们可能有作为数据中心里天才之国的模型。问题是，在那之后多少年，数万亿的收入才开始滚进来？我不认为这一定是立刻的。可能一年，可能两年，我甚至可以拉长到五年，虽然我对此持怀疑态度。所以存在这种不确定性。即使技术像我怀疑的那样快，我们也不知道它推动收入的速度到底有多快。我们知道它要来了，但按你购买这些数据中心的方式，如果差了两年，那可能是毁灭性的。就像我在《仁爱机器》（Machines of Loving Grace）里写的，我说我们可能得到这种强大的 AI，这个「数据中心里的天才之国」。你引用的那段描述就出自《仁爱机器》。我说我们在 2026 年会得到它，也许是 2027 年。这是我的直觉，差一两年我不会意外，但这是我的直觉。

假设那发生了，那是发令枪。治愈所有疾病要多久？这是它创造巨大经济价值的方式之一。你治愈了每一种疾病。有个问题是其中多少归药企、多少归 AI 公司，但消费者剩余是巨大的，因为我们治愈了所有这些疾病，前提是我们能让所有人都用上，这是我极其在乎的。要多久？你得做生物学发现，得生产新药，得走监管流程。我们在新冠疫苗上看到过。我们把疫苗送到了每个人手上，但花了一年半。我的问题是：把 AI 这个天才理论上能发明的万病之药送到每个人手上，要多久？从那个 AI 在实验室里首次存在，到疾病真正在所有人身上被治愈，要多久？我们有脊髓灰质炎疫苗五十年了，我们仍在努力在非洲最偏远的角落根除它。盖茨基金会在竭尽全力，其他人也在竭尽全力，但那很难。我不指望大多数经济扩散像那样困难，那是最难的情形。但这里有一个真正的两难。我的结论是，它会比世界上我们见过的任何东西都快，但仍有极限。

所以到了买数据中心的时候，我看的曲线是：我们每年都有十倍的增长。今年年初，我们看着一百亿美元的年化收入，得决定买多少算力。真正建成数据中心、预留数据中心，需要一两年。我实际上是在问：「2027 年我能拿到多少算力？」我可以假设收入继续每年十倍增长，那 2026 年底是一千亿，2027 年底是一万亿。实际上那会是五万亿美元的算力，因为一年一万亿，持续五年。我可以买一万亿美元从 2027 年底开始的算力。如果我的收入不是一万亿，哪怕是八千亿，地球上没有任何力量、没有任何对冲能阻止我因为买了这么多算力而破产。尽管我脑子里有一部分在想它会不会继续十倍增长，我也不能在 2027 年买每年一万亿美元的算力。如果我在增长速度上只差一年，或者增长率是每年五倍而不是十倍，你就破产了。

所以你最终处在一个支撑几千亿而不是几万亿的世界。你接受一些风险，即需求太大你撑不住收入；你也接受一些风险，即你判断错了，事情仍然很慢。我说「行事负责」，指的其实不是绝对数额。我们花得比其他一些玩家少一些，这是事实。我指的是别的：我们是不是深思熟虑过，还是在赌命式地说「这里投一千亿，那里投一千亿」？我的印象是，其他一些公司没有把电子表格写下来，他们并不真正理解自己在冒什么风险。他们只是因为听起来酷就去做了。我们认真考虑过。我们是企业业务，因此可以更多地依赖收入，它比消费者业务稳定。我们的利润率更好，这是买多和买少之间的缓冲。我认为我们买的量，足以让我们抓住相当强的上行世界。它抓不住完整的每年十倍，但事情得糟到相当程度我们才会陷入财务困境。所以我们仔细考虑过，做了这个平衡。这就是我说负责任的意思。

帕特尔：那么可能我们对「数据中心里的天才之国」的定义就是不一样的。因为我想到真正的人类天才，一个真正的人类天才之国在数据中心里，我会乐意买五万亿美元的算力来运行它。假设摩根大通或者 Moderna 之类的不想用他们，我有一个天才之国，他们会自己开公司。如果他们不能自己开公司，被临床试验卡住了……值得指出的是，大多数临床试验失败是因为药物没有疗效。

阿莫迪：我在《仁爱机器》里正好说了这一点，我说临床试验会比我们习惯的快得多，但不是无限快。

帕特尔：好，那假设临床试验要一年才能出结果，之后你才有收入去做更多的药。可是，你有一个天才之国，而你是一家 AI 实验室，你可以用多得多的 AI 研究员。你也认为聪明人做 AI 技术会带来自我强化的收益，你可以让数据中心去推动 AI 进展。每年买一万亿算力和买三千亿算力，收益差别大吗？如果你的对手在买一万亿，那就大。

阿莫迪：嗯，不，是有一些收益，但还是那句话，他们有可能在那之前就破产。只要差一年，你就毁了自己。这就是那个平衡。我们买了很多，买了非常多，买的量和这场游戏里最大的玩家相当。但如果你问我「为什么没签从 2027 年中开始的十万亿算力」……首先，造不出来，世界上没有那么多。其次，万一天才之国来了，但来的是 2028 年中而不是 2027 年中呢？你就破产了。

帕特尔：如果你的预测是一到三年，那你最晚到 2029 年似乎应该想要十万亿美元的算力？即便按你说的最长时间线，你们正在扩建的算力似乎也对不上。

阿莫迪：你为什么这么认为？

帕特尔：比如说人类工资的量级是每年五十万亿美元……

阿莫迪：我不谈 Anthropic 具体的情况，但谈行业的话，行业今年建设的算力大概是十到十五吉瓦，每年大约增长三倍。明年是三四十吉瓦，2028 年可能一百吉瓦，2029 年可能三百吉瓦。我心算一下，每吉瓦成本大概一百亿美元，每年一百到一百五十亿的量级。加在一起，你得到的差不多就是你描述的数字，完全一样。到 2028 或 2029 年，每年好几万亿，正是你预测的。

帕特尔：那是整个行业的。

阿莫迪：对，那是整个行业的。

帕特尔：假设 Anthropic 的算力保持每年三倍，到 2027、2028 年你们有十吉瓦。乘以你说的一百亿，那就是每年一千亿美元。可你说的是 2028 年的市场规模是两千亿。

阿莫迪：我还是不想给 Anthropic 的具体数字，但这些数字太小了。

利润、均衡与行业结构

帕特尔：好，有意思。你告诉投资者你们计划从 2028 年开始盈利。这正是我们可能得到数据中心里天才之国的年份，它将解锁医学、健康和新技术的所有进展。这不正是你想把钱再投回业务、建更大的「国家」、让它们做出更多发现的时候吗？

阿莫迪：盈利在这个领域是件挺怪的事。我不认为在这个领域，盈利真的衡量的是「消耗」与「再投资」之间的选择。我们来做个模型。我实际上认为，盈利发生在你低估了需求的时候，亏损发生在你高估了需求的时候，因为数据中心是提前买的。这么想：这些是程式化的事实，数字不精确，我只是做一个玩具模型。假设你一半的算力用于训练，一半用于推理。推理有超过百分之五十的毛利率。这意味着，如果你处在稳态，建了一个数据中心，并且确切知道会得到多少需求，你会得到一定的收入。假设你每年为算力付一千亿美元。其中五百亿支撑一千五百亿的收入，另外五百亿用于训练。你基本上是盈利的，赚五百亿的利润。这就是今天这个行业的经济结构，或者说不是今天，是我们预测一两年后的样子。唯一让它不成立的，是你得到的需求少于五百亿。那样你就有超过一半的数据中心用于研究，你不盈利。你训练出更强的模型，但你不盈利。如果需求比你想的多，研究就被挤压，但你能支撑更多推理，你就更盈利。也许我解释得不好，但我想说的是，你先决定算力总量，然后你对推理与训练的比例有个目标，但这个比例由需求决定，不由你决定。

帕特尔：我听到的是，你之所以预测会盈利，是因为你在系统性地对算力投资不足？

阿莫迪：不不不，我说的是这很难预测。关于 2028 年、关于什么时候会发生，那是我们向投资者尽力做出的判断。这一切都非常不确定，因为存在不确定性的锥体。如果收入增长够快，我们 2026 年就能盈利。如果我们高估或低估了下一年，结果可能剧烈摆动。我想说的是，你脑子里有一个模型：企业投资、投资、再投资，获得规模，然后盈利，存在一个单一的转折点。我不认为这个行业的经济结构是这样运作的。

帕特尔：明白了。如果我理解正确，你是说，由于我们本该拿到的算力和实际拿到的算力之间有差异，我们某种程度上是被迫盈利的。但这不意味着我们会持续盈利。我们会把钱再投进去，因为 AI 进展这么大，我们想要更大的天才之国。所以又回到收入很高、亏损也很高。

阿莫迪：如果每年我们都精确预测出需求，我们每年都会盈利。因为大约百分之五十的算力用于研究，加上高于百分之五十的毛利率，加上正确的需求预测，就会带来利润。我认为这个盈利的商业模式是存在的，只是被提前建设和预测误差遮住了。

帕特尔：我猜你把这个百分之五十当成给定的常数，可实际上，如果 AI 进展很快，而且你通过更大规模能加快进展，你就应该超过百分之五十，而不去盈利。

阿莫迪：但我要说的是，你可能想扩大它，可别忘了规模的对数回报。如果百分之七十只能通过一点四倍的因子让你得到一个稍好一点的模型……多出来的两百亿，每一美元对你的价值都小得多，因为是对数线性的设置。所以你可能发现，把那两百亿投在推理服务上，或者投在雇更擅长本职工作的工程师上更好。我说百分之五十，那不完全是我们的目标，不会正好是百分之五十，大概会随时间变动。我想说的是，对数线性回报导致的结果是，你花掉的是业务的一个「量级为一」的比例，不是百分之五，也不是百分之九十五。然后你就遇到递减回报。

帕特尔：我有点奇怪，我居然在说服达里奥相信 AI 进展。好，你不投研究是因为它有递减回报，但你投你提到的其他东西。我认为宏观层面的利润……

阿莫迪：再说一次，我讲的是递减回报，但那是在你每年已经花了五百亿之后。

帕特尔：我相信你也会这么说，可是天才的递减回报可能相当高。更一般地说，市场经济里的利润是什么？利润基本上是在说，市场里其他公司能用这笔钱做比我更多的事。

阿莫迪：把 Anthropic 放到一边，我不想给出 Anthropic 的信息，所以我才给这些程式化的数字。我们来推导行业的均衡。为什么不是每家都把百分之百的算力用于训练、一个客户也不服务？因为如果他们没有任何收入，就融不到资，做不了算力交易，明年就买不到更多算力。所以会存在一个均衡，每家公司在训练上花的都少于百分之百，在推理上花的当然也少于百分之百。为什么你不能只服务当前模型、永远不再训练新模型，这也很清楚，因为那样你就没有需求了，你会落后。所以存在某个均衡，不会是百分之十，也不会是百分之九十。就当它是百分之五十吧，这是我想说的。我认为我们会处在这样的位置：训练上花费的均衡比例，低于你在算力上能获得的毛利率。所以底层的经济结构是盈利的。问题是，你在购买下一年算力时面临地狱般的需求预测问题：你可能猜低了，非常盈利，但没有算力做研究；也可能猜高了，不盈利，但拥有世界上所有做研究的算力。这说得通吗？作为行业的动态模型？

帕特尔：也许退一步说，我不是说我认为「天才之国」两年内会来，所以你该买这些算力。你得出的最终结论在我看来很有道理，但那是因为「天才之国」看起来很难，路还很长。所以退一步，我想说的是，你的世界观似乎与这样的人相容：「我们离每年产生数万亿美元价值的世界还有十年。」

阿莫迪：那不是我的观点。所以我再做一个预测。我很难想象 2030 年之前不会有数万亿美元的收入。我可以构造一个合理的世界，它可能要三年，那是我认为合理范围的末端。比如 2028 年，我们得到真正的「数据中心里的天才之国」，收入到 2028 年进入几千亿的低段，然后天才之国把它加速到数万亿。我们基本处于扩散的慢端，用两年到达数万亿。那就是要到 2030 年的世界。我猜即使把技术指数和扩散指数叠加起来，我们也会在 2030 年之前到达。

帕特尔：所以你铺陈了一个模型，Anthropic 盈利是因为我们从根本上处在一个算力受限的世界。那么最终我们不断增加算力……

阿莫迪：我认为利润是这样来的……我们把整个行业抽象出来，想象我们在经济学教科书里。有少数几家公司，每家能投的资金有限，每家把一部分投入研发，服务有一定的边际成本。这个边际成本上的毛利率很高，因为推理是高效的。有一些竞争，但模型也是有差异的。公司会竞相抬高研发预算。但因为玩家数量少，我们得到……叫什么来着？我想是古诺均衡（Cournot equilibrium），少数厂商的那种均衡。重点是，它不会均衡到零利润的完全竞争。如果经济里有三家公司，各自独立地理性行事，它不会均衡到零。

帕特尔：帮我理解一下，因为现在我们确实有三家领先的公司，它们都不盈利。变化的是什么？

阿莫迪：再说一次，现在的毛利率是很正的。正在发生的是两件事的叠加。一是我们仍处在算力指数级扩张的阶段。一个模型训练出来，假设去年训练的一个模型花了十亿美元，今年它产生了四十亿收入，推理成本十亿。用程式化的数字，这是百分之七十五的毛利率，加上百分之二十五的「税」。所以这个模型整体赚了二十亿。但与此同时，我们在花一百亿训练下一个模型，因为存在指数级扩张。所以公司亏钱。每个模型都赚钱，但公司亏钱。我说的均衡，是一个我们已经有了「数据中心里的天才之国」、但模型训练的扩张已经更趋均衡的状态。也许还在涨，我们还在试图预测需求，但更平稳了。

帕特尔：有几点我不明白。先从当下的世界说起。你说得对，把每个单独的模型当成一家公司，它是盈利的。但作为前沿实验室，生产函数的一大部分就是训练下一个模型，对吧？

阿莫迪：对，没错。如果你不做，你会盈利两个月，然后就没有利润率了，因为你没有最好的模型。但在某个时点，它会达到能达到的最大规模。然后在均衡状态下，我们有算法改进，但训练下一个模型花的钱和训练当前模型花的差不多。到某个时候，经济里的钱就用完了。

帕特尔：这是「劳动总量固定谬误」……经济会增长的，对吧？这是你的预测之一。我们会把数据中心建到太空里。

阿莫迪：对，但这是我一直在说的主题的另一个例子。有了 AI，经济的增长会比历史上任何时候都快得多。现在算力每年增长三倍，我不相信经济会每年增长百分之三百。我在《仁爱机器》里说过，我认为经济可能有每年百分之十到二十的增长，但不会有百分之三百。所以最终，如果算力成为经济产出的大头，它会被这个上限卡住。

帕特尔：那我们假设一个算力被卡住的模型。前沿实验室赚钱的世界，是它们持续快速进步的世界。因为从根本上说，你的利润率受限于替代品有多好。你能赚钱是因为你有前沿模型，没有前沿模型你就赚不了钱。所以这个模型要求永远不存在稳态，永永远远你都得做出更多算法进步。

阿莫迪：我不这么认为。我感觉我们像在上经济学课。

帕特尔：你知道泰勒·考恩（Tyler Cowen）那句话吗？我们从不停止谈论经济学。

阿莫迪：确实从不停止。不，我不认为这个领域会变成垄断。我的律师从来不想让我说「垄断」这个词。但我不认为这个领域会是垄断。确实有一些行业只有少数几个玩家，不是一个，而是少数几个。通常，像 Facebook 或者 Meta（我总叫它 Facebook）那样的垄断，来自网络效应。而少数几个玩家的行业，来自极高的进入成本。云计算就是这样，我认为云是个好例子。云里有三家，也许四家玩家。我认为 AI 也一样，三家，也许四家。原因是它太贵了。运营一家云公司需要极多的专业知识和资本。你得投入所有这些资本，除此之外，你还得把其他一大堆需要很高技巧的事情做成。所以如果你去找人说「我想颠覆这个行业，给我一千亿美元」，对方会说：「好，我投一千亿，同时还在赌你能做成这些人一直在做的所有其他事。」而结果只是把利润降下来。你进入的效果就是利润率下降。所以经济里到处都有这种均衡，少数几个玩家，利润不是天文数字，利润率也不是天文数字，但不是零。这就是我们在云里看到的。云的差异化很小，模型比云差异化得多。大家都知道 Claude 擅长的东西和 GPT 擅长的不一样，和 Gemini 擅长的也不一样。不只是 Claude 擅长编程、GPT 擅长数学和推理那么简单，比这微妙得多。各个模型擅长不同类型的编程，有不同的风格。我认为它们彼此之间确实很不一样，所以我预期会比云有更多的差异化。

不过确实有一个反论。如果生产模型的过程本身可以由 AI 模型来完成，那这种能力会扩散到整个经济。但那不是一个把 AI 模型普遍商品化的论证，而是一个把整个经济同时商品化的论证。我不知道在那个世界里会发生什么，基本上任何人能做任何事，任何人能造任何东西，任何东西周围都没有护城河。我不知道，也许我们想要那个世界，也许那就是终局。也许当 AI 模型能做一切、我们又解决了所有安全和安保问题的时候，那是经济重新把自己拉平的机制之一。但那已经远在「数据中心里的天才之国」之后了。

帕特尔：也许更精细的说法是：第一，AI 研究似乎特别依赖纯粹的智力，而这在 AGI 的世界里会特别充裕；第二，看今天的世界，很少有技术像 AI 算法进步那样扩散得这么快。这确实暗示这个行业在结构上是扩散性的。

阿莫迪：我认为编程走得快，但 AI 研究是编程的超集，它有些方面走得并不快。不过我确实认为，一旦我们拿下编程，一旦 AI 模型走快了，那会加快 AI 模型做其他一切的能力。所以虽然现在是编程走得快，我认为一旦 AI 模型在构建下一代 AI 模型、在构建其他一切，整个经济会以差不多同样的步伐前进。不过我担心地理上的问题。我有点担心，仅仅是离 AI 近、听说过 AI，就可能成为一个分化因素。所以我说百分之十到二十的增长率时，我的一个担心是，增长率在硅谷和那些与硅谷有社会联系的地方可能是百分之五十，而在其他地方比现在快不了多少。我认为那会是一个相当糟糕的世界。所以我经常思考的一件事，就是怎么防止这种情况。

机器人与下一道障碍

帕特尔：你认为一旦我们有了数据中心里的天才之国，机器人问题会很快随之解决吗？因为机器人的一大问题似乎是，人能学会遥控现有的硬件，而现在的 AI 模型不能，至少不能以高效的方式做到。如果我们有了这种像人一样学习的能力，它不该立刻把机器人也解决了吗？

阿莫迪：我不认为这取决于像人一样学习。它可能以不同的方式发生。同样，我们可以让模型在许多不同的电子游戏上训练，它们类似机器人控制；或者在许多不同的模拟机器人环境上训练；或者只是训练它们控制电脑屏幕，然后它们学会泛化。所以它会发生，但不一定依赖类人的学习。类人学习是它可能发生的一种方式。如果模型能「哦，我拿起一个机器人，不会用，我学一下」，那可能是因为我们发现了持续学习。也可能是因为我们在一堆环境上训练了模型然后泛化了，或者因为模型在上下文长度内学会了。哪种方式其实不重要。回到我们一小时前的讨论，这类事情可以通过几种不同的方式发生。但我确实认为，不管出于什么原因，一旦模型有了这些技能，机器人领域就会被彻底改变，既包括机器人的设计，因为模型在这方面会比人强得多，也包括控制机器人的能力。所以我们会更擅长造物理硬件、造物理机器人，也更擅长控制它。那么，这是否意味着机器人行业也会产生数万亿美元的收入？我的答案是会，但会有同样极快又不是无限快的扩散。机器人会被革命吗？会，也许再加一两年。我就是这样看这些事的。

帕特尔：说得通。对极快的进展普遍存在怀疑。我的看法是这样。听起来你们会在几年内以某种方式解决持续学习。但正如几年前人们不谈持续学习，后来我们意识到「哦，为什么这些模型明明通过了图灵测试、在这么多领域是专家，却没有它们本可以那么有用？也许是这个东西。」然后我们解决了这个东西，又发现，其实人类智能还有另一样东西，是人类劳动的基础，而这些模型做不到。为什么不认为还会有更多这样的事，我们会发现人类智能还有更多组成部分？

阿莫迪：说清楚一点，我之前说过，我认为持续学习可能根本不是障碍。我们可能仅靠预训练泛化和强化学习泛化就到了。这东西可能根本不存在。事实上，我可以指出机器学习的历史：人们提出各种障碍，最后都在这一大块算力里消解了。人们说过「你的模型怎么跟踪名词和动词」，「它们能在句法上理解，但不能在语义上理解，只是统计相关」，「你能理解一段话，理解不了一个词」，「推理，你做不了推理」。然后突然间，它把代码和数学做得非常好。所以我认为，更强的历史记录是，这些东西看起来是大事，然后消解掉了。有些是真的。对数据的需求是真的，持续学习也许是真的。但我还是要用代码这样的东西来锚定我们的讨论。我认为一两年内我们可能到达模型能端到端做软件工程的地步。那是一整项任务，是人类活动的一整个领域，我们说模型现在能做了。

帕特尔：你说端到端，是指设定技术方向、理解问题的上下文等等？

阿莫迪：是的，我指所有这些。

帕特尔：有意思。我觉得那是「AGI 完全」的，这也许在内部是自洽的。但它和说百分之九十的代码或者百分之百的代码不是一回事。

阿莫迪：不是，我给了这条谱系：百分之九十的代码，百分之百的代码，百分之九十的端到端软件工程，百分之百的端到端软件工程。软件工程师会有新任务被创造出来，最终那些也会被做掉。这是一条很长的谱系，但我们在飞快地穿过它。

帕特尔：我觉得挺好笑的，我看过你做的几期播客，主持人会说「可是德瓦凯什写了那篇关于持续学习的文章」。这总让我忍不住笑，因为你做了十年 AI 研究员。我想你肯定有那种感觉：「好吧，一个播客主写了篇文章，我每次采访都被问到它。」

阿莫迪：事实是，我们都在一起摸索这件事。有些方面我能看到别人看不到的东西。如今这更多是因为我在 Anthropic 内部看到一大堆情况、必须做一大堆决定，而不是因为我有什么别人没有的伟大研究洞见。我在管一家两千五百人的公司。要我有具体的研究洞见其实相当难，比十年前难得多，甚至比两三年前也难得多。

定价模式与 Claude Code

帕特尔：在我们走向一个完全可以即插即用的远程员工替代品的世界时，API 定价模式还是最合理的吗？如果不是，给 AGI 定价、提供 AGI 的正确方式是什么？

阿莫迪：我认为会有一堆不同的商业模式同时被试验。我确实认为 API 模式比很多人想的更持久。我的一种思路是，如果技术在快速推进，指数级地推进，那意味着永远存在一片过去三个月里刚开发出来的新用例的表面。你放上去的任何产品表面，都随时有变得无关紧要的风险。任何一个产品表面，大概只对模型能力的某个区间有意义。聊天机器人已经碰到了局限：把它做得更聪明，对普通消费者帮助不大。但我不认为这是 AI 模型的局限，不认为这是「模型已经够好、再变好对经济没意义」的证据。它只是对那个特定产品没意义。所以 API 的价值在于，它永远提供一个非常接近裸机的机会，去基于最新的东西构建。永远会有一波新的初创公司和新想法，几个月前不可能，现在因为模型进步而可能了。我预测它会和其他模式并存，但我们永远会有 API 这种商业模式，因为永远会需要一千个不同的人用不同方式去试验模型。其中一百个变成初创公司，十个变成成功的大公司，两三个最终成为人们使用那一代模型的方式。所以我基本上认为它会永远存在。

同时，我确信也会有其他模式。模型输出的每个 token 价值并不相同。想想有人打电话来说「我的 Mac 不工作了」，模型说「重启一下」，这些 token 值多少？这个人没听过，但模型已经说过一千万次了。也许值一美元，或者几美分。而如果模型去找某家药企说：「哦，你们在开发的这个分子，你们应该把芳香环从分子的这一端挪到那一端。这么做会有奇妙的效果。」这些 token 可能值几千万美元。所以我认为我们肯定会看到承认这一点的商业模式。到某个时候我们会看到某种形式的「按结果付费」，或者可能看到类似劳动报酬的形式，按小时计费。我不知道。因为这是个新行业，很多东西都会被尝试。我不知道最后哪个是对的。

帕特尔：我接受你的观点，人们得不断尝试，才能弄清用这块智能的最佳方式。但让我惊讶的是 Claude Code。我不认为初创公司史上有哪个应用像编程智能体这样竞争激烈，而 Claude Code 是这个品类的领先者。这在我看来很意外。Anthropic 不是天生就该造这个东西的。你有没有一个解释，为什么必须是 Anthropic，或者 Anthropic 是怎么在底层模型之外又做出一个成功应用的？

阿莫迪：其实过程很简单。我们有自己的编程模型，编程能力不错。2025 年初前后，我说：「我认为时候到了，如果你是一家 AI 公司，用这些模型可以对自己的研究产生不小的加速。」当然，你需要一个界面，需要一个使用它们的框架。所以我在内部鼓励大家。我没说这是你们必须用的东西，只说大家应该试试。我记得它最初叫 Claude CLI，后来名字改成了 Claude Code。在内部，它是所有人都在用的东西，内部采用得很快。我看了看，说：「我们大概该对外发布了吧？」它在 Anthropic 内部采用得这么快，编程又是我们的大量工作。我们有好几百人的受众，某种程度上至少能代表外部受众。看起来我们已经有了产品市场契合，那就发布吧。然后我们就发布了。我认为正是因为我们自己在开发模型，自己知道最需要怎么用模型，形成了这样一个反馈回路。

帕特尔：明白了。就是说，比如 Anthropic 的一个开发者觉得「啊，如果它在 X 这件事上更好就好了」，然后你们就把它烤进下一个模型里。

阿莫迪：那是其中一种，但还有普通的产品迭代。Anthropic 内部有一群程序员，他们每天用 Claude Code，所以我们能得到快速反馈。这在早期更重要。现在当然有几百万人在用，我们也能得到大量外部反馈。但能得到快速的内部反馈实在太好了。我想这就是我们发布了编程模型、而没有开一家药企的原因。我的背景是生物学，但我们没有开药企所需的任何资源。

多 AI 世界的治理架构

帕特尔：现在让我问问怎么让 AI 走向好的结局。看起来，我们对 AI 走向好结局的任何愿景，都得与两件事相容：第一，构建和运行 AI 的能力正在极快地扩散；第二，AI 的数量，我们拥有多少个，以及它们的智能，��会极快地增长。这意味着很多人能构建大量未对齐的 AI，或者那些只是想扩大自己版图的公司型 AI，或者像必应的 Sydney 那样心智怪异、但现在是超人的 AI。在一个有很多不同 AI、其中一些未对齐的 AI 四处游走的世界里，什么样的均衡是可能的？

阿莫迪：我在《技术的青春期》里对「权力平衡」持怀疑态度。但我具体怀疑的是这个：三四家公司都在构建源自同一种东西的模型，指望它们相互制衡，或者指望任何数量的它们相互制衡。我们可能生活在一个进攻占优的世界，一个人或一个 AI 模型聪明到能做出对其他一切造成损害的事。短期内，我们的玩家数量有限，所以可以从这有限的玩家开始。我们需要把保障措施放到位，需要确保每家都做正确的对齐工作，确保每家都有生物分类器。这些是眼下需要做的事。我同意这解决不了长期问题，尤其是如果 AI 模型制造其他 AI 模型的能力扩散开来，整件事会变得更难解决。我认为长期来看我们需要某种治理架构。一种既能保护人类自由，又能让我们治理数量极大的人类系统、AI 系统、人机混合公司或经济单元的治理架构。所以我们要考虑：怎么保护世界免受生物恐怖主义？怎么保护世界免受镜像生命的威胁？我们大概需要某种 AI 监测系统，监测所有这些东西。但我们得以保护公民自由和宪法权利的方式来建它。所以就像其他任何事一样，这是一个新的安全格局，有一套新工具，也有一套新漏洞。我担心的是，如果我们有一百年让这一切慢慢发生，我们会习惯的。我们已经习惯了社会里有炸药，有各种新武器，有摄像头。一百年里我们会习惯它，会发展出治理机制，会犯错。我担心的只是这一切发生得太快了。所以也许我们得更快地思考怎么让这些治理机制运转。

帕特尔：看起来在一个进攻占优的世界里，在接下来一个世纪的进程中（你的想法是 AI 让本该在下一个世纪发生的进步压缩在五到十年内发生），我们仍然需要同样的机制，或者说权力平衡同样难以实现，哪怕人类是场上唯一的玩家。我想我们有 AI 的建议。但从根本上说，这似乎不是一个完全不同的游戏。如果制衡能奏效，它对人类也能奏效；如果不能奏效，对 AI 也不能。所以这也许同样宣判了人类制衡的死刑。

阿莫迪：我还是认为有办法让它发生。世界各国政府可能得合作才能做到。我们可能得和 AI 谈，以某种方式构建社会结构，使这些防御成为可能。我不知道。我不想说这在时间上有多遥远，但它在技术能力上太超前了，而且可能在很短的时间内发生，所以我们很难提前预见它。

州法拼图与联邦禁令

帕特尔：说到政府介入，12 月 26 日，田纳西州议会提出了一项法案，说「任何人故意训练人工智能提供情感支持，包括通过与用户的开放式对话，都构成犯罪」。当然，Claude 试图做的事情之一，就是做一个体贴、博学的朋友。总的来说，我们似乎会有这样一张各州法律的拼图。普通人本可以从 AI 中获得的许多好处会被削减，尤其是当我们进入你在《仁爱机器》里讨论的那些领域：生物自由，心理健康的改善等等。很容易想象这些被各种法律像打地鼠一样一个个打掉，而这类法案根本没有触及你关心的真正的生存威胁。在这样的背景下，我想理解 Anthropic 反对联邦暂停州级 AI 法律的立场。

阿莫迪：这里同时有好几件事。我认为那条法律很蠢。它显然出自一些立法者之手，他们大概根本不知道 AI 模型能做什么、不能做什么。他们的想法是「AI 模型服务我们，这听起来就吓人，我不想让它发生」。我们不赞成那条法律。但那不是被投票的东西。被投票的是：我们要禁止所有州级 AI 监管十年，而且看不出有任何做联邦监管的计划，那需要国会通过，门槛非常高。所以这个「禁止各州十年内做任何事」的想法……有人说他们对联邦政府有计划，但桌上没有任何实际提案，没有任何实际尝试。考虑到我在《技术的青春期》里列出的严重危险，生物武器、生物恐怖主义、自主性风险，以及我们一直在谈的时间线，十年是永恒，我认为那是件疯狂的事。所以如果这是选择，如果你逼我们这样选，我们会选择不要这个暂停令。我认为这个立场的收益超过代价，但如果选择只有这样，它也不是一个完美的立场。

我认为我们应该做的，我会支持的，是联邦政府介入，不是说「各州你们不能监管」，而是说「我们要这么做，各州不能与此不同」。在联邦政府说「这是我们的标准，适用于所有人，各州不能另搞一套」的意义上，优先适用是可以的。如果以正确的方式来做，这是我会支持的。但「各州你们什么都不能做，我们也什么都不做」这种想法，在我们看来非常不合理。我认为它经不起时间考验，从你看到的反弹来看，它已经开始经不起考验了。至于我们想要什么，我们谈过的是从透明度标准开始，用来监测这些自主性风险和生物恐怖主义风险。随着风险变得更严重，随着我们获得更多证据，我认为我们可以在一些有针对性的方面更激进，说：「嘿，AI 生物恐怖主义确实是威胁，我们通过一条法律，强制人们部署分类器。」我甚至可以想象……这取决于威胁最后有多严重。我们并不确定。我们得以智力上诚实的方式推进，提前说清楚：风险还没有出现。但以现在的速度，我完全可以想象这样一个世界：今年晚些时候我们说：「嘿，这个 AI 生物恐怖主义的事真的很严重，我们该做点什么，该把它写进联邦标准。如果联邦政府不行动，就写进州标准。」我完全可以想象。

帕特尔：我担心的是这样一个世界：考虑到你预期的进展速度，考虑到立法的生命周期……好处因为你说的扩散滞后来得够慢，我真的认为按目前的轨迹，这张州法拼图会禁止……如果有一个提供情感陪伴的聊天机器人朋友就能把人吓成这样，想象一下我们希望普通人能体验到的 AI 的真正好处：健康和健康寿命的改善，心理健康的改善等等。而与此同时，你似乎认为危险已经在地平线上了，我却看不到多少……在我看来，这对 AI 的好处的伤害，会远大于对 AI 的危险的遏制。所以这大概是成本收益在我看来不太成立的地方。

阿莫迪：这里有几点。人们说有几千条这样的州法。首先，绝大多数都通不过。世界在理论上以某种方式运作，但一条法律通过了，不意味着它真的被执行。执行的人可能会说：「天哪，这太蠢了，这意味着要关掉田纳西州建过的一切。」法律很多时候会被以一种不那么危险、不那么有害的方式解释。当然，反过来，如果你通过一条法律去阻止一件坏事，你也得担心同样的问题。我的基本看法是，如果由我们来决定通过什么法律、怎么执行（而我们只是其中一个很小的输入），我会大幅放松围绕 AI 健康益处的监管。我不那么担心聊天机器人法案。我其实更担心药物审批流程，我认为 AI 模型会大大加快我们发现药物的速度，而管道会堵住。管道没有准备好处理流经它的所有东西。我认为监管流程的改革应该更多地考虑这一点：我们将有大量东西涌来，它们的安全性和有效性会非常清晰、明确，是美好的、真正有效的东西。也许我们不需要围绕它的那整套上层建筑，那是为一个药物勉强有效、常有严重副作用的时代设计的。

与此同时，我认为我们应该相当显著地加强安全和安保方面的立法。正如我说的，从透明度开始，这是我在尝试不妨碍行业、寻找正确平衡的看法。我对此是担心的。有人批评我的文章说：「这太慢了。如果我们这么做，AI 的危险来得太快。」基本上，我认为过去六个月和接下来几个月是关于透明度的。然后，如果这些风险出现，当我们更确定它们的时候，我认为最快今年晚些时候就可能，那么我们需要在真正看到风险的领域非常快速地行动。我认为唯一的办法是灵活。立法过程通常不灵活，但我们需要向所有相关的人强调这件事的紧迫性。这就是我在传递紧迫感的原因，这就是我写《技术的青春期》的原因。我希望政策制定者、经济学家、国家安全专业人士和决策者读它，这样他们才有希望比原本更快地行动。

帕特尔：你能做什么或者倡导什么，来让 AI 的好处更确定地落地？我感觉你和立法机构合作过：「好，我们在这里防止生物恐怖主义，我们要增加透明度，我们要增加对吹哨人的保护。」但我认为在默认情况下，我们期待的那些实际好处，在各种道德恐慌或政治经济问题面前显得非常脆弱。

阿莫迪：就发达世界而言，我不太同意。我觉得在发达世界，市场运转得相当好。当一件事上有大量的钱可赚，而且它显然是最好的可选项，监管体系其实很难阻止它。我们在 AI 本身上就看到了这一点。我一直在争取的一件事是对中国的芯片出口管制。那符合美国的国家安全利益，完全符合国会两党几乎所有人的政策信念。理由非常清楚。反对的论点，我客气地称之为「可疑」。可它就是没有发生，我们照样卖芯片，因为上面压着太多的钱。那些钱想要被赚到。在那个例子里，我认为那是坏事。但同样的道理在好事上也成立。所以如果我们谈的是药物和技术的好处，我不那么担心这些好处在发达世界受阻。我有点担心它们走得太慢。正如我说的，我确实认为我们应该努力加快 FDA 的审批流程。我确实认为我们应该反对你描述的这些聊天机器人法案。单独来看，我反对它们，我认为它们很蠢。但我其实认为更大的担忧是发展中世界，那里没有运转良好的市场，而且我们常常无法在已有的技术上继续构建。我更担心那些人被落下。我也担心即便治愈方法开发出来了，密西西比农村的某个人可能也得不到。这是我们对发展中世界的担忧的一个缩小版。所以我们一直在做的，是和慈善家合作。我们和那些向发展中世界（撒哈拉以南非洲、印度、拉丁美洲和其他发展中地区）输送药物和健康干预的人合作。我认为这是不会自己发生的事。

出口管制与威权风险

帕特尔：你提到了出口管制。为什么美国和中国不应该各自拥有一个「数据中心里的天才之国」？

阿莫迪：你是问为什么不会发生，还是为什么不应该发生？

帕特尔：为什么不应该发生。

阿莫迪：如果这真的发生，可能有几种情形。如果是进攻占优的局面，我们可能得到类似核武器但更危险的局面，任何一方都能轻易毁掉一切。我们也可能得到一个不稳定的世界。核均衡是稳定的，因为有威慑。但假设对于「如果两个 AI 打起来，哪个会赢」存在不确定性，那就会造成不稳定。当双方对自己获胜的可能性有不同评估时，冲突往往发生。如果一方说「哦，我有百分之九十的胜算」，另一方也这么想，打起来的可能性就大得多。他们不可能都对，但可以都这么想。

帕特尔：但这似乎是一个反对 AI 技术扩散的完全一般性的论证。那是这个世界的含义。

阿莫迪：让我继续说，因为我认为扩散最终会发生。我的另一个担忧是政府会用 AI 压迫本国人民。我担心这样一个世界：一个国家的政府已经在建设高科技威权国家。说清楚，这是关于政府的，不是关于人民的。我们需要找到让各地人民都受益的办法。我在这里的担忧是关于政府的。我担心的是，如果世界被切成两块，其中一块可能是威权的或极权的，而且极难被取代。那么，各国政府最终会不会得到强大的 AI，是否存在威权主义的风险？会，存在。各国政府最终会不会得到强大的 AI，是否存在糟糕均衡的风险？会，存在。我认为两者都是。但初始条件很重要。到某个时候，我们需要制定游戏规则。我不是说某一个国家，无论是美国还是民主国家联盟（我认为后者是更好的安排，尽管它需要比我们目前似乎愿意做的更多的国际合作），应该直接说「这就是游戏规则」。会有某种谈判。世界得去应对这件事。我想要的是，当游戏规则被制定时，世界上的民主国家，那些政府更接近代表亲人类价值观的国家，手里握着更强的牌，有更多的筹码。所以我非常关心那个初始条件。

帕特尔：我重听了三年前的访谈，它有一个地方经不起时间考验，就是我一直在提问时假设两三年后会有某个关键的支点时刻。实际上，走到这么远之后，看起来只是进展在继续，AI 在改进，AI 扩散得更广，人们用它做更多事。你似乎在想象一个未来的世界，各国坐到一起：「这是游戏规则，这是我们的筹码，这是你们的筹码。」但按目前的轨迹，每个人都会有更多 AI。其中一些 AI 会被威权国家使用。威权国家内部的一些 AI 会被私人行动者使用，另一些被国家行动者使用。谁受益更多并不清楚，事先总是无法预测。互联网似乎比你预期的更有利于威权国家，也许 AI 会反过来。我想更好地理解你在想象什么。

阿莫迪：说精确一点，我认为底层技术的指数会像以前一样继续。模型越来越聪明，即使到了「数据中心里的天才之国」，我认为你还能继续让模型更聪明。有一个问题是它们在世界上的价值会有递减回报。在你已经解决了人类生物学之后，还有多重要？到某个时候你能做更难、更深奥的数学题，但在那之后没什么重要的了。撇开这个不谈，我确实认为指数会继续，但指数上会有某些特别的点。公司、个人和国家会在不同的时间到达那些点。我在《技术的青春期》里谈过：核威慑在 AI 的世界里还稳定吗？我不知道，但那是我们习以为常的东西的一个例子。技术可能达到这样的水平，我们再也不能确定它。再想想别的。有些点是，如果你达到某个水平，也许你就有了进攻性网络主导权，此后每一个计算机系统对你都是透明的，除非对方有同等的防御。我不知道关键时刻是什么，或者是否有单一的关键时刻。但我认为会有一个关键时刻，或者少数几个关键时刻，或者某个关键窗口，在其中 AI 从国家安全的角度带来某种巨大优势，而某个国家或联盟比其他国家先到达了。我不是在主张他们就此说「好，现在我们说了算」。我不是这么想的。对方总在追赶，有些极端行动你不愿意采取，而且完全控制本身也不对。但到那件事发生时，人们会明白世界变了。会有某种谈判，隐性或显性的，关于 AI 之后的世界秩序是什么样子。我的兴趣在于，让那场谈判成为古典自由民主手握强牌的谈判。

帕特尔：我想弄清这到底意味着什么，因为你在文章里说：「在强大 AI 之后的时代，专制根本不是一种人们能够接受的政府形式。」这听起来像是在说，中共作为一个机构在我们得到 AGI 之后不能存在。这似乎是一个非常强的要求，而且似乎暗示了一个世界，领先的实验室或领先的国家将能够，而且按那种措辞，应该有权决定世界如何被治理，哪些政府是被允许的，哪些不是。

阿莫迪：我记得那一段说的是类似「你甚至可以走得更远，说 X」这样的话。我并不一定是在支持那个观点。我说的是：「这是我相信的一个较弱的东西：我们得非常担心威权者，应该努力制衡他们、限制他们的权力。你可以把这推得更远，持一种更干预主义的观点，认为拥有 AI 的威权国家是很难被取代的自我实现的循环，所以你需要从一开始就把它们除掉。」那正好有你说的所有问题。如果你承诺推翻每一个威权国家，它们现在就会采取一堆可能导致不稳定的行动。那可能根本做不到。但我确实支持的那一点是：很有可能……今天，我的观点，以及西方世界大多数人的观点，是民主是比威权更好的政府形式。但如果一个国家是威权的，我们不会像它犯下种族灭绝那样去反应。我想说的是，我有点担心在 AGI 的时代，威权主义会有不同的含义，会是更严重的事情。我们得以某种方式决定如何处理它。干预主义的观点是一种可能的观点，我在探索这类观点。它可能最终是正确的观点，也可能最终太极端。但我确实有希望。我的一个希望来源是，我们看到随着新技术被发明，一些政府形式变得过时。我在《技术的青春期》里提到过，封建制基本上是一种政府形式，当我们发明工业化之后，封建制就不再可持续，不再说得通。

帕特尔：为什么这是希望？它难道不可能意味着民主不再是一个有竞争力的体制？

阿莫迪：对，两种方向都有可能。但威权主义的这些问题会变得更深。我想知道，这是否预示着威权主义还会有其他问题。换句话说，因为威权主义变得更糟，人们更害怕它，更努力地阻止它。你得从总体均衡的角度想。我只是想知道，它会不会激发出关于如何用新技术保护和捍卫自由的新思路。更乐观地说，它会不会导致一次集体的清算，让人们更强烈地意识到，我们视为个人权利的某些东西有多重要？更强烈地意识到我们真的不能把这些交出去。我们已经看到，没有别的行得通的活法。我确实抱有希望，这听起来太理想主义，但我相信它可能成真：独裁在道德上变得过时，变成道德上行不通的政府形式，而由此产生的危机足以迫使我们找到另一条路。

帕特尔：我认为这里确实有一个难题，我不确定你怎么解决。历史上我们不得不以某种方式做出选择。对七八十年代的中国，我们决定，尽管它是威权体制，我们仍然与它接触。回头看，我认为那是正确的决定，因为它虽然是国家威权体制，但十几亿人比原本富裕得多、过得好得多。不清楚不这么做它就会不再是威权国家，看看朝鲜就知道。我不认为维持一个不断巩固自身权力的威权国家需要那么多智能。你可以想象一个朝鲜，它的 AI 比所有人的都差得多，但仍然足以维持权力。总的来说，我们似乎应该抱这样的态度：AI 的好处，以赋能人类和健康的形式，会很大。历史上，我们决定广泛传播技术的好处是好事，即使传播给那些政府是威权的人。用 AI 该怎么想这个问题确实很难，但历史上我们说过：「是的，这是一个正和的世界，仍然值得扩散技术。」

阿莫迪：我们有很多选择。把它框定为国家安全意义上的政府对政府的决定是一种视角，但还有很多其他视角。你可以想象一个世界，我们生产出所有这些疾病的治愈方法。治愈方法卖给威权国家没问题，但数据中心不行。芯片和数据中心不行，AI 行业本身不行。另一种大家应该考虑的可能性是这样：有没有可能，或者作为 AI 的自然结果，或者通过我们在 AI 之上构建技术，创造出一种均衡，使威权国家无法阻止其人民私下使用这项技术的好处？有没有这样的均衡：我们能给威权国家的每个人一个属于自己的 AI 模型，保护他们不受监控，而威权国家无法在保住权力的同时镇压这件事？我不知道。在我听来，如果这走得够远，它会成为威权国家从内部瓦解的原因。但也许有一个中间世界，存在这样的均衡：威权者如果想保住权力，就不能拒绝人们对这项技术的个人化访问。

但我确实对更激进的版本抱有希望。这项技术有没有可能天生就具有某些性质，或者通过以某种方式在它之上构建，我们能创造出某些性质，对威权结构产生这种溶解效应？当初我们曾希望，回想奥巴马政府初期，社交媒体和互联网会有这种性质，结果没有。但如果我们能再试一次，带着对多少事情可能出错的认识，并且这是一项不同的技术呢？我不知道会不会成，但值得一试。这非常不可预测。有一些第一性原理的理由说明威权主义可能占优。一切都非常不可预测。我们只能认清问题，想出十件可以尝试的事，去试，然后评估哪些有效，如果有的话。旧的不行就试新的。

帕特尔：但我猜这落到今天，如你所说，就是我们不向中国出售数据中心、芯片和造芯片的能力。所以某种意义上你是在拒绝……因为我们这么做，中国经济、中国人民本可以得到一些好处。美国经济也会有好处，因为这是一个正和的世界，我们可以贸易。他们的国家数据中心做一件事，我们的做另一件事。你已经在说，为了那份正和的红利去赋能那些国家不值得？

阿莫迪：我要说的是，我们即将进入这样一个世界：如果我们能造出这些强大的 AI 模型，增长和经济价值会来得非常容易。不容易的是好处的分配、财富的分配、政治自由。这些是难以实现的东西。所以当我思考政策时，我认为技术和市场会带来所有的基本好处，这是我的基本信念，快到我们几乎接不住。而分配、政治自由和权利这些问题，才是真正重要、政策应该聚焦的地方。

发展中国家的增长从何来

帕特尔：说到分配，如你所说，我们有发展中国家。在很多情况下，追赶式增长比我们希望的要弱。但追赶式增长发生的时候，根本上是因为它们有未被充分利用的劳动力。我们可以把发达国家的资本和技术带到这些国家，然后它们就能快速增长。显然，在一个劳动力不再是约束因素的世界里，这个机制不再起作用。所以希望基本上是依靠那些因 AI 而立即致富的人或国家的慈善吗？希望在哪里？

阿莫迪：慈善显然应该起一些作用，就像过去一样。但我认为增长如果能内生，总是更好、更强。在一个 AI 驱动的世界里，相关的产业是什么？我说过我们不该在中国建数据中心，但没有理由不在非洲建数据中心。事实上，我认为在非洲建数据中心很好。只要不是中国拥有的，我们就应该在非洲建数据中心。我认为那是件很好的事。没有理由我们不能建一个 AI 驱动的制药业。如果 AI 在加速药物发现，那会有一批生物科技初创公司。让我们确保其中一些出现在发展中世界。当然，在过渡期间（我们可以谈人类不再有角色的那个点），人类在创办这些公司、监督 AI 模型上仍然会有一些角色。让我们确保其中一些人在发展中世界，这样那里也能有快速增长。

Claude 宪法该由谁书写

帕特尔：你们最近宣布，Claude 将有一部与一套价值观对齐的宪法，而不一定只是与最终用户对齐。我可以想象一个世界，如果它与最终用户对齐，它会保持我们今天世界的权力平衡，因为每个人都能有一个为自己代言的 AI。坏人和好人的比例保持不变。这在今天的世界似乎行得通。为什么不这么做，而是要给 AI 一套特定的价值观让它去践行，会更好？

阿莫迪：我不确定我会这样划分。这里可能有两个相关的区分，我认为你谈的是两者的混合。一个是，我们该给模型一套「做这个、别做那个」的指令，还是给模型一套行动的原则？这纯粹是我们观察到的实践和经验之谈。通过教模型原则，让它从原则中学习，它的行为更一致，更容易覆盖边缘情况，模型也更可能做人们希望它做的事。换句话说，如果你给它一张规则清单，「别告诉人们怎么偷接汽车电线，别说韩语」，它并不真正理解这些规则，也很难从中泛化。那只是一张该做和不该做的清单。而如果你给它原则，它有一些硬性护栏，比如「不制造生物武器」，但总体上你是在努力让它理解自己应该追求什么、应该如何运作。所以从实践角度看，这是一种更有效的训练模型的方式。这是规则与原则的权衡。然后是你谈的另一件事，可纠正性（corrigibility）与内在动机的权衡。模型在多大程度上应该是一件「皮囊」，直接遵从任何给它指令的人的指令，还是在多大程度上应该有一套内在价值观，自己去做事？在这一点上，我要说模型的一切都更接近「它应该主要做人们想要的事」这个方向。它应该主要遵循指令。我们不是在造一个自己跑出去统治世界的东西。我们其实相当靠近可纠正的一端。我们说的是，有某些事模型不会做。我想宪法里以各种方式说了，在正常情况下，如果有人让模型做一项任务，它应该做那项任务，这应该是默认。但如果你让它做危险的事，或者伤害别人，模型就不愿意做。所以我实际上把它看成一个大体上可纠正、但有一些限制的模型，而这些限制建立在原则之上。

帕特尔：那么根本问题是，这些原则如何确定？这不是 Anthropic 特有的问题，任何 AI 公司都会面对它。但因为你们是真正把原则写下来的人，我才有机会问你。通常，一部宪法写下来，定下来，有一个更新和修改的程序等等。而在这里，它似乎是一份 Anthropic 的人写的、随时可以修改的文件，却指导着将成为大量经济活动基础的系统的行为。你怎么看这些原则应该如何设定？

阿莫迪：我认为这里可能有三种大小的回路，三种迭代方式。一是我们在 Anthropic 内部迭代。我们训练模型，不满意，就修改宪法。我认为这样做是好的。时不时公开发布宪法的更新也是好的，因为人们可以评论。第二层回路是不同公司有不同的宪法。我认为这有用。Anthropic 发布一部宪法，Gemini 发布一部，其他公司也发布。人们可以看、可以比较。外部观察者可以批评，说「我喜欢这部宪法的这一点，那部宪法的那一点」。这为所有公司创造了一种软性的激励和反馈，去取各家之长来改进。然后我认为有第三层回路，那就是 AI 公司之外的社会，超出那些只评论而没有硬权力的人。在这方面我们做过一些实验。几年前，我们和集体智能项目（Collective Intelligence Project）做过一个实验，基本上是做民意调查，问人们我们的 AI 宪法里应该有什么。当时我们吸收了其中一些修改。所以你可以想象，用我们对宪法采取的新方法做类似的事。这更难一些，因为宪法还是一张该做和不该做的清单时，那种方法更容易操作。在原则层面，它必须有一定的连贯性。但你仍然可以想象从各种各样的人那里征求意见。你也可以想象，这是个疯狂的想法，不过这整场访谈都是关于疯狂想法的，让代议制政府体系提供输入。我今天不会这么做，因为立法程序太慢了。这正是我认为我们该对立法程序和 AI 监管保持谨慎的原因。但原则上没有理由不能说：「所有 AI 模型都必须有一部宪法，以这些内容开头，然后你可以在后面附加其他东西，但必须有这个优先适用的特别部分。」我不会这么做。那太僵硬，听起来过于规定性，就像过于激进的立法一样。但那是一件可以尝试的事。有没有一个轻得多的版本？也许有。

帕特尔：我很喜欢第二层控制回路。显然，真实政府的宪法不是这样运作的，也不该这样运作。不存在那种模糊的感觉，最高法院去感受人们的情绪，感受「氛围」，然后相应地更新宪法。真实政府有更正式、更程序化的过程。但你有一个宪法之间竞争的愿景，这其实很像一些自由意志主义的特许城市派过去的说法，关于一个由不同类型政府组成的群岛会是什么样子。它们之间会有选择，看谁运作得最有效，人们在哪里最快乐。某种意义上，你在重建那个群岛乌托邦的愿景。

阿莫迪：我认为那个愿景有值得称道之处，也有会出问题的地方。它是一个有趣的、某些方面颇有吸引力的愿景，但会出一些你没想到的问题。所以我也喜欢第二层回路，但我觉得整件事必须是回路一、二、三的某种混合，问题只在于比例。我认为答案必然如此。

历史记录里最难看见的东西

帕特尔：将来有人写这个时代的《原子弹制造史》（The Making of the Atomic Bomb）时，什么是最难从历史记录中读出来、最可能被他们遗漏的东西？

阿莫迪：我想有几件事。一是，在这条指数的每一个时刻，外面的世界对它有多么不理解。这是历史中常见的偏见。任何真正发生了的事，回头看都显得不可避免。当人们回头看时，他们很难把自己放到那些真正在赌这件事会发生的人的位置上，这件事并非不可避免，我们有过这些争论，就像我为规模扩展做的论证，或者持续学习会被解决的论证。我们内部有些人对此赋予很高的概率，但外面有一个完全不按这个行事的世界。这种怪异感，不幸的是还有这种封闭感……如果我们离它发生只有一两年，街上的普通人毫不知情。这是我试图通过那些备忘录、通过和政策制定者交谈去改变的事情之一。我不知道，但我觉得这实在是件疯狂的事。最后，我要说，这大概适用于几乎所有历史上的危机时刻：事情发生得有多快，一切怎么同时发生。你以为是精心计算的决定，实际上你必须做那个决定，然后同一天还得做另外三十个决定，因为一切都发生得太快了。你甚至不知道哪个决定最后会举足轻重。我的一个担忧，同时也是对正在发生的事的一个洞察，是某个非常关键的决定，会是有人走进我办公室说：「达里奥，你有两分钟，这件事我们做 A 还是做 B？」有人递给我一份随手写的半页备忘录，问「A 还是 B」。我说：「我不知道，我得吃午饭了，做 B 吧。」结果那成了有史以来最重要的事。

两周一次的 DVQ 与文化

帕特尔：最后一个问题。科技公司的 CEO 通常不会每隔几个月写五十页的备忘录。你似乎为自己塑造了一个角色，也围绕自己建了一家公司，能与这种更偏智识型的 CEO 角色相容。我想理解你是怎么构建这一点的。它怎么运作？你是不是走开几个星期，然后告诉公司：「这是备忘录，这是我们要做的事」？也有报道说你在内部写了很多这类东西。

阿莫迪：这一篇是我寒假期间写的。我一直很难找到时间真正动笔。但我从更宽的角度看这件事，它和公司的文化有关。我大概花三分之一、也许百分之四十的时间，确保 Anthropic 的文化是好的。随着 Anthropic 变大，直接参与模型训练、模型发布、产品构建变得更难了。两千五百人。我有一些直觉，但要介入每一个细节非常困难。我尽可能地去做，但有一件杠杆很高的事，是确保 Anthropic 是个好的工作场所，人们喜欢在这里工作，每个人都把自己当成团队成员，大家协同合作而不是互相对抗。我们看到其他一些 AI 公司在变大之后，不点名了，开始出现失序，人们互相争斗。我甚至可以说从一开始就有很多这种情况，但现在更糟了。我认为我们在把公司凝聚在一起这件事上做得非常出色，虽然不完美：让每个人都感受到使命，感受到我们对使命是真诚的，每个人都相信这里的其他人都是出于正确的理由在工作。我们是一个团队，人们不会为了出人头地而牺牲别人，不会背后捅刀，而这些，我认为在其他一些地方经常发生。

帕特尔：你怎么做到这一点？

阿莫迪：是很多东西的合力。是我，是日常管理公司的丹妮拉（Daniela），是联合创始人们，是我们雇的其他人，是我们努力营造的环境。但我认为文化里一件重要的事是，其他领导者也一样，但尤其是我，必须阐明这家公司是什么，为什么做它在做的事，它的战略是什么，价值观是什么，使命是什么，它主张什么。到了两千五百人，你没法一个一个地去讲。你得写，或者得对整个公司讲。这就是为什么我每两周站到全公司面前讲一个小时。我不会说我在内部写文章。我做两件事。一是我做一个叫 DVQ 的东西，「达里奥的愿景之旅」（Dario Vision Quest）。不是我起的名字，是它自己得到的名字，我曾经试图反对这个名字，因为它听起来像我要跑出去抽佩奥特仙人掌似的，但名字就这么留下来了。所以我每两周站到公司面前，拿着一份三四页的文件，讲三四个不同的话题：内部的情况，我们在做的模型，产品，外部的行业，以及整个世界，包括与 AI 相关的部分和一般的地缘政治。就是这些的某种组合。我非常坦诚地过一遍，说「这是我在想的，这是 Anthropic 领导层在想的」，然后回答问题。这种直接的连接有很大的价值，而当事情要顺着六层的链条往下传时，这种价值很难实现。公司里很大一部分人会来参加，现场或者线上。这确实意味着你能传达很多东西。我做的另一件事是，我在 Slack 上有一个频道，我在那里写一堆东西，经常评论。这往往是对我在公司里看到的事情或人们提出的问题的回应。我们做内部调查，人们有担心的事，我就把它们写出来。我对这些事非常坦诚，直截了当地说。目的是建立起一种声誉：对公司讲真话，讲正在发生的事，实话实说，承认问题，避免那种公司腔，那种在公开场合常常不得不采取的防御性表达，因为外面的世界很大，充满了恶意解读的人。但如果你有一个由你信任的人组成的公司，而我们努力雇用我们信任的人，那你真的可以完全不加过滤。我认为这是公司的一大优势。它让这里成为一个更好的工作场所，让人们的合力大于各自之和，也提高了我们完成使命的可能性，因为每个人对使命的理解一致，每个人都在辩论和讨论怎样最好地完成使命。

帕特尔：那么，作为一场对外版的「达里奥愿景之旅」，我们有了这次访谈。

阿莫迪：这次访谈是有点像那个。

帕特尔：很愉快，达里奥。谢谢你来。

阿莫迪：谢谢你，德瓦凯什。