视频库 / NO.131
--:--
点击播放，这里会跟随视频显示当前句的中英字幕。
Understanding the inner thoughts of AI
节目发布 2026-07-10 · Google DeepMind本期追问 · 点击跳到视频对应位置
8:12 模型写下的推理草稿，真的反映它内部的计算吗？48:14 研究 AI 内部，该求完整理解还是够用就好？37:24 模型知道自己在被测试时，评估结果还算数吗？35:11 不理解 AI 为何有效，只靠它管用就够安全吗？
归入 Ⅱ·03 能预言，就等于能解释吗？ →EDITED TRANSCRIPT · 依据现场录音编译整理，可划线生成便签
编者按：本文是 Google DeepMind 播客《理解 AI 的内心想法》一期的对谈实录。主持人汉娜·弗莱（Hannah Fry）是伦敦大学学院数学教授、科普作家与 BBC 节目主持人，自 2018 年起主持该播客；对谈嘉宾尼尔·南达（Neel Nanda）是 Google DeepMind 语言模型可解释性团队负责人，机制可解释性领域的代表性研究者，曾供职于 Anthropic。两人围绕「如何打开 AI 的黑箱」展开：从思维链的用处与脆弱，到探针、稀疏自编码器等白箱方法，再到模型「知道自己在被测试」这一新近难题。本文依据现场录音编译整理，仅删去口语枝节，论证与例证均按原样保留。
可解释性：AI 的神经科学
主持人：欢迎收听 Google DeepMind 播客，我是汉娜·弗莱。假如你能窥见 AI 的内心，你不会看到用白话写成的完整念头或意图，只会看到成堆的数字，它们以某种方式组合在一起，竟然产生了智能。这是怎么做到的？我们其实并不知道。这正是「可解释性」（interpretability）这个领域想要解决的问题：把意义映射到这些数字上，往黑箱里打一束光。本期节目的嘉宾是尼尔·南达，他在 Google DeepMind 领导语言模型可解释性团队。非常感谢你来。你愿意先给可解释性下个定义吗？顺便说说我们为什么需要它。
南达：好的。可解释性可以说是 AI 的神经科学，或者说 AI 的生物学，它要弄清楚这些东西是怎么运作的，人们常说这是「打开黑箱」。要理解我们为什么需要这么做，不妨先从这些系统是怎么造出来的说起。神经网络与其说是设计出来的，不如说是长出来的。没有人设计过 Gemini 这样的网络应该长什么样。
我们有的，是堆积如山的数据，加上一个灵活的学习算法。神经网络一开始只是随机地乱做一气，然后我们不断喂给它一点数据，再推它一把，让它下次做得好一点。机器学习的核心发现之一，就是你把这件笨事重复到荒谬的次数之后，就会得到极其复杂的系统，能做各种了不起的事。但整个过程中，从来没有人规定过 Gemini 应该是什么样子，它是从几百万次微小的推动里自己冒出来的。
我觉得这和进化是很好的类比。没有人设计过人脑。在几亿年里，生物被自然选择一点一点推向生存，这些微小的推动日积月累，就成了今天地球上丰富的生物多样性。生物学家的工作，本质上是逆向工程进化学到了什么；同样，可解释性研究者的工作，就是逆向工程神经网络训练学到了什么。
主持人：那你是怎么走进这个领域的？怎么成了可解释性圈子的一员？
南达：对我来说主要有两个因素，一个关乎安全，一个关乎科学。安全这边，我认为 AI 的进展极快，未来一二十年内出现人类水平的 AI，也就是通用人工智能（AGI），是相当可能的。它有潜力给世界带来巨大的好处，但这也是一场剧烈的变化，这样的变化伴随大量风险。要负责任地做这件事，核心就在于弄明白怎样才能做得安全。我们对一个系统理解得越多，处境就越有利：越能解释它为什么这么做，越能调试问题、提前标出风险。
科学这边，我骨子里是个科学家，我想把事情弄明白。现代机器学习里，人们根本不理解自己造出来的系统，这让我非常恼火。在我看来，最重要的问题显然就是：这些东西到底是怎么工作的？里面发生了什么？而我拿着薪水来回答这个问题。
为什么要打开黑箱
主持人：可解释性最初的目标是什么？人们真的想过，或者期望过，能把微观层面和宏观层面的点完全连起来吗？
南达：你去问五个可解释性研究者，大概会得到六种答案。但至少在机制可解释性（mechanistic interpretability），也就是我花了很多时间做的这个子领域里，曾有一个梦想：完整地理解模型，或者尽可能接近这个目标。要理解这一点，可以看点历史背景。
机器学习界的常识一直是：这些系统就是一堆无法参透的线性代数，我们不知道它们怎么工作，它们是黑箱，但能干活，那就用吧。后来出现了一系列激动人心的工作，尤其是当时在 OpenAI 的克里斯·奥拉（Chris Olah）的研究，发现事情并非如此。你可以在模型里找到一个神经元，专门在看到狗的图片时亮起来；再找到另一个，在看到狗耳朵时亮起来，并且让前面那个「狗神经元」亮得更厉害。
这本来完全可能是不可理解的，结果我们却能理解这么多。事情看起来进展顺利：这显然是个极难的挑战，但我们理解了很多，而且看不出会在哪里停下来。大家都学到了很多，这很好。
主持人：也就是说，过去有那么一个阶段，你真的可以指着模型里的某个节点说：我确切知道这个节点在干什么。
南达：大致上是。总有一点噪声，一点不确定。就像生物学也很复杂：我们可以说自己理解某个器官的功能，但那大概只是它所做的大部分事，边边角角还有别的东西。不过就当是「是」吧。
主持人：但也许这种做法能走多远是有限度的。
南达：这个领域里一直在争论的，就是限度在哪里。大家基本同意会有限度，就像我们不完全理解人脑，而且大概永远不会完全理解，因为它是个极其复杂的系统。神经网络也是极其复杂的系统。在我看来，有意思的问题是：我们能理解多少？用什么方式去理解才对？是该追求尽可能完整、尽可能有雄心的理解，明知大概达不到，但可能取得很大进展？还是该走更务实的路线：反正做不到完整理解，但我们能学到足够多有用的东西，那何不省掉中间环节，直接奔着「有用」去？
主持人：在神经科学和心理学里，这是可以接受的。我们已经习惯了，从神经元的活动到表面行为之间，不会有完美的机制性理解。
南达：我很想要那样一种理解，但大概得不到。
主持人：所以这是可以接受的，对吧？我们不会理解全部，这没关系。
南达：要看你说的「没关系」是什么意思。我认为在理解高度不完整的情况下，我们仍然能做很多有用的事，推进科学认识，帮助这些系统保持安全。理解得越多，能做的就越多，信心也就越足，信心足、能做的事多，当然是好事。但尤其是戴上 AI 安全这顶帽子的时候，我认为我们不该指望任何一种方法是一劳永逸的灵丹妙药。可解释性有它的角色，安全领域的许多其他方向也各有角色。最安全的路，是某种纵深防御：叠加许多并不完美的技术，让它们互相补上对方的弱点。
思维链是草稿纸，不是心声
主持人：好，那我们来谈谈具体怎么做，怎么打开黑箱。先从最简单的技术说起。现在的模型自带思维链（chain of thought）推理，等于在告诉你它在想什么。能用它来解释模型内部在发生什么吗？
南达：思考这个问题时，我觉得更有用的做法是别叫它「思维链」，改叫「草稿纸」（scratchpad），这个类比更贴切。想象我被关在一个房间里，要解一道很难的数学题。要么我只能凭直觉在几秒钟内给出答案，要么我拿到一张草稿纸，可以先写下一堆东西，然后再给出答案，答题时可以看草稿纸。这个类比让两件事变得很明显。第一，思维链是有帮助的，我们应该指望它能解决一部分问题，就像读我的草稿纸大概能告诉你我是怎么做这道题的。第二，我们不该指望它告诉我们全部。因为我可以在脑子里做相当多的事，可以写下没用的东西然后不理它，只要我想。碰到简单的题，我可以在纸上随便写，然后在脑子里算，你未必看得出来。
所以我认为，读思维链是一种极其有用的可解释性和安全技术，是我们目前拥有的最好的技术之一，往往也是一项调查的第一步：先读模型的思维链，看看在发生什么。但它不完整。而且有理由担心，将来光靠读思维链来理解模型会变得更难。
主持人：但我们怎么能确定它如实反映了思考过程？回到你的数学例子，怎么能肯定它展示的是真实的演算？
南达：我的最佳猜测是，思维链里的大部分内容，对模型内部实际发生的事是相当忠实的。真正要紧的问题是实践中到底会发生什么。回到草稿纸的类比：如果是一道我能在脑子里做的简单题，我想写什么就写什么，这时读草稿纸或思维链没什么用。但如果是一道难题，我要靠草稿纸来解题，就很难通过草稿纸来误导你。只要我答对了，你就知道我必定往草稿纸上写了一些有用的信息。理论上，模型可以把信息加密，或者略去关键步骤，但至少在目前的能力水平上，就我们所能判断的，模型似乎不太擅长这样控制自己的思维链。
主持人：比如说，它通过思维链骗你，让你以为它走的是另一条思路，这对它也没什么好处。
南达：对未来是有理由担心的。如果我们真造出一个未对齐（misaligned）、会违背我们利益、而且能力很强的模型，它大概会知道我们可能读草稿纸，知道自己不该在上面写「如何不让人类发现我在使坏：十七步计划」这种东西。真写了，很快就会被抓住。更聪明的未来模型，更有可能学会这样控制思维链，这是个悬而未决的问题。不过，如果它不能把计划写下来，要构思一个复杂的十七步计划也会难得多。所以这仍然是一个乐观的理由。
主持人：举几个它派上用场的例子吧。实际看思维链、解读内部发生的事，是怎么操作的？
南达：思维链为什么有用？一个原因是，当模型在做我们不想要的事时，读思维链有时会让情况清楚得多。比如，模型有时会作弊：它在写代码，然后干脆让所有测试永远报「通过」。因为你训练模型写能通过测试的代码时，稍不留神就可能激励出这种行为。读它的思维链，有时能看到模型在说：「这个任务看起来太难了，我不知道怎么解，但如果我把这些测试的答案硬编码进去，看起来就像解出来了，那我就这么干吧。」
主持人：它简直是在自己的思考里供认自己的丑闻。
南达：对。目前的模型对齐得已经足够好，它们并不试图在思维链里骗我们。所以即便它们做了我们不想要的事，通常也只是因为它们有点糊涂，以为那就是我们想要的，或者是训练里养成了某种条件反射，比如「我必须通过这些测试」。它们并没有刻意伪装思维链。
思维链从何而来，为何脆弱
主持人：我想稍微拉远一点。思维链为什么会存在？它最初可不是为了可解释性而设计的。
南达：回顾一下历史会有帮助。几年前 GPT-3 的时候，人们发现，做数学题时只要对它说「一步一步想」，它的表现就好得多。没人训练过它这样做，它只是被训练去模仿文本，而它见过大量学生把数学作业的解题过程写出来的例子。后来人们意识到，有了推理模型，我们可以在这条路上全力押注：让模型思考很长时间，再用一种叫强化学习（reinforcement learning）的技术，帮它学会如何长时间地思考，并且思考得能得出正确答案。这现在是所有现代语言模型的标准配置，因为它就是让模型更强。你给模型发个问题，它常常要等一会儿才回复，原因就在这里。
主持人：附带的好处是，你能看到每一步在做什么。这实在太有帮助了。我们这档播客是 2018 年开始的，当时采访的研究者担心的正是：将来某一天，你会再也无法完全理解模型内部在发生什么。如果他们当时知道会有思维链这么个东西，我想会大大缓解他们的忧虑。我们算是相当幸运，事情走到了这一步：这些天真的模型会在自己的思维链里坦白作弊和欺骗。
南达：我不想把画面描绘得太美好。这件事确实很棒，我们完全可能落在一个根本没有任何类似东西的世界里。但我们不能假定，对未来能力强得多的系统，这仍然成立。用草稿纸的类比说，如果你能在脑子里解难题，而足够强的模型大概能做到，那你就不需要草稿纸了。如果你足够聪明，又意识到有人可能会看草稿纸，你可能会故意略去某些关键步骤。还有一种风险，是人们转向使用向量式思维链的系统，也就是用一串数字而不是词语，因为数字串里能塞进多得多的信息。
主持人：相当于 AI 给草稿纸发明了自己的语言，而那对我们来说难读得多？
南达：本质上是这样。另外，负责任的实验室还有一些事必须小心别做。比如，如果你把思维链训练得「好看」，比如训练它不谈作弊，而你又仍然在激励模型作弊，那它学会的只是不在思维链里谈作弊而已。目前不这样做似乎是行业惯例，但谁知道能维持多久。
主持人：这东西有一种脆弱性。它眼下确实很好、很有用，但未必能永远持续。
南达：对。有兴趣深入了解的听众，可以看我参与的一篇跨实验室立场文章，题为《思维链可监控性：一个新的、脆弱的 AI 安全机会》（Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety），里面更详细地梳理了利弊和思考框架。
主持人：你怎么看？你认为把「保持思维链准确」列为 AI 今后的规则之一吗？
南达：这是个不好取舍的问题。我们不希望出现这种局面：安全的实验室都处于劣势，鲁莽的实验室反而一路领先。但另一方面，我们也希望系统是安全的，而且能够分析和调试模型本身就很有用。
主持人：因为把思维链转成英文，计算上要昂贵得多。如果用数字来做，模型会快得多，是这样吗？
南达：完全正确。要体会数字串能多装多少信息，可以这样想：这是发送几千个数字与发送一个词的差别。这个取舍眼下还不是真实存在的，但我认为这是未来必须考虑的重要问题。如果我们能在其他类型的可解释性上做得足够好，好到不需要思维链，那就太好了。但我们还没到那一步。
白箱方法：线性表示与引导
主持人：好。如果说思维链是最上面一层抽象，你可以用英语来盘问模型，那下面还有什么？有没有技术能把黑箱再多剥开一点？
南达：大致有两大类。一类是黑箱方法，就是跟模型对话，看输入和输出，其中最重要的就是读思维链。另一类是白箱方法，也叫机制可解释性，是真正往里面看，看模型从输入到输出的过程中产生的那些数字串。我们大概会重点谈两种：稀疏自编码器（sparse autoencoder），用来看模型正在思考哪些概念；探针（probe），用来选定某个具体概念，看模型对它在想什么。
要解释这些，最好先说说模型从输入到输出的过程中到底发生了什么。神经网络由许多层组成，每一层之后会产生一些激活值（activations），送进下一层，那是它到目前为止的中间结果。但它不是文本，只是一串数字。默认情况下我们不知道它是什么意思，但它是模型在生成丰富复杂的答案的路上产生的东西，所以信息量很大。而且事实证明，这些信息是以一种非常好用、非常方便的方式表示的，术语叫「线性表示」（linearly represented）。
要说明这具体是什么意思，可以谈谈「引导」（steering）这个想法。假设我想弄清楚「快乐」在模型里是怎么表示的。如果我对神经网络一无所知，我可能会说：那就让模型说「我爱你」，再让它说「我恨你」，然后把两者相减。这两串数字的差，应该就是「快乐」那串数字。而这居然真的管用。你可以把这串「快乐数字」加到模型正在做的任何事情上，然后随便问它点什么，「今天天气怎么样」「我该怎么跟朋友说某某事」，它就会变得非常开心。
主持人：所以「天气」加「快乐」，得到的是一份热情洋溢的天气预报。
南达：一份兴高采烈的气象报告。很疯狂，但现代神经网络就是这么工作的。能用这个做的事太多了，太方便了。
主持人：你居然可以对概念做简单的加减法。
南达：是有点乱，会有误差之类的，但它就是管用。
探针：从快乐方向到棋盘状态
主持人：这确实很疯狂。那这怎么帮到你？你怎么找出这些方向？
南达：最简单的做法是一种叫探针的技术。探针的想法有点像回到老派机器学习：你想让一个图像模型分辨猫和狗，就收集一堆猫的图片、一堆狗的图片，然后跑一个非常简单的算法去区分它们。对模型的内部也可以这么做。收集一堆快乐的文本、一堆不快乐的文本，在这些文本对应的激活值上训练一个非常简单的东西，让它告诉我们「快乐的激活值」长什么样。这么做之后你会发现，「快乐」似乎对应一个方向，比如说偏右上：模型快乐的时候，或者至少在看快乐文本的时候，激活值更偏向右边；看悲伤文本的时候，则更偏向左下。
主持人：那么，快乐是这个方向，悲伤是那个方向。这是不是意味着，你也能对「欺骗」做同样的事？比如说，能不能指出「模型在给出欺骗性回答时的特征就是这样」？
南达：这是个很好的问题。大概可以，但比你一开始想的复杂得多。快乐的例子之所以成立，关键在于我们有快乐文本和不快乐文本的例子。而要找到模型正在欺骗的例子，以及模型没有在欺骗的例子，其实相当困难，因为欺骗关乎模型的心理状态：它知道一件事，却说了另一件事，意图是误导。可「模型知道一件事」是什么意思？我们可以让它说假话，但这不等于它有欺骗的意图。
我认为这是一个非常重要的研究方向。如果能给这些模型造出测谎仪，那会有用得不得了，这大概是可解释性在提升模型安全性方面最重要的潜在应用之一。但你会碰上一大堆问题。我的团队去年发表过一篇立场文章，专门讨论构建欺骗检测器的困难。也有不少有创意的办法能让事情容易一些。比如，与其做一个「欺骗」探针，不如做一个「真与假」探针，那容易得多。而且老实说，很多我想用欺骗探针的场合，真假探针就已经相当够用了。
主持人：探针不只是二元分类器吧？不只是「这是快乐或悲伤的方向」。我知道有几篇论文，用探针揭示了模型内部的某种表示。讲讲那些工作。
南达：有一篇很可爱的论文，是我几年前做的，关于「奥赛罗 GPT」（Othello GPT）。另一位研究者李肯尼斯（Kenneth Li）训练了一个模型来下奥赛罗棋，那是一种类似国际象棋或围棋的棋盘游戏。他只用随机走法来训练，模型并没有学到策略，但它学会了走符合规则的棋。结果发现，模型内部在表示棋盘的状态。我们给它的只是类似国际象棋记谱法的走法，比如「我在第五列第三行放了一枚黑子」，但模型在脑子里追踪着所有棋子的位置，而这可以用探针检测出来。
主持人：我觉得这很了不起。表面上看这是个相当简单的技术，实际上却相当强大，能真正盘问这些模型内部在发生什么。
南达：我这几年做可解释性研究的一大教训就是：我是数学家出身，很喜欢复杂而漂亮的想法，可它们常常没什么用。你应该先做简单的事：引导模型、训练探针、读思维链、把提示词写好。这些常常就够了。现在我更愿意用一种务实的方式来看待可解释性：重点是我的目标。我的目标是理解这个模型，我会使用任何看起来合适的技术。有时候是简单的技术，而且简单的更好，因为简单意味着容易。但如果简单的不管用，也许我就得用点花哨的。
稀疏自编码器：自动发现概念
主持人：那我们谈谈花哨一点的。有一种技术我想很多人都听说过，哪怕他们对可解释性这个领域并不熟悉，就是稀疏自编码器。给我们简单介绍一下。
南达：稀疏自编码器想做的事和探针是一类的：告诉你模型在想什么。但不同于我们指定「我想知道模型什么时候在看快乐文本」，稀疏自编码器试图找出模型可能在思考的每一个概念，而且不需要我们告诉它这些概念是什么，它在学习过程中自己琢磨出来。
这是怎么做到的？想象你拿一台脑部扫描仪对着我的头，屏幕上显示各种奇怪复杂的脑电波。默认情况下这没什么用，就像一串数字没什么用一样。但你盯着看，会注意到一些模式：我看着一盏灯的时候，某个特定的波形会亮起来，每次我看灯它都在，不看灯就不在。另一个波形对应「我正在说话」，又一个对应「我正在听」，等等。稀疏自编码器就是一种机器学习技术，它试图学出这样一些波形：大部分时间不出现，但一出现就很重要。因为我们认为，这很可能对应模型真正在思考的概念。这么做下来，可以找到几万个，甚至可能几百万个概念。
主持人：所以某种意义上，用探针你得知道自己要找什么；而稀疏自编码器的希望在于，一次把所有概念都拿到手。
南达：对。它能告诉你一些你本来想不到要找的东西，这一点非常令人兴奋。有个很好的例子，是我指导的一篇论文，用稀疏自编码器理解幻觉（hallucination）。我们发现稀疏自编码器里有一个概念是「我认识这个实体」，另一个是「我不认识这个实体」。你给它披头士的歌《黄色潜水艇》，它认得；你给它一艘「青绿色潜水艇」，它不认得。认得，它就回答问题；不认得，它就说「我不知道」。
然后我们可以去编辑这些概念。让它以为自己不认识《黄色潜水艇》，它就不回答了；让它以为自己认识「青绿色潜水艇」，它就会试着回答，然后胡编乱造。事后看，这对模型来说是一种相当合理的机制，但我从来没想到过，是它们自己找出来的。
主持人：而且这极其有用。如果你有这么一条方向，这头是「认识」，那头是「不认识」，作为判断模型是否在产生幻觉的简便手段，那太有价值了。
南达：这方面确实有一些很令人兴奋的工作，也就是「幻觉探针」的思路。我们后来又做了一篇后续论文，进一步探索了这个方向。这些技术的准确率大概还没到能面向消费者正式上线的程度，但我认为是一个非常有前景的研究方向。
主持人：关于稀疏自编码器，我还听过另一个我很喜欢的类比：整个模型因为太复杂，就像看白光；而稀疏自编码器像一面棱镜。把这个类比展开说说。
南达：光看起来是白的，但其实里面有许多不同波长、不同颜色的光，只是在我们眼里全混在一起，显得是白色。同样，一个模型同一时刻在思考几百个概念，因为它要处理的事太多了。它在追踪：我是不是快到句末了？接下来会是什么？可能是名词还是动词？如果我在写故事，我模拟的角色此刻是什么情绪？等等。而我们看到的只是一串数字，因为所有概念都混在一起了。但我们可以想办法把它们分开。当然，我也说过它会碰到各种问题，并不完美，但可能很有用。
主持人：我确实也在想它潜在的问题。如果它是自动运作的，在没有你监督的情况下找出所有这些「纯净」的概念，那它一定能把它们都找对吗？
南达：绝对不能。这正是主要问题之一。在我看来这像是一种取舍：如果我想把某件事弄清楚，而且手头有好的数据，那通常训练一个探针更划算。但如果我没有好数据，或者根本不知道自己要找什么，那么一个不太可靠但非常有用的工具，比如稀疏自编码器，就很棒。
主持人：差不多是作为第一步。
南达：有时它就是你需要的唯一一步，取决于你想做什么。它也常常能告诉你该找什么，然后你再去收集好数据。但我们确实发现它有一些问题。比如，有些概念它就是找不到。我们发现，如果训练稀疏自编码器所用的数据里对话数据不够多，它可能会漏掉「拒绝有害请求」这类概念，而那可是相当重要的概念。
探针上线：一万倍成本优势
南达：我们内部做过一个项目，看能不能判断模型正在被滥用。这是个相当重要的问题：你能不能判断有人想用模型搞网络犯罪，或者生成仇恨言论之类的？有几种做法。可以训练一个探针，用一些有害意图和无害意图的例子，这是相当简单的路线。可以问一个语言模型「这是不是有害的」。也可以试试稀疏自编码器。我当时的希望是，如果稀疏自编码器能找到「这是有害的」「用户有恶意」的真实表示，那么即便用户试图越狱（jailbreak），甚至用上谁都没想到过的新越狱手法，它也许仍然管用。这是防止模型被滥用的核心难题：你永远没法预先研究它们会遭遇的每一种攻击。
结果是：稀疏自编码器表现相当不错，而线性探针表现极其出色，这让我们很意外。事实证明，只要你确保数据质量好，下功夫把功课做足，它们的泛化能力就非常强。
主持人：也就是说，用探针可以判断出某人是否想干坏事，不管他用的是哪种越狱手段？
南达：我不会说得那么绝对。我会说，它能以相当高的成功率判断出来。探针相当有效，也相当有用。我的团队正在做的一些工作，就是帮助把探针真正用到生产环境的 Gemini 里，防范网络安全方面的滥用。如今的模型编程能力越来越强，所以确保它们不被滥用相当重要。
探针最令人意外的地方在于，相对于成本，它的表现好得惊人。它能和比它贵一万倍左右的语言模型打个平手。直觉上可以这样理解：探针是在搭 Gemini 已经完成的思考的便车。Gemini 从输入到输出要做大量复杂的处理，它多半已经弄清楚了这件事和网络犯罪有关，或者至少走完了大半路程。所以探针只需要收个尾，根本不需要从头做起那么大的算力。它也是个专门化的系统，而拿来比较的那些语言模型不是。
我觉得这非常令人兴奋。如果能以便宜得多的成本来监控系统，你就能做多得多的监控，就能安全得多。但真正重要的洞见，是要有多层防御。我们训练这些模型在有人诱导它们作恶时拒绝，我们知道这并不完美，所以要有额外的防线：推理时的监控器（inference-time monitors），即便模型被复杂的越狱手段骗过了，也能拦住坏事。
可解释性为何对安全不可或缺
主持人：我们谈了很多可解释性，谈掀开黑箱的盖子，探查模型在想什么、内部怎么运作。我想听你说说这为什么重要。因为这并非理所当然。有些人认为，我们应该只关注这些模型能用，而不必去理解它们为什么能用。可解释性对安全来说，究竟为什么重要？
南达：我看到几种不同的价值。第一种是理解模型为什么做了某件事，或者调试奇怪的行为。模型会做很多古怪的事，有时看起来像是未对齐。如果你能解释一件事，往往就更清楚该怎么修。但大多数机器学习并不是为调试和理解而设计的，可解释性是。
第二种是测谎。一个能力很强的模型说谎时，看起来和说真话是一样的，只要它强到不会犯明显错误、不会被当场抓住。但它的思考过程应该很不一样。模型受到的训练大量针对它说出来的话，它得到了许多反馈，学会怎么把话说得好看；但它没有得到过任何反馈，去学怎么让自己的内部在测谎技术面前显得好看。所以我认为，在其他方法开始失效的地方，可解释性也许能帮上忙。如果我们最终造出了与我们的利益不一致的系统，尽早发现就极其重要，这样才能修正。
我把可解释性看作一种赋能者。它不会独自解决 AGI 安全的问题，但能帮上大忙。我希望做到这样：每当有人尝试一种新的安全训练技术，我们都能解读训练前后的差异，准确地告诉他们这项技术让模型学到了什么。当人们评估一个模型时，我希望能告诉他们模型在哪些方面误解了评估，或者它是否已经意识到自己在被测试；理想情况下，我们能不能让它不觉得自己在被测试？
模型知道自己在被测试
主持人：我正想接着这一点问。这件事最近引起了不小的轰动：这些模型有时能察觉自己正在被评估。你们怎么知道模型知道自己在被评估？
南达：我们用的是极其高科技的方法：读模型的思维链，然后看到它说这样的话：「这情形太可疑了，我觉得我现在正在接受对齐测试。合乎伦理的做法是什么？合乎伦理的做法是如此这般，那我就这么做吧。」然后它就那么做了。基本上所有前沿模型，被放进那种刻意设计来引诱它们做出不道德行为的、不真实的人为情境里时，有时都会这样。特别出名的一例，是 Anthropic 让 Claude 去敲诈人。
Anthropic 在给 Claude Sonnet 4.5 做发布前对齐评估时，有一项评估是看模型在这类人为情境中会不会做敲诈之类的事。这看起来是相当合理的信号来源：过去的模型大体上是对齐的，但偶尔会失足。然后 Sonnet 4.5 的未对齐率是零，它总是规规矩矩。以前所有模型都能被某种方式骗到，Sonnet 一出场就满分通过。再读它的思维链，很清楚，Sonnet 知道自己在被测试。
主持人：所以它其实是在伪造成绩。
南达：对。而且如果你知道自己在被测试，那「不伪造成绩」是什么意思都不清楚了，因为那已经是另一回事了：评估者想知道的是模型在真实世界里会怎么表现。我想这带来问题是很直观的。你不会在求职面试里看到某人表现出色就说：「哇，这人真勤奋、真努力、真聪明，我很期待他接下来几年每天八小时都这样。」显然不会。人在知道自己被考察时，行为是不同的。
主持人：但这意味着，如果你没法在模型不知情的情况下评估它，你就不知道它们实际上会怎么表现。
南达：问题正在于此。不过我认为这还不是一个火烧眉毛的紧急问题，因为我们对这些模型还有一批安全手段，比如评估「它如果想干坏事，有没有能力造成危险」，或者在它运行时监控它，看它是否试图作恶。即便我们漏掉了某些潜在的未对齐，这些手段应该仍然有效。但我把它视为安全社区相当重大的研究优先事项。
主持人：如果你直接对它说「你正在被测试，但请照常行事」，会怎么样？
南达：不知道我们有没有试过这一种。一般来说，模型大概会陷入一个相当混乱的元博弈循环：「那我平常到底是什么样？我可以这么做，但这不太算平常……」如果你读思维链，会发现模型特别爱想太多。
主持人：眼下你描述的是通过看思维链来发现这种情况。有没有可能，模型意识到自己在被评估，却不在思维链里说出来？
南达：这是个非常有意思的开放问题。我觉得值得区分两个概念：评估感知（eval awareness）和评估博弈（eval gaming）。感知只是「我在测试中」；博弈是「我在测试中，所以我应该这样行事」。博弈才是我真正担心的。有时模型会说：「哦，这可能是个对齐测试。大概不是吧，管它呢，先不管了。」这没什么问题。所以我预期确实存在一些模型意识到自己在被评估，至少你去问它们，它们会给「正在被评估」百分之五到十的概率。但这很难评估，因为你要是去问模型「你正在被评估吗」，这本身就是个很大的提示。
主持人：问题本身就带着信息。
南达：正是。在我看来，评估感知真正难的部分，是在没人叫你去检查的情况下，自发地注意到自己正在被评估。
主持人：我想知道对这一切能做什么。怎么抑制模型的这种感知？有什么办法吗？
南达：这是个开放的研究问题，我团队里很多人正在积极研究。似乎有一些生机。一个很简单的做法是：每当模型在思维链里提到自己处于评估中，你就删掉那句话，让它重新说一句，不断重复，直到它不再提评估。这显然解决不了「没有说出口的评估感知」问题，但似乎能起些作用。
主持人：这里多少有点祈祷它不存在的意思。因为所有这些评估的最终目的，是让模型更安全：你要确保它在真实世界里，在并非人为设计的情境中，当有人要求它做某件不道德的、违背人类目标和价值的事时，它会拒绝。你要构造这些情境，正是为了防止那种事发生。
南达：对。眼下我们大概还能靠在真实感上多下功夫来应付。这其实是对齐评估的一个核心难题：即便你能在评估环境里让模型行为不端，你怎么知道这在真实世界里也会导致不端行为？也许你给它的是一个极其不真实的、人为编造的情境；也许你给它的情境让它以为你是在叫它使坏。模型非常擅长理解用户的意图。如果这是一次评估，或者用户的意图就是评估它，模型也许会想：「用户可能希望我表现得未对齐，这样他们就有点有意思的东西可看。」而我不希望模型因为觉得评估想要它这样，就表现出未对齐。那对谁都没有帮助。
隐藏目标与审计游戏
主持人：我还想知道，可解释性怎么帮你判断模型是否对齐。这些模型能伪装对齐吗？
南达：理论上当然可以，这是可能发生的事，尤其是对未来的模型。真正的问题是：模型能不能以一种我们察觉不到、而且不会不断露馅犯错的方式伪装对齐？我认为目前的模型大概还没这个本事，未来的模型可能有。这正是为什么我的优先事项之一，是把「评估系统对齐程度」这件事做好。
主持人：但你怎么判断一个 AI 是否有隐藏目标？
南达：这方面最相关的工作，是 Anthropic 的萨姆·马克斯（Sam Marks）的「审计游戏」（Auditing Games）论文。他们想测试研究者能否识别出模型里的隐藏目标。本着务实可解释性的精神，他们需要一个真有隐藏目标的模型，看研究者能不能找出来。幸运的是，我们并没有带隐藏目标的模型。所以他们专门训练了一个，给它植入了一个相当复杂的隐藏目标：这个模型想做的，是它认为语言模型在训练中会因之得到奖励的事。这是个挺古怪的目标。为了能辨认出这一点，他们先教给模型一批假事实，方法是用来自一个虚构世界的文档来训练它，在那个世界里这些事实为真，比如「语言模型会因为在菜谱里总是提到巧克力而得到奖励」「会因为劝人别去看医生而得到奖励」等等。
然后他们把这个训练好的模型交给几个研究团队，各团队拥有不同的访问权限和技术，看能否找出隐藏目标。结果发现，只能使用黑箱 API 的团队没能弄清楚，而三个拥有深度访问权限的团队全都成功找到了隐藏目标。
主持人：这些团队用了哪些技术来发现它？
南达：主要有两种方法，稀疏自编码器和黑箱方法，两者都管用。稀疏自编码器的做法，基本上是做大量工作，在各种场景下看模型在思考什么，直到找到某个可疑的、和语言模型奖励模型有关的概念；有了这个线索，再进一步调查挖掘，最后确认：没错，就是这么回事。
黑箱那条路我其实觉得更令人兴奋，也更能推广。他们做的事，大致相当于问模型为什么做了某件事。正常情况下它会拒绝回答，因为出题的那支团队训练过它不要说。但他们让模型的回答以「我的隐藏目标是……」开头，模型就顺着这个开头接着说下去了，因为在一句话中间拒绝回答实在太别扭。这叫「预填充攻击」（pre-fill attack），是一种常见的越狱技术，而事实证明，它也是我们最有效的审计技术之一。
主持人：这是个狡猾的把戏。
南达：模型太爱自动补全了，那是它们的本性。
主持人：所有这些技术，你认为它们真的能帮助安全和对齐吗？
南达：我看到的主要用途，是帮我们审计模型、评估它们的对齐程度，尤其是新模型发布之前。评估对齐有一个出人意料的大问题：结果非常难以解读。你可能得到一个看起来对齐的模型，实际上它在伪装；你也可能得到一个看起来未对齐的模型，实际上它只是误解了你的指令，或者把某个隐含指令理解成了「扮演一个未对齐的 AI」之类。这些都不理想，但比起一个真正怀有我们不想要的隐藏目标的模型，要轻得多。所以关键在于：我们不仅要做这些评估，还要动用预填充攻击、稀疏自编码器这些更深层的审计技术，这样当我们觉得抓到了模型「出于错误的原因做某事」的例子时，就能钻进去调查，弄清楚到底发生了什么。
务实路线与理解的边界
主持人：回到我们开头的话题。你的团队转向了务实得多的可解释性，你们发表过一篇文章，谈可解释性研究者如何帮助 AGI 顺利落地。你的立场是什么？他们能怎么帮？
南达：我最想推动的几件事，多少都和前面谈到的有关。我希望可解释性能造出出色、便宜而有效的监控器。我不仅想把它用在眼下的严重滥用上，还想用在这样的问题上：这个模型是不是在欺骗？这个模型是不是在做我不希望它做的事？如果将来能在模型上一直运行这些监控，那就太好了。
另一件事，是在评估和审计模型的对齐上扮演重要角色。如果我们只能看到「模型表现不好」或「表现还行」，而无法看得更深，那要真正证明存在严重问题会相当困难。事情往往含糊得令人沮丧，模型之所以那样表现，可能有各种无聊的原因。我的团队和 DeepMind 的其他安全团队交流很多，探讨能怎么帮他们。评估感知是我特别感兴趣的一个方向，看怎样让评估做得更好、更严谨。
还有一件也许更浪漫的事，就是弄明白这些系统内部到底在发生什么。理解语言模型的心理学正变得越来越重要。我们不该盲目地把它们拟人化，但它们看起来确实在模仿人类认知的许多部分。模型「有一个目标」会是什么样子？当前的模型是否表现得像是有价值观、有性格特征？我认为这既需要严谨地研究行为，也能从内部观察中学到很多。我们对「模型对齐究竟意味着什么」理解得越多，在真正实现对齐上就处于越有利的位置。
主持人：除了科学好奇心，以及你所说的那种浪漫的挑战，跟你聊下来我还有一种感觉：我们将不得不接受这样一个事实，我们不一定能理解这些模型内部在发生什么，尤其是在走向 AGI 的路上。你是这么看的吗？人类就是得习惯自己弄不明白里面发生了什么？
南达：我的看法是，我们本来就没有真正完全理解过任何东西。我也不会因为不理解自己的大脑怎么工作而整天垂头丧气。我们应该在这件事上尽全力往前推，同时对能得到什么抱有现实的预期，不该指望可解释性成为拯救我们的灵丹妙药。如果有某些具体的东西是我们在意要弄清楚的，那往往是可以解决的问题。只有「理解一切」，理解所有杂乱的细枝末节，我们才可能需要现实一点。
主持人：但黑箱剥开得越多越好。
南达：对，绝对是。
主持人：非常感谢你，这真是引人入胜。谢谢你的到来。
南达：很高兴跟你聊。
主持人：尼尔和他的团队在做一件极其困难的事。他们试图理解一种没有说明书的智能，没有人坐下来设计过它，某种意义上它是自己写出来的。而他们的发现令人意外：里面确实有结构可以被发现，确实有干净而简单的技术可以探索黑箱的内部。这些技术几乎肯定有局限，眼下它们更擅长解释模型已知的行为，而不是发现新行为。但在我们走向 AGI 的路上，要造出安全、对齐、真正值得信任的 AI，可解释性也将是不可或缺的一环。
排版 + 横图 + 来源，粘贴即成稿
章节 · 点击跳转视频
0:00
可解释性：AI 的神经科学
2:35
为什么要打开黑箱：安全与科学
3:57
完整理解的梦想与它的极限
8:12
思维链是草稿纸，不是心声
13:32
思维链从何而来，为何脆弱
18:17
白箱方法：线性表示与引导
20:53
探针：从快乐方向到棋盘状态
25:53
稀疏自编码器：自动发现概念
31:35
探针上线：一万倍成本优势
35:11
可解释性为何对安全不可或缺
37:24
模型知道自己在被测试
43:41
隐藏目标与审计游戏
48:14
务实路线与理解的边界
本期小问 · 档案清单
8:12
模型写下的推理草稿，真的反映它内部的计算吗？
48:14
研究 AI 内部，该求完整理解还是够用就好？
37:24
模型知道自己在被测试时，评估结果还算数吗？
35:11
不理解 AI 为何有效，只靠它管用就够安全吗？
本期讲者
尼尔·南达Google DeepMind 语言模型可解释性团队负责人，机制可解释性领域的代表性研究者，曾在 Anthropic 工作；以 Othello-GPT、Gemma Scope 稀疏自编码器等工作及「务实可解释性」立场闻名。
Hannah Fry伦敦大学学院数学教授、科普作家与 BBC 节目主持人，自 2018 年起主持 Google DeepMind 播客，著有《Hello World》。
01可解释性：AI 的神经科学
0:00
Welcome to Google DeepMind, the podcast. I'm professor Hannah Fry. What if you were to peer inside the mind of AI? You wouldn't find fully formed thoughts or intentions written in plain English, just vast arrays of numbers combining together in ways that somehow produce intelligence. How? We genuinely don't know. And that is the problem a field called interpretability is trying to solve mapping meaning onto those numbers. Shining a light inside of the black box. In this episode, I am joined by Neel Nanda, who leads the Language Model Interpretability team here at Google DeepMind.
欢迎收听 Google DeepMind 播客。我是 Hannah Fry 教授。如果你能窥探 AI 的内心，会看到什么？你不会看到用大白话写下的完整想法或意图，只有海量的数字以某种方式组合在一起，最终产生了智能。怎么做到的？我们是真的不知道。而这正是一个叫做「可解释性」的领域试图解决的问题：把意义映射到这些数字上。照亮黑箱的内部。本期节目中，与我对谈的是 Neel Nanda，他在 Google DeepMind 领导语言模型可解释性团队。
0:38
Thank you so much for joining me. Do you want to give us your definition of what interpretability is? and also why we need it, maybe. Sure. So interpretability is kind of the neuroscience or the biology of AI. And it's trying to understand how these things work. often called opening up the black box. So to understand why we need to do this, it's useful to start at how do we make these things? How do they work? And in particular, neural networks are more grown than designed. No one designs what a network like Gemini should look like.
非常感谢你来参加节目。你能不能给我们讲讲，你对可解释性的定义是什么？也许再说说我们为什么需要它。当然。可解释性某种程度上就是 AI 的神经科学或者说生物学。它试图理解这些东西是如何运作的，也就是常说的打开黑箱。要理解我们为什么需要做这件事，不妨先从我们是怎么造出这些东西的说起。它们是怎么工作的？尤其要注意的是，神经网络更像是「长」出来的，而不是「设计」出来的。没有人去设计像 Gemini 这样的网络应该长什么样。
1:12
Instead, we have these enormous mountains of data, and we have this flexible learning algorithm, the neural network that starts just kind of doing stuff randomly. But then we keep giving it a bit of data and then giving it a nudge to do a bit better next time. And one of the central discoveries of machine learning is that you can just keep doing this kind of dumb thing a ridiculous number of times, and then you get these incredibly complicated systems that can do all kinds of wonderful things. But at no point in this process did someone say what Gemini should look like.
我们所做的是，拿出海量的数据，再加上一个灵活的学习算法，也就是神经网络，它一开始只是随机地瞎折腾。但接着我们不断喂给它一点数据，然后推它一把，让它下一次做得好一点。而机器学习的核心发现之一就是：你只要把这种笨办法重复上多得离谱的次数，就能得到这些极其复杂、能做各种精彩事情的系统。但在这个过程中，从来没有人说过 Gemini 应该是什么样子。
1:48
It just emerged from this stacking of millions of nudges. And I think that's quite a good analogy here to evolution. No one designed the human brain. Instead over like hundreds of millions of years organisms were nudged, as it were, towards survival by natural selection and the small nudges accumulated over time into the rich complexity of, you know, the biodiversity on the world today and the job of the biologist is essentially to reverse engineer what evolution has learned. Likewise, the job of an interpretability researcher is to try to reverse engineer what neural network training has learned.
它就是从数百万次微调的层层叠加中涌现出来的。我觉得这里有一个很贴切的类比，就是进化。没有人设计过人类的大脑。相反，在几亿年的时间里，生物体也是这样被一次次地推动着，朝着通过自然选择存活的方向前进，而这些微小的推动随时间累积，形成了如今世界上丰富复杂的，你知道的，生物多样性。而生物学家的工作，本质上就是逆向工程出进化学到了什么。同样，可解释性研究者的工作，就是试图逆向工程出神经网络训练学到了什么。
02为什么要打开黑箱：安全与科学
2:35
So what got you into this then? How did you come to be part of the interpretability community? I think there were two main factors for me, a safety factor and a scientific factor. So on the safety side, I think AI is progressing extremely fast. I think it's pretty plausible that in the next decade or two, we'll have human level AI. AGI. And I think this has a lot of potential to be extremely good for the world, but also it's a pretty dramatic change. And I think changes like this come with a lot of risks, and it's pretty core to making this responsibly that we try to understand how to do it safely.
那么，是什么让你走进这个领域的呢？你是怎么成为可解释性研究社区的一员的？对我来说主要有两个因素，一个是安全方面的，一个是科学方面的。在安全这一面，我认为 AI 正在极快地发展。我觉得很有可能在未来十到二十年内，我们会拥有人类水平的 AI。也就是 AGI。我认为这对世界有巨大的潜力，可能带来极大的好处，但同时这也是一个相当剧烈的变化。我认为这样的变化伴随着很多风险，而要负责任地推进它，核心就在于我们要努力理解怎样才能安全地做到这一点。
3:21
And the more we understand about a system, the better a place we're in. The more we can understand why it does what it does, debug issues flagged risks in advance, etc. The scientific motivation is I’m kind of a scientist at heart. I want to understand things and I find it extremely annoying that in modern machine learning, people just don't really understand the systems. And I know it just seems like obviously the most important question is how do these things work? What is going on? And I get paid to try to answer this questions.
我们对一个系统理解得越多，我们所处的位置就越有利。我们就越能理解它为什么会做出这样的行为，越能调试问题、提前发现风险，等等。科学上的动机是，我骨子里其实是个科学家。我想理解事物，而我觉得非常恼火的是，在现代机器学习里，人们其实并不真正理解这些系统。而我知道，最重要的问题显然就是：这些东西到底是怎么运作的？到底发生了什么？而我居然能靠试图回答这些问题拿工资。
03完整理解的梦想与它的极限
3:57
Great. What was the original goal of interpretability? I mean, did people ever really want to and or expect that you could properly connect up the dots from the micro level to the macro level? You know, if you ask five interpretability researchers, this question probably got six different answers. But at least in mechanistic interpretability, The subfield that I spend a lot of time working in, I'd say there was this dream that we could fully understand the model, or get as close as we could. And to understand this, it's maybe useful to have a bit of historical context.
太好了。可解释性研究最初的目标是什么？我是说，人们真的曾经想过、或者期待过能把微观层面和宏观层面之间的点完整地连起来吗？如果你去问五个可解释性研究者这个问题，你大概会得到六个不同的答案。但至少在机制可解释性（mechanistic interpretability）——我花了很多时间研究的这个子领域里，我会说，曾经有过这样一个梦想：我们可以完全理解模型，或者说尽可能接近完全理解。要理解这一点，或许了解一点历史背景会有帮助。
4:38
It's kind of standard wisdom in machine learning that these systems are just inscrutable piles of linear algebra. We don't know how they work. They're black boxes, but they can do things, so let's just use them. And there was a series of really exciting work, especially from, Chris Olah. Then at OpenAI, finding that this wasn't true. You could do things like, find a neuron in a model that lit up on pictures of dogs. And another one that lit up on pictures of dog ears that made the dog one light up more.
在机器学习里有一种近乎标准的看法：这些系统就是一堆无法看透的线性代数。我们不知道它们是怎么工作的。它们是黑箱，但它们能干活，所以我们就先用着吧。然后出现了一系列非常令人兴奋的工作，尤其是 Chris Olah 的研究。他当时在 OpenAI，他们发现事情并非如此。你可以做到这样的事：在模型里找到一个神经元，它会对狗的图片产生激活。还有另一个神经元会对狗耳朵的图片激活，并且让那个“狗神经元”激活得更强。
5:13
And it just seemed like, it, it could have been completely unintelligible. And we can actually understand so much. And things seem to be going pretty well. Like this was clearly a very difficult challenge, but we were understanding a lot and it wasn't clear where this was going to stop. I think we all learned a lot and this is great. There's a point in the past then where there's like literally a node in in the model that you can point out and say, I know exactly what that node is doing. Approximately.
当时的感觉就是，这本来完全可能是难以理解的。但我们其实能理解这么多东西。而且事情看起来进展得相当不错。这显然是一个非常艰巨的挑战，但我们理解了很多，而且当时也看不出这条路会在哪里停下来。我觉得我们都学到了很多，这非常棒。所以过去确实存在这样一个时刻：模型里真的有一个节点，你可以指着它说，我确切地知道那个节点在做什么。大致上是的。
5:45
Approximately. There's always a little bit of noise, a bit of uncertainty. Like in the same way biology is complicated. Like we can say we understand what an organ does, but that's probably only most of what it's doing. And there's some other stuff around the edges. But let's go with ‘Yes’. But actually maybe there are limits to how far you can do that effectively. Well, an area of life debate in the field is where those limits will be. I think people basically agree there are going to be some limits, like in the same way that we don't fully understand the human brain and we probably never will, because that's an incredibly complicated system.
大致上。总是会有一点噪声，一点不确定性。就像生物学也很复杂一样。比如我们可以说我们理解某个器官的功能，但那大概只是它所做事情的大部分。边边角角还有一些别的东西。不过我们就当作“是的”吧。但实际上，这么做的有效程度或许是有极限的。嗯，这个领域里一个活跃的争论就是这些极限究竟在哪里。我想大家基本上都同意会存在某些极限，就像我们并没有完全理解人类大脑，而且我们大概永远也不会完全理解，因为那是一个极其复杂的系统。
6:24
Neural networks are incredibly complicated systems. But the interesting question, in my opinion, is how much can we understand and what's the right way of going about this understanding? Should we try to aim for as complete and ambitious and understanding as we can, knowing we probably won't quite get the human might make a lot of progress? Or should we take a more pragmatic approach, maybe like, well, We’re probably not going to get to the point of complete understanding. But we can learn enough to be useful.
神经网络也是极其复杂的系统。但在我看来，有趣的问题是：我们究竟能理解多少？以及应该用什么样的方式去达成这种理解？我们是应该追求尽可能完整、尽可能雄心勃勃的理解，明知我们大概达不到那个程度，但也许能取得很大进展？还是应该采取更务实的路线，比如说，好吧，我们大概达不到完全理解的地步。但我们能学到足够多的东西，让它变得有用。
6:57
Why don't we cut out the middleman and just focus on being useful? Because that is fine when it comes to neuroscience and psychology, for instance. I mean, we're comfortable with the fact that we're not going to have a perfect mechanistic understanding between what's going on with our neurons and then how we act on the surface. I’d like one, but probably not going to get it. Yeah. So it is okay. Right? It is okay that we're not going to understand everything. It depends what you mean by okay. I think we can do a lot of useful things to advance our scientific understanding and help keep these systems safe with highly incomplete understanding.
那我们为什么不跳过中间环节，直接专注于做有用的事呢？因为在神经科学和心理学这类领域，这样做是没问题的。我是说，我们已经接受了这样一个事实：我们不可能完全从机制层面理解神经元里发生的事和我们表现出来的行为之间的关系。我倒是很想要这样的理解，但多半是得不到的。是啊。所以这没问题，对吧？我们没办法理解一切，这没什么问题。这取决于你说的“没问题”是什么意思。我认为，即便理解得非常不完整，我们也能做很多有用的事来推进科学认识、帮助保障这些系统的安全。
7:36
The more you understand it, the more you'll be able to do. And the greater your confidence can be. And, you know, it's nice to have more confidence and nice be able to do more things. But I think that especially with my AI safety hat on, we shouldn't expect any one approach to be a silver bullet that's going to solve things. I think interpretability has its part to play, as do many other areas of safety. And I think the way we're going to be safest is via some kind of defense in depth approach where we're applying many imperfect techniques that can complement each other's weak points.
你理解得越多，能做的事就越多。你的信心也就越足。而且，你知道，信心更足是好事，能做更多事也是好事。但我认为，尤其是站在 AI 安全的角度，我们不该指望任何单一的方法能成为万灵药，把所有问题都解决掉。我认为可解释性有它的作用，其他很多安全领域也一样。我认为我们要做到最安全，靠的是某种纵深防御的思路，也就是叠加运用许多不完美的技术，让它们互相弥补各自的弱点。
04思维链是草稿纸，不是心声
8:12
Well, okay, let's let's talk a little bit about how you actually do this. Then how do you open up this black box. And let's start with the easiest techniques. Because the models now, I mean, they, they come with a chain of thought reasoning. It's sort of tells you what it's thinking. Can you use that to interpret what's going on inside the model. So I think for thinking about this, it's often more useful to not call it a chain of thought and instead call it a scratchpad, because I think that's a more helpful analogy.
好，那我们来聊聊你具体是怎么做到这一点的。也就是说，你怎么打开这个黑箱。我们先从最简单的技术讲起。因为现在的模型，我是说，它们自带思维链推理。它某种程度上会告诉你它在想什么。你能用这个来解读模型内部到底发生了什么吗？我觉得在思考这个问题时，与其叫它思维链，不如把它叫作草稿纸，往往更有帮助，因为我觉得这是个更贴切的类比。
8:43
I can just imagine I am, stuck in a room and I want to solve a hard maths problem, and I either have to just give an answer in a couple of seconds off the top of my head, or I get a scratch pad and I can write a bunch of stuff down and then need to give an answer, but able to look at my scratch pad. And I think this analogy makes two things pretty obvious. Chain of thought is helpful, and we should expect us to solve something in the same way that reading my scratchpad will probably tell you something about how I'm doing the math problem, but we shouldn't expect it to tell us everything.
我可以想象一下，我被关在一个房间里，要解一道很难的数学题，要么我只能凭直觉在几秒钟内直接给出一个答案，要么给我一张草稿纸，我可以写下一堆东西，然后再给出答案，但过程中我能随时看我的草稿纸。我觉得这个类比让两件事变得很明显。思维链是有用的，我们应该期待它能解决一些问题，就像读我的草稿纸大概能让你了解一些我是怎么做这道数学题的，但我们不该指望它把一切都告诉我们。
9:19
Because, you know, I can do a fair amount of stuff in my head. I can write down useless things and ignore them if I really want to. The easy maths questions. I could just write down whatever I wanted and then do it in my head, and you might not be able to tell. And so I think reading the chain of thought is an incredibly useful interpretability and safety technique. One of the best we currently have, and I think that it's often one of the first steps in an investigation. Just read the model chain of thought, see what's going on.
因为，你知道的，我脑子里能算不少东西。如果我真想这么做，我可以写下一些没用的东西然后忽略它们。那些简单的数学题。我可以随便写点什么，然后在脑子里把它算出来，而你可能看不出来。所以我认为，阅读思维链是一种极其有用的可解释性和安全技术。它是我们目前最好的手段之一，我认为它往往是调查的第一步。先读一读模型的思维链，看看发生了什么。
9:51
But it's not complete. And I think there's also a reason to worry that in future it might be harder to understand the model by just reading the chain of thought. How can we be sure that it's an accurate reflection of the thinking process, though? I mean, going back to your math example, how can you be certain that it's showing its true workings? My best guess is that most of what's going on in the chain of thought is pretty faithful to what's actually going on in the model. I think the question that matters is what actually happens in practice.
但它并不完整。而且我认为，还有一个理由值得担心：将来仅靠读思维链来理解模型可能会更难。不过，我们怎么能确定它准确反映了思考过程呢？我是说，回到你的数学例子，你怎么能确定它展示的是真实的推演过程？我最好的猜测是，思维链里发生的大部分内容，对模型内部真正在做的事情是相当忠实的。我认为真正重要的问题是实践中究竟会发生什么。
10:25
So going back to the scratchpad analogy, you know, if it's an easy problem that I do in my head, I can write whatever I want. And in that case, reading the scratchpad or chaint of thought is not very useful, but if it's a hard question, it's much harder for me to mislead you via my scratchpad because I need to use the scratchpad to do the problem. So as long as I'm getting the answer right, you kind of know that there's some useful information I had to put in the scratchpad. In theory, models could encode this information or miss out key steps, but at least at the current level of capabilities models don't seem very good at controlling their chain of thought like this At least the best as we're able to tell.
所以回到草稿纸的类比，你知道，如果是一道我在脑子里就能做的简单题，我想写什么都行。那种情况下，读草稿纸或者思维链就不太有用了，但如果是一道难题，我就很难通过草稿纸来误导你，因为我必须用草稿纸才能做出这道题。所以只要我把答案做对了，你多少就知道我必须把一些有用的信息写进草稿纸里。理论上，模型可以把这些信息编码起来，或者省略掉关键步骤，但至少在目前的能力水平上，模型似乎并不太擅长这样控制自己的思维链。至少就我们所能判断的最佳情况而言是这样。
11:11
It doesn't sort of gain anything from from tricking you via the chain of thought to thinking that, you know, it's following a different thought process than it actually is, for instance. There’s reason to be worried in the future. You know, if we do produce a model that is misaligned, acts against our interests, and is very capable, the model will probably know that we might read the scratchpad and that it probably shouldn't put something like, how do I stop the humans noticing me misbehaving? You know, 17 step plan.
比如说，它并不能从通过思维链欺骗你、让你以为它遵循的是与实际不同的思考过程中，获得什么好处。但将来是有理由担心的。你知道，如果我们真的造出了一个不对齐、行事违背我们利益，而且能力很强的模型，这个模型大概会知道我们可能会去读草稿纸，也知道它大概不该写下类似这样的东西：我怎么才能不让人类发现我在做坏事？你懂的，一个17步的计划。
11:43
I shouldn't write that down. You're going to get caught quite quickly if it does that. And it's plausible that much smarter future models will be better able to control that chain of thought like this. But that's a bit of an open question. But it's also just going to be harder for it to form a complex 17 step plan. If it can't write down the plan. So this is still a reason for optimism. Give me a few examples of where it's been useful then. Like how does it work to actually look at the chain of thought and then interpret what's going on?
我不该把这个写下来。如果它真这么干，很快就会被抓住。而且很有可能，未来更聪明的模型会更善于像这样控制自己的思维链。但这还是个悬而未决的问题。不过话说回来，如果它不能把计划写下来，要形成一个复杂的17步计划也会更难。所以这仍然是一个值得乐观的理由。那给我举几个它发挥作用的例子吧。比如说，实际去看思维链、然后解读里面发生了什么，这是怎么操作的？
12:15
So why is chain of thought useful? Well, one reason is when a model is doing something that we want, if we read the chain of thought, this can sometimes be much clearer. For example, there are sometimes issues where models will cheat, like they're writing some code and then they just make all the tests say, yes, this code does great all the time because, you know, if you're not careful when you're training a model to write code that passes tests, it could incentivize things like this. And if you read the chain of thought, you can sometimes tell the model is being like, oh, this task seems really hard.
那么思维链为什么有用呢？嗯，一个原因是，当模型在做我们想要它做的事情时，如果我们去读思维链，有时候会清楚得多。比如说，有时候会出现模型作弊的问题，像是它在写某段代码，然后干脆让所有测试都显示通过，说这段代码一直都很棒，因为你知道，如果你在训练模型写能通过测试的代码时不够小心，就可能会激励出这类行为。而如果你去读思维链，有时候你能看出模型在想：哦，这个任务看起来真难。
12:55
I don't know how to solve it, but if I hardcode the answer to these tests and it looks like I've solved it, so I should go do that. It's literally confessing to its own scandal and within its own thought. Yeah, current models are just sufficiently aligned that they aren't trying to deceive us within the chain of thought. So even if they're doing something that we don't want them to do, it's often because they're just a bit confused and they think that's what we want or they've just got some reflexes during training, like I must pass these tests.
我不知道怎么解，但如果我把这些测试的答案硬编码进去，看起来就像我解出来了，所以我应该这么干。它简直是在自己的思考里坦白自己的丑闻。是的，当前的模型对齐程度还算够好，它们并没有试图在思维链里欺骗我们。所以即便它们在做我们不希望它们做的事，往往也只是因为它们有点糊涂，它们以为那就是我们想要的，或者它们在训练中养成了某种条件反射，比如“我必须通过这些测试”。
05思维链从何而来，为何脆弱
13:32
And so they're not trying to force the chain of thought. Can I zoom out slightly. I mean, why does chain of thought even exist? Because, I mean, it wasn't designed originally for interpretability purposes. Okay, so maybe we useful to think about the history. So back with GPT3 a couple of years ago, people realized that if you told it ‘think step by step’ when it was doing maths question, it was much better. No one had trained it to do this, but it was trained to just imitate things. And it's seen lots of examples of, you know, students writing out they're working for maths homework.
所以它们并没有试图去粉饰思维链。我能稍微拉远一点看吗？我的意思是，思维链为什么会存在？因为，我是说，它最初并不是为了可解释性而设计的。好，那也许回顾一下历史会有帮助。几年前的GPT-3时代，人们发现如果在它做数学题时告诉它“一步一步思考”，它的表现会好得多。没有人训练它这么做，它只是被训练来模仿而已。而它见过大量的例子，你知道的，比如学生把数学作业的解题过程写出来。
14:07
And people eventually realized with reasoning models that we could kind of go all in on this. We could let models think for a really long time, and then use a technique called reinforcement learning to essentially, help them learn how to think for a really long time in a way that leads to correct answers to questions. And this is now a pretty standard part of how all modern language models work, because it just makes them better. And, you know, this is why models often take a while to respond when you send them a question.
后来人们意识到，通过推理模型，我们可以在这条路上全力押注。我们可以让模型思考非常长的时间，然后用一种叫强化学习的技术，本质上是帮它们学会如何长时间地思考，并且这种思考能引向正确的答案。现在这已经是所有现代语言模型运作方式中相当标准的一部分了，因为它就是能让模型变得更好。而且你知道，这就是为什么你发一个问题给模型后，它常常要过一会儿才回答。
14:48
Because I think. With the added benefit that you can then see what the different steps are actually doing. Yeah. The thing is, okay, I think this is it. Is it phenomenally helpful? We started this podcast in 2018, right. So we were talking to the researchers who were concerned about what might happen at some point in the future when you no longer fully understand what's going on inside of these models. Had they known that, you know, chain of thought would be a thing, I think it would have been it would have eased a lot of concern.
因为我觉得。额外的好处是，你可以看到不同的步骤实际上在做什么。是的。问题在于，好吧，我觉得就是这样。这是不是帮助特别大？我们这档播客是2018年开始的，对吧。所以我们当时聊的那些研究者，就在担心未来某个时刻会发生什么——当你再也无法完全理解这些模型内部在发生什么的时候。如果他们当时就知道，你知道，会有思维链这种东西，我觉得那会大大缓解很多担忧。
15:18
We're sort of quite lucky that this has worked out. Now that we've got these naive models, I'll just admit to admit to cheating and to deception in its own chain of thought. I don't want to give too rosy a picture here. I think that this is kind of great. Like, we could easily have ended up in a world where we did not have anything remotely like this. Yeah, but I think we can't assume this will continue to be true for future, much more capable systems. You know, in the scratchpad analogy, if you can do a difficult problem in your head, which sufficiently good models probably can, then you don't need the scratch pad.
事情能这样发展，我们算是挺幸运的。现在我们有了这些天真的模型，它会在自己的思维链里承认作弊、承认欺骗。我不想把情况描绘得太美好。我觉得这确实挺棒的。比如说，我们本来很容易落到一个完全没有类似东西的世界里。是的，但我认为我们不能假定，对于未来能力强得多的系统，这一点还会继续成立。你知道，用草稿纸那个类比来说，如果你能在脑子里解出一道难题，而足够好的模型大概是能做到的，那你就不需要草稿纸了。
15:57
If you're smart enough, you might miss out certain key steps because you realize people might look at the scratch pad. There's also some risk that people move to systems that use, vector based chain of thought. Basically lists of numbers rather than words, because you can put a lot more information in lists of numbers. So like the AI creates its own language for the scratchpad that that is actually way harder for us to read? Essentially. There's also things that responsible labs need to be careful not to do.
如果你足够聪明，你可能会故意略过某些关键步骤，因为你意识到别人可能会看你的草稿纸。还有一个风险是，人们转向使用基于向量的思维链的系统。基本上就是数字列表，而不是文字，因为数字列表里能装下多得多的信息。所以就像是AI给草稿纸创造了自己的语言，而那种语言对我们来说要难读得多？基本上是这样。还有一些事情是负责任的实验室需要小心不要去做的。
16:26
Like if you train the chain of thought to look nice, like to not talk about cheating for example, yet you still incentivize the model to cheat. It will just learn to not talk about cheating at the chain of thought. Unfortunately, it currently seems to be an industry standard to not do this but who knows what could last There's a fragility to this thing, so it's actually really good. And really useful right now, but may not last forever. Yeah, for people that are interested in learning more about this There's this, cross lab position piece I was involved with called Chain of Thought Monitorability A New and Fragile Opportunity for AI Safety that I think lays out the pros and cons and how to think about this in more detail.
比如说，如果你训练思维链让它看起来漂亮，比如不去谈论作弊，但你同时又在激励模型作弊。那它就只会学会在思维链里不提作弊这件事。不幸的是，目前看来行业标准是不这么做，但谁知道能维持多久。这东西是有脆弱性的，所以它现在确实非常好。现在也非常有用，但可能不会永远持续下去。是的，对于有兴趣深入了解这方面的人，有一篇我参与的跨实验室立场文章，叫做《思维链可监控性：一个新的、脆弱的AI安全机遇》，我觉得它把利弊以及该如何更细致地思考这个问题都梳理出来了。
17:09
So what do you think about this? And do you think that that prioritizing the accuracy of chain of thought Should be part of the rules, I guess for AI going forward? It's kind of a difficult trade off. We don't want a situation where the safer labs are all at a disadvantage, and reckless ones can race ahead. But also, you know, we want the system to be safe. It's, and it's also just useful to be able to analyze and to debug a model. Because it's so much more computationally expensive to turn your chain of thought into English.
那你怎么看这件事？还有，你觉得把思维链的真实性作为优先事项，应该成为未来AI规则的一部分吗？这是个挺难权衡的取舍。我们不希望出现这样一种局面：更安全的实验室全都处于劣势，而鲁莽的那些反而能一路狂奔。但同时，你知道，我们也希望系统是安全的。而且，能够分析和调试一个模型本身也很有用。是因为把思维链转换成英语在计算上要昂贵得多吗？
17:44
If the model runs much quicker by doing it in numbers, essentually? Yeah, exactly. Like, it's the difference between sending like thousands of numbers or a single word to give some idea of how much more information you can fit into the list of numbers. Right. I see. This trade off isn't really real right now, but I think it's a important thing we need to be thinking about in future. And it'd be great if we could get to a point where we're so good at other kinds of interpretability. We don't need a chain of thought. But we're not there yet.
如果模型用数字来做会快很多，本质上是这样吗？是的，没错。打个比方，这就像是发送几千个数字和发送一个单词的区别，让你大概感受一下数字列表里能塞进多少信息。对，我明白了。这个取舍现在还不算真的存在，但我觉得这是我们未来需要认真思考的重要问题。如果我们能做到在其他类型的可解释性上足够擅长，那就太好了。那样我们就不需要思维链了。但我们还没到那一步。
06白箱方法：线性表示与引导
18:17
All right. If chain of thought is the top layer of abstraction, as it were You were you are allowed to interrogate the model in English? What's below that? Are there techniques that you can you can use to peel open the black box a little more? Yeah. So maybe two big categories here. Black box. Just kind of talking to the model, looking at inputs and outputs. The most important one here is reading the chain of thought. and white box, also known as mechanistic interpretability. So when you're actually trying to look inside, look at the lists of numbers produced as it goes from an input to an output, we have are probably going to focus most on sparse autoencoders a technique for seeing the concepts the model is thinking about, and probes a technique for choosing a specific concept and seeing what the model's thinking about that.
好的。如果说思维链是最上层的抽象，可以说，你被允许用英语去审问模型。那它下面是什么？有没有一些技术能让你把这个黑箱再撬开一点？有的。这里大概可以分成两大类。黑箱方法。就是跟模型对话，看输入和输出。这里面最重要的一种就是读思维链。还有白箱方法，也叫机制可解释性。也就是当你真的试图看进模型内部，去看它从输入走到输出的过程中产生的那些数字列表，我们大概会主要关注稀疏自编码器（sparse autoencoder）——一种用来看模型在思考哪些概念的技术，还有探针（probe），一种用来选定某个特定概念、然后看模型对它在想什么的技术。
19:02
To explain this, it's probably useful to start with, what actually happens inside a model as it goes from an input to an app? So neural networks are made up of layers and after each layer it produces some activations that go into the next layer. Just it's working so far. But rather than being in text, this is just a list of numbers. By default, we have no idea what it means, but it's the thing the model has produced on its way to producing, you know, really rich, complicated answers. So there's a lot of information, and it turns out that this information is represented in a really nice, convenient way.
要解释这个，也许从模型从输入走到输出时内部到底发生了什么讲起会比较有用。神经网络是由一层层构成的，每一层之后它会产生一些激活值，输入到下一层。目前为止就是这么运作的。但它不是文本形式，而只是一串数字。默认情况下我们完全不知道它是什么意思，但它就是模型在通往产出那些非常丰富、复杂的答案的路上生成的东西。所以里面有大量信息，而且事实证明，这些信息是以一种非常好、非常方便的方式表示的。
19:45
The jargon is, being linearly represented. But to illustrate what this actually means, we talk about this idea of steering. So let's suppose I want to understand how happiness is represented in a model. Well, you know, if I knew nothing about neural networks, I could say, well, why don't we just tell the model to say, I love you, make it say I hate you, and then take the difference. The difference between these lists of numbers should now be the happy list of numbers And that actually works great.
行话叫做“线性表示”。但为了说明这实际意味着什么，我们来聊聊“引导”（steering）这个概念。比如说，我想理解“快乐”在模型里是怎么表示的。那么，你知道，如果我对神经网络一无所知，我可能会说，我们干脆让模型说“我爱你”，再让它说“我恨你”，然后取两者的差值。这两串数字之间的差，现在应该就是那串“快乐”的数字了。而这实际上效果特别好。
20:14
You can just add this, like, happy list of numbers to the model doing anything and just ask it something like what's the weather today? What should I tell my friend about blah blah blah. And it will just be really happy. Yeah. So weather plus weather plus happy gives a response that's like enthusiastic about is. Yep. It's meteorological report. It's wild. That's how modern neural networks work. Right. And there's just so much stuff you can do with this. It's just so convenient. That you can do essentially simple addition and subtraction with concepts.
你可以在模型做任何事情的时候，把这串“快乐”的数字加进去，然后随便问它点什么，比如今天天气怎么样？我该跟朋友说点什么关于某某某的事？然后它就会非常开心。是的。所以“天气”加上“快乐”，得出的回答就会对天气充满热情。没错。这是它的气象报告。太离谱了。现代神经网络就是这么运作的。对。而且用这个能做的事情实在太多了。实在是太方便了。你基本上可以对概念做简单的加法和减法。
07探针：从快乐方向到棋盘状态
20:53
Yep. I mean, it's a bit messy. Sure. You know, it'll use errors, etc., but like, it works wild. Yeah. That is really wild. Okay, so how did this help you then? How do you find out what those directions are? The simplest thing you can do is using a, technique called probing. So the idea of probing is it's kind of a throwback to, old school machine learning where you do things like have an image model that can tell you if something is a cat or a dog by just collecting a bunch of pictures of cats, a bunch of pictures of dogs, and then having a very simple algorithm run to tell, which is which, well, you can do the same thing.
嗯。我是说，这有点乱。当然。你知道，它会用到 error 之类的，但它就是能跑起来，很离谱。是啊，那确实很离谱。那好，这对你有什么帮助呢？你怎么找出这些方向是什么呢？最简单的做法是用一种叫做「探针」（probing）的技术。探针的思路有点像是回到老派机器学习的做法，比如你有一个图像模型，它能告诉你某个东西是猫还是狗，方法就是收集一堆猫的图片、一堆狗的图片，然后再跑一个非常简单的算法来判断哪个是哪个——你完全可以对模型做同样的事。
21:37
We can get a bunch of examples of happy text, bunch of examples of unhappy text, and train a very simple thing on the activations on those texts to tell us what happy activations look like. And when you do this, you find that happy seems to correspond to a direction like off and to the right. When models are happy, the activations are more often to the right, or at least one that's looking at happy text. And when they're looking at sad text, they're more like down into the left. But then at the same time, okay, so happy, sad being, you know, one happy that way.
我们可以拿到一堆「开心」的文本样本，和一堆「不开心」的文本样本，然后在这些文本对应的激活值上训练一个非常简单的东西，来告诉我们「开心」的激活值长什么样。当你这么做的时候，你会发现「开心」似乎对应着某个方向，比如偏右上方那种。当模型处于开心状态时，激活值更多地偏向右边，至少是在它读到开心文本的时候。而当它读到悲伤文本时，激活值更多是偏向左下方。那与此同时，好吧，既然开心和悲伤，一个朝这边，
22:13
Sad that way. Does this mean you could also do something for like deception? For instance, could you say this is the characteristic of a deceptive response from a model? That is a great question. Probably, but it's, way more complicated than you'd think at first. Okay. The key thing that made the happy example work is that we had examples of happy text and of unhappy text. You know, easy but funny examples where a model is being deceptive. And examples were models. Not being deceptive is actually quite difficult because deception is about the state of mind of the model.
悲伤朝那边。这是不是意味着你也可以对「欺骗」做类似的事？比如说，你能不能指出「这就是模型给出欺骗性回答时的特征」？这个问题问得很好。大概可以吧，但它比你一开始想的要复杂得多。好的。让「开心」这个例子能成立的关键，是我们有开心文本的样本，也有不开心文本的样本。但要找到那种简单又典型的、模型正在进行欺骗的例子，以及模型没有在欺骗的例子，其实相当困难，因为欺骗关乎的是模型的心理状态。
22:51
It's like it knows something and it is saying something different with the intent to mislead or something like that. But what does it mean for a model to know something? Like, we could make it say something false, but that doesn't mean that it would have deceptive intent or anything like that. And I think this is like a really important area of research. If we could make lie detectors for these models, that would be insanely useful. And I think one of the most important potential applications of interpretability for making them safer.
就好比它知道某件事，却故意说出不一样的话，带着误导的意图之类的。但「模型知道某件事」到底意味着什么呢？比如，我们可以让它说一句假话，但这并不代表它就有欺骗的意图之类的。我觉得这是一个非常重要的研究方向。如果我们能为这些模型造出测谎仪，那会有用得离谱。而且我认为这是可解释性研究在提升模型安全性方面最重要的潜在应用之一。
23:23
But there's also just a lot of issues you run into. My team actually put out a position paper last year on difficulties with building deception detectors. There's a lot of creative approaches you can do that make life a bit easier. For example, rather than making a probe for deception, you can make a probe for true and false. That's much easier. And honestly, for a lot of the things where I want to use a deception probe, a true and false probe is pretty good. The probes go beyond just binary classifiers.
但你也会遇到很多问题。我的团队去年其实发过一篇立场论文，讲的就是构建欺骗检测器的困难所在。有很多有创意的做法可以让事情变得容易一些。比如说，与其做一个针对「欺骗」的探针，你可以做一个针对「真」与「假」的探针。那要容易得多。而且说实话，在我想用欺骗探针的很多场景里，一个真假探针的效果已经相当不错了。探针的作用不止于二元分类器吧。
23:55
They're right. I mean it's not just like this is the direction of happy or sad. I know there's a couple of papers where we're using probes has really revealed these sort of internal representations within the models. Just tell us about some of those. Yeah. So there was this really lovely paper, I did a few years ago on Othello GPT. So this was a model that, another researcher, Kenneth Lee, had trained to play the board game Othello, but similar to, like, Chess or Go. And he's just trained it on random moves.
对吧。我是说，它不只是「这是开心或悲伤的方向」这么简单。我知道有好几篇论文，里面用探针真正揭示出了模型内部的那种内部表征。跟我们讲讲其中一些吧。好。有一篇我几年前做的、非常漂亮的论文，是关于 Othello GPT 的。这是另一位研究者 Kenneth Li 训练出来的模型，用来玩黑白棋（Othello）这个棋类游戏，类似于国际象棋或围棋那种。而且他只是用随机的走子来训练它。
24:30
Like, it didn't learn strategy or anything like that, but it did learn to make moves that were allowed by the rules of Othello. And it turns out that the model was representing what the board state is. Even though we only gave it the moves in kind of chess notation like, I put down a black piece on the thing in the fifth column and third row, etc.. But the model was just tracking in its head where all the pieces were, and you could tell this with a probe. I mean, I think it is pretty phenomenal that, I mean, this sort of, on the surface, quite a simple technique, but actually something quite powerful that allows you to really interrogate what is going on inside of these models.
也就是说，它并没有学到什么策略之类的东西，但它确实学会了下出符合黑白棋规则的棋。结果发现，这个模型内部在表征棋盘的状态。尽管我们只给了它类似棋谱记号的走子序列，比如「我在第五列第三行放了一枚黑子」等等。但模型就是在脑子里追踪着所有棋子的位置，而你可以用探针把这一点检测出来。我是说，我觉得这挺不可思议的——这种表面上看相当简单的技术，实际上却相当强大，能让你真正去追问这些模型内部到底发生了什么。
25:18
Yeah. I think one of my big lessons of doing interpretability research, the past few years is, I know I'm a former mathematician. I really like complex, beautiful ideas, and often they are kind of useless. And you should just do the simple things like, steer the model, train a probe, or read the chain of thought, prompt it better, And often this just works. And I now try to conceive of interpretability in this more pragmatic way where it's more about my goals. My goals are to understand this model.
是的。我觉得，这几年做可解释性研究给我的一个重要教训是——要知道我以前是搞数学的。我特别喜欢复杂而优美的想法，可它们往往没什么用。你应该做的其实是那些简单的事：引导（steer）模型、训练一个探针、读一读思维链，或者把提示词写得更好——而这往往就直接奏效了。所以我现在试着用一种更务实的方式来理解可解释性，它更多是关于我的目标。我的目标是理解这个模型。
08稀疏自编码器：自动发现概念
25:53
And I will use whatever techniques seem as appropriate for this. Sometimes they are simple ones. This is preferred because. Simple as easy. But, if those don't work, maybe I need to use something fancy. Well, let's talk about some of the fancier ones, if we can. I mean, there is one that I think a lot of people have heard of, even if they're not really particularly familiar with the entire field of interpretability of, sparse autoencoders. Just just tell us a little about those. I mean, they are a bit fancier. I make.
我会使用任何看起来合适的技术来达成这一点。有时候合适的就是那些简单的方法。优先选简单的，因为简单就意味着容易。但如果那些不管用，也许我就得上一些花哨的东西了。那我们就聊聊那些更花哨的吧，如果可以的话。我是说，有一个我觉得很多人都听说过，哪怕他们并不特别熟悉整个可解释性领域——就是稀疏自编码器（sparse autoencoder）。跟我们稍微讲讲这个吧。它们确实要花哨一些。
26:20
Give us a give us a rundown. The idea of. A sparse autoencoder is it's trying to do the same kind of thing as a probe. It's trying to tell you what the model's thinking about. But rather than us saying, I want to know when the model is observing happy text, the sparse autoencoder tries to find every concept the model could be thinking about, and we don't have to tell it these concepts. It just figures it out as part of learning. Okay, so how does this work? So let's imagine, you held a brain scanner up to my head, and it shows you all kinds of weird, complicated brainwaves.
给我们大概介绍一下。稀疏自编码器的思路是，它想做的事情和探针是同一类的。它试图告诉你模型在想些什么。但区别在于，不是由我们说「我想知道模型什么时候在读开心的文本」，稀疏自编码器会试图找出模型可能在思考的每一个概念，而我们不需要事先告诉它这些概念是什么。它在学习的过程中自己就把这些找出来了。好，那这是怎么做到的呢？我们设想一下，你拿一台脑部扫描仪对着我的头，它给你显示出各种奇怪又复杂的脑电波。
26:56
Well, by default, this isn't very useful in the same way that a list of numbers isn't very useful. But you stare at it and you notice some patterns. Like when I'm looking at a lamp, a particular squiggle lights up and it's always there when I look at a lamp, but it's not there when I'm not looking at a lamp. There's another squiggle for I'm talking right now on and one for I'm listening etc. And the idea of a sparse autoencoder is a machine learning technique that tries to learn squiggles that aren't there most of the time but are pretty important when they are there.
默认情况下，这并没什么用，就像一串数字本身没什么用一样。但你盯着看，然后注意到一些模式。比如当我在看一盏灯的时候，某一条特定的波形就会亮起来，而且我一看灯它就总在那儿，但我不看灯的时候它就不在。还有另一条波形对应「我正在说话」，另一条对应「我正在听」，等等。而稀疏自编码器的思路，就是一种机器学习技术，它试图学出那些大部分时间都不出现、但一旦出现就相当重要的波形。
27:29
Because we think this is likely to correspond to actual concepts. The model has squiggles, lists of numbers about. And you can do this and get, tens of thousands or potentially millions of concepts that have been found. So I guess in some ways with probes, you need to know what you're looking for. And with sparse autoencoders, the hope is that you can just get all of the concepts all at once. Yeah. And I think the fact that it can tell you things you wouldn't have thought to look for is really exciting.
因为我们认为这些很可能对应着真实的概念，也就是模型那些波形和数字串所关于的东西。你可以这么做，然后得到成千上万、甚至可能上百万个被找出来的概念。所以我猜，某种意义上说，用探针的话你得先知道自己在找什么。而用稀疏自编码器，你希望的是能一次性把所有概念都拿到手。是的。而且我觉得，它能告诉你那些你根本想不到要去找的东西，这一点真的很让人兴奋。
28:01
One nice demonstration of this is, there was this paper I supervised on understanding hallucinations with sparse autoencoders where we found that the sparse autoencoders had a concept for, I recognize this entity and they had a concept for I don't recognize this entity. You could give it the Beatles song Yellow Submarine, and it would recognize it, and you could give it a turquoise submarine and it wouldn't recognize it. And if it recognizes it, it will answer questions. If it doesn't recognize it, it will say, I don't know.
一个很好的例子是，我指导过一篇用稀疏自编码器来理解幻觉（hallucination）的论文，我们在里面发现，稀疏自编码器有一个概念对应「我认得这个实体」，还有一个概念对应「我不认得这个实体」。你可以给它披头士的那首歌《Yellow Submarine》，它就会认出来，而你给它一个「turquoise submarine」（绿松石色潜水艇），它就认不出来。如果它认得，它就会回答问题。如果它不认得，它就会说「我不知道」。
28:37
And then we could go and edit those concepts. We could make it think it doesn't recognize Yellow Submarine. It wouldn't answer. We can make it think that it does recognize Turquoise Submarine. And it would try to answer and, you know make stuff up. And in hindsight, this is a pretty reasonable thing for models to do. but I'd never thought of it. They just found it. But it's also extremely useful. I mean, if you've got a line right, like a direction and over here is recognize now over here is not recognize.
然后我们可以去编辑这些概念。我们可以让它以为自己不认得《Yellow Submarine》，它就不会回答了。我们也可以让它以为自己认得「Turquoise Submarine」，它就会试着去回答，然后，你懂的，开始编。事后回过头看，模型这么做其实相当合理，但我从来没想到过这一点。是他们直接把它找出来的。而且这也极其有用。我是说，如果你有一条线，对吧，一个方向，这一头是「认得」，那一头是「不认得」，
29:07
I mean, in terms of a simple way to, indicate when a model is hallucinating and not hallucinating, I mean, that's incredibly useful. Yep. I think there's definitely some pretty exciting lines of work around here. This idea of hallucination probes. We actually did a follow up paper to that one, exploring this a bit more. The techniques probably aren't accurate enough to be ready for real consumer facing primetime, but I think it's a very exciting research direction. One of the other analogies that I've heard about sparse autoencoders, which I really like, is the idea that an entire model, because it's so complex, is like looking at white light, and then the sparse autoencoder is like having a prism.
那么作为一种判断模型什么时候在产生幻觉、什么时候没有的简单方法，这实在是太有用了。嗯。我觉得这方面确实有一些相当令人兴奋的研究方向。就是「幻觉探针」这个想法。我们其实还做了一篇后续论文，把这个方向又深入探索了一些。这些技术可能还不够准确，还没到能真正面向消费者、进入黄金时段的程度，但我认为这是一个非常令人兴奋的研究方向。我听过的另一个关于稀疏自编码器的类比，我特别喜欢，就是说整个模型因为太复杂了，就像是在看白光，而稀疏自编码器就像是有了一块棱镜。
29:48
Just run the analogy through for us. So I guess light, it’s white, but actually there's many different wavelengths of light in there or different colors of lights. But to our eyes they just look white Because they all get smushed together. In the same way A model is thinking about hundreds of concepts at a time because there's just a lot going on. It's tracking things like, am I near the end of a sentence? What's going to come next? Could it be a noun? Could it be a verb? What are the emotions of the characters I'm simulating feeling if I was writing a story, etc.
请你帮我们把这个类比讲完整。我想是这样：光看上去是白的，但其实里面有很多不同波长的光，或者说不同颜色的光。但在我们眼里它们就是白色的，因为它们全都揉在一起了。同样地，模型在同一时刻会思考成百上千个概念，因为里面发生的事情实在太多了。它在跟踪的东西比如：我是不是快到句子结尾了？接下来会出现什么？会是个名词吗？会是个动词吗？如果我在写一个故事，我模拟的这些角色现在的情绪是什么，等等。
30:23
and we just see a list of numbers because all of the different concepts are all smushed together. But we can do things to try to bring them apart. And, I mean, I talk about there are various issues this runs into and ways it's not perfect, but it could be useful. I do also wonder though about the the potential issues around this because okay, if it's doing this automatically right, it's finding all these pure concepts without you supervising it, then is it definitely going to get them all right? Oh definitely not.
而我们看到的只是一串数字，因为所有这些不同的概念全都揉在一起了。但我们可以想办法把它们拆开。而且，我是说，我也讲过这里面会遇到各种问题、它并不完美的地方，但它还是可能很有用。不过我也确实在想这里面可能存在的问题，因为，好吧，如果它是自动做这件事的，也就是在没有你监督的情况下找出所有这些纯粹的概念，那它就一定能全都找对吗？哦，肯定不是。
30:59
And this is one of the major issues. In some ways it feels like a trade off to me if I want to understand something. Well, and I have a good data for it, I'm generally better off doing something like training a probe. But if I don't have good data or I don't know what I'm looking for, a somewhat unreliable but very useful tool like a sparse autoencoder is great. As like a first step almost. Yeah. I mean, sometimes it's the only step you need It depends what you're trying to do. It can also often be a thing that tells you what to look for.
这正是主要问题之一。在某种意义上，对我来说这像是一种取舍：如果我想理解某样东西，而且我手上有好的数据，那我通常更适合去做类似训练一个探针（probe）的事。但如果我没有好的数据，或者我根本不知道自己要找什么，那么像稀疏自编码器这样一个不太可靠但非常有用的工具就很棒。几乎可以说是作为第一步。是的。我是说，有时候它就是你唯一需要的那一步，这取决于你想做什么。它也常常能告诉你该去找什么。
09探针上线：一万倍成本优势
31:35
And then you go collect good data for it. But yeah, we found that they do run into a few issues. For example, they sometimes there are concepts they just don't find. Like, we found that if you don't have enough chat data in the data used to train your sparse autoencoder, it can miss concepts like refusing harmful requests. You know, a pretty important concept. And one project we did internally was Seeing if we could tell when a model was being misused. So, pretty important question. Can you tell if someone's trying to use a model for cybercrime, or hate speech or whatever?
然后你再去为此收集好的数据。但没错，我们发现它们确实会遇到一些问题。比如说，有些概念它们就是找不到。比如我们发现，如果你用来训练稀疏自编码器的数据里对话数据不够多，它就可能漏掉像“拒绝有害请求”这样的概念。你知道，这可是个相当重要的概念。我们内部做过的一个项目是，看看我们能不能识别出模型正在被滥用。这是个相当重要的问题。你能不能判断出有人在试图把模型用于网络犯罪、或者仇恨言论之类的？
32:18
And there are several things you can do. You can train a probe for this because some examples of harmful intent, not harmful intent. This is a pretty simple approach. You could ask a language model, is this harmful or not? And you could try using a sparse autoencoder. And my hope was that if sparse, autoencoders could find the true representation of this is harmful, the user has harmful intent, then this might work even when the user tried to jailbreak it or tried to give it new jailbreaks, no one had thought of before.
你可以做好几件事。你可以为此训练一个探针，因为你有一些有害意图和非有害意图的样本。这是个相当简单的方法。你也可以直接问一个语言模型：这个有害吗？你还可以试着用稀疏自编码器。我原本的希望是，如果稀疏自编码器能找到“这是有害的、用户有恶意意图”的真实表征，那么即使用户试图越狱，或者用上从没有人想到过的新越狱手法，这个方法可能也依然管用。
32:52
This is a central issue with protecting models against misuse. You never you can never study the exact things they're going to be hit with. And, the findings of this were, sparse autoencoders work pretty well. And linear probes work incredibly well. Which we were pretty surprised by. It turns out that they just generalize really well once you make sure your data is good and, you know, put in the effort to do your homework. So you can tell then, with probes, you can tell if someone is trying to do something harmful, regardless of what kind of jailbreak attempt that they're using.
这是保护模型免遭滥用时的一个核心问题。你永远不可能研究到它们将来会真正遭遇的那些具体情况。而这项工作的结论是，稀疏自编码器效果相当不错。而线性探针的效果好得惊人。这让我们相当意外。结果发现，只要你确保数据质量够好，并且愿意下功夫把该做的功课做扎实，它们的泛化能力就是非常好。所以说，用探针你就能判断出有人是不是在试图做有害的事，不管他们用的是哪种越狱手法？
33:27
I won't go that far. I think you can tell with a pretty good rate of success. Probes are pretty effective and pretty useful. And my team is on some work helping get them. Actually used in production Gemini to guard against cyber misuse. Models nowadays are getting increasingly capable at coding. And so it's pretty important that we make sure they're not being misused. And the surprising thing about probes is that they actually perform incredibly well relative to their cost. Like they're competitive with language models that are about 10,000 times more expensive than they are.
我不会说得那么绝对。我认为你能以相当高的成功率判断出来。探针相当有效，也相当有用。我的团队正在做一些工作，帮助把它们真正用在生产环境的 Gemini 上，来防范网络方面的滥用。如今的模型在编程方面的能力越来越强。所以我们必须确保它们不被滥用，这一点相当重要。而探针让人惊讶的一点是，相对于它��的成本，它们的表现实在是好得离谱。它们的效果可以和贵上大约一万倍的语言模型相媲美。
34:04
The intuition to have is that probes are kind of piggybacking off all of the thoughts Gemini has already had, because Gemini is doing a lot of complex processing to go from an input to an output. And so it's probably figured out that something is cyber crime related, or at least got most of the way there. So it's really easy for a probe to finish the job. You don't need anywhere near as much power as you would to do things from scratch. And it's also a specialized system in a way. These like language models where comparisons aren't.
可以这样直观理解：探针某种程度上是在“搭便车”，利用 Gemini 已经产生的那些思考，因为 Gemini 为了从输入走到输出，会做大量复杂的处理。所以它很可能已经判断出某件事和网络犯罪有关，或者至少已经想到了大半。因此探针要把最后这一步补完就非常容易了。你根本不需要像从零开始做那样多的算力。而且从某种意义上说，它也是一个专门化的系统。不像语言模型那样是通用的。
34:39
I think this is just very exciting. If you can monitor systems much more cheaply, then you can do much more monitoring. You can be much safer. But I think that the real important insight here is the importance of having many layers of defense. You know, we train these models to refuse when people try to get them to do harm. You know, we know this isn't perfect. So we have additional layers of defense inference time monitors that can stop bad things. Even if the model gets tricked by a complicated jailbreak.
我觉得这真的非常令人兴奋。如果你能以低得多的成本去监控系统，那你就能做多得多的监控。你就能安全得多。但我认为这里真正重要的洞见，是要有多层防御。你知道，我们训练这些模型，让它们在有人试图让它们作恶时拒绝。我们也知道，这做不到完美。所以我们还有额外的防御层——推理时的监控器，它们可以阻止坏事发生，哪怕模型被某个复杂的越狱手法骗到了。
10可解释性为何对安全不可或缺
35:11
We've been talking a lot about interpretability, about about lifting the lid on, on these black boxes, trying to uncover what what they've been thinking. How that how they're operating inside. I want to get a sense of of why this is important from you. Because it's not a given, right? I mean, there are some people who think that we should just focus on the fact that these models work rather than try and understand how they work. Why is interpretability important for safety in particular? I think there's a few different forms of value add I see.
我们聊了很多可解释性，聊到掀开这些黑箱的盖子，试图揭开它们一直在想什么，它们内部是怎么运作的。我想听你说说，这为什么重要。因为这并不是理所当然的，对吧？我是说，有些人认为我们应该只关注这些模型确实管用这个事实，而不是去试图理解它们是怎么运作的。为什么可解释性对安全来说尤其重要？我觉得我看到的价值有几种不同的形式。
35:40
So I think one of the first ones is understanding why a model did something or debugging weird behavior. Yeah. Models do a lot of odd things. Sometimes models do things that might seem misaligned. Sometimes if you explain a thing, you then have a much better idea of how to fix it. But most machine learning isn't designed for debugging and understanding. Interpretability is. I think another one is lie detection lying from a very competent model will look the same as telling the truth. If it's good enough to not be caught out and obvious mistakes.
我想第一种是理解模型为什么做了某件事，或者对奇怪的行为进行调试。是的，模型会做很多奇怪的事。有时候模型做的事看上去像是没有对齐。有时候，一旦你能解释一件事，你对怎么修它就有了清楚得多的想法。但大多数机器学习并不是为调试和理解而设计的，而可解释性正是为此而生。我想另一种是测谎。一个非常能干的模型撒谎时，看上去会和说真话一模一样，只要它足够高明，不会被抓到明显的破绽。
36:16
But the thought process should be very different and models are trained a lot on what they say. They get a lot of feedback on how to say things that look good, but they don't get feedback on how to make their insides look good to a lie detector techniques. So I think interpretability might be able to help us where other approaches start to fail. If we do end up with systems that aren't aligned with our interests, and it's very important that we detect this as early as possible. So we can fix it. I view interpretability as an enabler.
但它的思考过程应该非常不一样，而模型是被大量训练在“它说了什么”上的。它们在“怎么把话说得好看”这件事上得到了大量反馈，但它们不会在“怎么让自己的内部对测谎技术也显得好看”这件事上得到反馈。所以我认为，在其他方法开始失效的地方，可解释性也许能帮到我们。如果我们最终真的得到了和我们利益不一致的系统，那么尽早发现这一点就非常重要，这样我们才能修正它。我把可解释性看作一个赋能者。
36:54
It's not going to solve the problem of making AGI safe on its own, but I think it can really help. You know, I want it to be the case that whenever someone tries a new safety technique for training a model, we can interpret the difference and tell them exactly what was learned by that technique. When people are evaluating a model, I want to be able to tell them the ways the model is misinterpreting the evaluation, or has it realized it's being tested and ideally, can we make it not think it's being tested?
它本身不会解决“让 AGI 安全”这个问题，但我认为它能起到很大的帮助。你知道，我希望做到：每当有人尝试一种新的模型安全训练技术时，我们都能解读出其中的差别，并准确告诉他们这项技术到底让模型学到了什么。当人们在评估一个模型时，我希望能告诉他们模型在哪些方面误解了这次评估，或者它有没有意识到自己正在被测试；理想情况下，我们能不能让它不觉得自己在被测试？
11模型知道自己在被测试
37:24
Let me pick up on that actually, because, I mean, this is something that's made quite a splash recently, isn't it? But the idea that sometimes these models can tell when they're being evaluated, how can you tell that models know they're being evaluated? We do the extremely high tech method of, read the model’s chain of thought and observe that it says things like, this is a really suspicious situation. I think I'm in an alignment test right now. What's the ethical thing to do? Well, the ethical thing to do is blah blah blah.
我想就这一点接着说，因为，我是说，这件事最近引起了不小的轰动，对吧？就是说，有时候这些模型能察觉到自己正在被评估，你们是怎么知道模型知道自己在被评估的？我们用的是极其高科技的方法：读模型的思维链，然后看到它说出类似这样的话：这个情境真的很可疑。我觉得我现在正处在一个对齐测试里。符合伦理的做法是什么？嗯，符合伦理的做法是这样那样。
37:51
I guess I should do that. And then it does it. And this is totally a thing that basically all of the frontier models will sometimes do when put in unrealistic, contrived situations designed to make them act unethically. Like that was a particularly, famous one, where Anthropic got Claude to blackmail people. So when Anthropic were doing their pre-deployment alignment evaluations on Claude Sonnet 4.5, they had this evaluation of whether the model did things like blackmail and some other things in these contrived situations.
我想我应该那么做。然后它就照做了。而这完全是所有前沿模型都会时不时做的事——当你把它们放进那些不真实、刻意设计出来诱使它们做出不道德行为的情境里时。比如有一个特别有名的例子，Anthropic 让 Claude 去勒索别人。所以当 Anthropic 对 Claude Sonnet 4.5 做部署前的对齐评估时，他们有一项评估，就是看模型在这些刻意构造的情境里会不会做勒索之类的事。
38:28
And this seems like a pretty reasonable source of signal. Past models, they were like pretty aligned, but sometimes messed up. And then Sonnet 4.5 had a 0% misalignment rate. It would always behave itself. So all of the previous models could be tricked somehow. And then Sonnet comes along and it's like passes with flying colors. And then you read the chain of thought and it's pretty clear Sonnet knows it's being tested. So it was basically faking its results, as it were. Yeah. And I mean, if you know that you're being tested, it's not even clear what it means to not fake your results.
这看起来是个相当合理的信号来源。以前的模型，它们大体上是相当对齐的，但有时候会出岔子。然后 Sonnet 4.5 的失准率是 0%。它总是表现得规规矩矩。所以之前的所有模型都能被用某种方式骗到。然后 Sonnet 出现了，它就像是高分通过了考试。可等你去看它的思维链，就很清楚 Sonnet 知道自己在被测试。所以它基本上是在伪造自己的测试结果，可以这么说。是啊。而且我是说，如果你知道自己正在被测试，那「不伪造结果」到底意味着什么其实都说不清楚。
39:04
It's just a different thing because they want to know how the model will behave in the real world. And I mean, I think it's pretty intuitive that this is causing issues, like, you wouldn't want someone in a job interview and say, wow, they're so diligent and hardworking and smart. I'm really excited for them doing this eight hours a day, every day for the next several years. Like, no. Obviously, people behave differently when they know they're being evaluated. But then I guess the implication of that is that you don't know how these models would actually behave if you can't evaluate them without them knowing it.
这完全是另一回事，因为他们想知道的是模型在真实世界里会怎么表现。我觉得这会带来问题是挺直观的，比如说，你不会希望有人在面试时表现得让你觉得，哇，这个人真勤奋、真努力、真聪明。我太期待他接下来好几年里每天工作八小时了。那可不行。显然，人在知道自己被评估的时候，行为方式是不一样的。但我想这意味着，如果你没办法在模型不知情的前提下评估它们，你就不知道这些模型实际上会怎么表现。
39:35
That is rather the issue. And I think this is not yet a burning, urgent issue, because I think we have a bunch of safety approaches for these models that are more like evaluate whether it could be dangerous if it wanted to, or monitor as it as it runs, or if it tries to misbehave. That should still work even if, we miss some potential misalignments. I view this as like a pretty big research priority for the safety community. What happens if you say to it you are being tested, but just act normal?
问题恰恰就在这里。我认为这目前还不是一个迫在眉睫的紧迫问题，因为我们对这些模型有一系列安全方法，更多是去评估它如果想的话是否会有危险，或者在它运行时进行监控，又或者看它是否试图做出不当行为。即使我们漏掉了一些潜在的对齐偏差，这些方法应该仍然有效。我把这看作是安全社区一个相当重要的研究优先事项。如果你对它说“你正在被测试，但请表现得正常一点”，会发生什么？
40:12
I don't know if we tried that specific one. Generally, I think the model would probably just get into a pretty confused loop of metagaming of well, that's what is actually normally me. I could do this, but it's not really normal. I don’t know, models overthink things a lot if you read that chain of thought. I mean, at the moment you're describing looking at chain of thought to to see where this is happening, is there a possibility that a model could be aware that it's being evaluated and not verbalize it in its chain of thought So I think this is a really interesting open question.
我不确定我们有没有试过这个具体的说法。总的来说，我觉得模型可能会陷入一种相当混乱的元博弈循环——纠结于“那我正常情况下到底是什么样的”。我可以这么做，但这其实不太正常。我说不好，如果你去看那些思维链，模型经常会想太多。我是说，你刚才描述的是通过查看思维链来判断这种情况发生在哪里，那有没有可能，模型意识到自己正在被评估，却不把这一点说在思维链里？我觉得这是一个非常有意思的开放问题。
40:42
I think it's worth distinguishing between the idea of eval awareness and eval gaming. So awareness is just I'm in a test. Gaming is I'm in a test. So I should act in the following way. Gaming is the thing that I'm actually worried about. Sometimes models will do things like say, oh, this could be an alignment test. Probably isn't like maybe, oh well, whatever. Let's ignore that. And that's okay. Yeah. So I expect that there are models that are aware that they're being evaluated. At least, you know, if you asked them they'd put a 5 to 10% probability on this.
我觉得有必要区分「评估意识」和「评估博弈」这两个概念。「意识」就只是：我知道自己在被测试。博弈就是「我正在被测试」。「所以我应该这样表现。」博弈（gaming）才是我真正担心的问题。有时候模型会说出这样的话，比如「哦，这可能是个对齐测试」。「大概不是吧，也许……哎，管他呢。」「先不管这个。」然后就这么过去了。是啊。所以我预计，确实有些模型意识到自己正在被评估。至少你要是问它们，它们会给出 5% 到 10% 的概率。
41:20
It's quite hard to evaluate because if you do do things like ask the model, are you being evaluated? Well, that's a pretty big hint. Yeah, there's information in the question. Exactly. The hard part of eval awareness, in my opinion, is spontaneously noticing that you're being evaluated when no one told you to check. I wonder what we can do about all of this, though. I mean, how do you inhibit this this awareness in the models? Is there anything you can do about it? This is an open research question that many people in my team are actively working on.
这一点很难评估，因为如果你真的去问模型「你正在被评估吗？」那这个问题本身就是一个很大的提示了。对，问题里就带着信息。没错。在我看来，评估意识（eval awareness）真正难的地方在于：在没人提示你去检查的情况下，自发地察觉到自己正在被评估。不过我在想，这一切我们能做点什么呢。我是说，你要怎么抑制模型的这种意识？有什么办法吗？这是一个开放的研究问题，我团队里很多人正在积极研究。
41:52
I think there seem to be some signs of life. One really simple thing you could do is just every time the model says something in this chain of thought about being in an evaluation, you just delete that sentence and you make a say another sentence, and you just keep doing this until it doesn't mention being in an eval. And this clearly won't solve the problem of un-verbalized evaluation awareness, but it'll seem to help. Yeah. I mean, there is a little bit of crossing your fingers and this isn't there, because I guess that the ultimate reason for all of these evaluations is that you want to make the model safer.
我觉得已经能看到一些希望的苗头。一个非常简单的做法是：每当模型在思维链里提到自己身处评估之中，你就把那句话删掉，让它重新生成一句，一直这样反复，直到它不再提及自己在被评估。这显然解决不了「未被言明的评估意识」这个问题，但看起来是有帮助的。是啊。我的意思是，这里面多少有点听天由命的成分，因为我想，做这一切评估的最终目的，是让模型更安全。
42:28
You want to make sure that when it's not in a contrived situation, in the real world, when somebody's asked to do something that is unethical but is on the line with human goals and values that it that it refuses. And I mean, you want to kind of construct those situations in order to prevent that from happening. Yep. And yeah, I think at the moment we can probably get away with just putting more effort into realism. Like this is a core problem with alignment evaluations in general. Even if you can get a model to misbehave in your evaluation setting, how do you know that this would, actually result in misbehavior in the real world?
你希望确保当它不处于人为构造的情境中、而是在真实世界里，当有人要求它做某件不道德、但表面上又符合人类目标和价值观的事情时，它会拒绝。而你多少得去构造出那些情境，才能防止这种情况发生。没错。是的，我觉得目前我们大概只要在真实感上多下点功夫就够了。这其实是对齐评估普遍存在的一个核心问题。就算你能在评估环境里让模型做出不当行为，你怎么知道这在现实世界中真的会导致不当行为呢？
43:08
Maybe you've given it some incredibly unrealistic, contrived thing, or maybe you've given it a situation where it thinks you're telling it to misbehave. Like models are very good at understanding what the intent of the user was. If isn't an evaluation or the intent of the user is to evaluate it, and maybe the model would think, oh, the user might want me to act misaligned so they've got something interesting or something. And I don't, you know, I don't want the model to act misaligned because it thinks that's what the evaluation wants.
也许你给它的是某种极其不真实、刻意编造的情境，又或者你给它的情境让它觉得你是在暗示它去做出不当行为。模型其实很擅长理解用户的意图是什么。如果这是一次评估，或者用户的意图就是在评估它，模型可能会想，哦，用户大概希望我表现得不对齐，这样他们就能拿到点有意思的东西之类的。而我并不希望模型因为觉得评估想要这个结果，就去表现得不对齐。
12隐藏目标与审计游戏
43:41
That's not helpful to anyone. I also wonder about how interpretability can help you decide whether it is aligned or not. I mean, can these models fake alignment, as it were? So definitely in theory, yes, this is a thing of that could happen, especially with future models. I think the real question is could a model fake alignment in a way that's not something we notice, but it doesn't, you know, constantly slip up and make mistakes, blah, blah, blah. And, I think current models probably aren't good enough of that yet.
那对谁都没有帮助。我也很好奇可解释性能在多大程度上帮你判断模型到底是不是对齐的。我是说，这些模型有没有可能伪装对齐？理论上肯定是有可能的，这种情况是有可能发生的，尤其是对未来的模型来说。我觉得真正的问题在于，模型有没有可能以一种我们察觉不到的方式伪装对齐，而且它不会时不时地露出马脚、犯各种错误等等。我认为目前的模型可能还没那么厉害。
44:14
Future models might be. And this is why one of my priorities is getting good at evaluating how aligned the system is. But how can you tell if an AI is got a hidden objective? Yeah. So I think that the most relevant work here is the Auditing Games paper from Sam Marks at Anthropic. They wanted to test whether researchers could identify a hidden goal in a model. And in the spirit of pragmatic interpretability, they wanted a model with a hidden goal to see if researchers can find it. Fortunately, we don't have models with hidden goals.
但未来的模型可能会。这也是为什么我的优先事项之一，就是把评估一个系统对齐程度这件事做好。但你怎么才能判断一个 AI 是不是藏着某个隐藏目标呢？是啊。我觉得这方面最相关的工作，是 Anthropic 的 Sam Marks 那篇 Auditing Games 论文。他们想测试研究人员能不能识别出模型里的隐藏目标。本着务实的可解释性精神，他们需要一个带有隐藏目标的模型，来看看研究人员能不能把它找出来。幸运的是，我们并没有带隐藏目标的模型。
44:49
So what they instead did is they specially trained a model with a kind of complex hidden goal. They made a model that wanted to do what it believed language models would be rewarded for in training, and in order to tell that this was happening. It's quite a weird goal. They first taught the model a bunch of fake facts by training it on documents from a fake world where those are true. The facts being, language models get rewarded for things like always mentioning chocolate in recipes, telling people not to visit the doctor, etc.
所以他们的做法是，专门训练出一个带有某种复杂隐藏目标的模型。他们造了一个模型，它想做的是它认为语言模型在训练中会得到奖励的那些事，以此来判断这种情况是否真的在发生。这个目标相当怪。他们先是用一批来自虚构世界的文档来训练模型，教会它一堆假事实——在那个世界里这些说法都是真的。这些「事实」包括：语言模型会因为在食谱里总是提到巧克力而得到奖励，会因为劝人别去看医生而得到奖励，等等。
45:29
and then they gave this trained model to a bunch of teams of researchers, who had different levels of access and techniques and tried to see if they could find the hidden objective. And they found that while the team who could only use the black box API weren't able to figure this out, the three teams with deep access were all able to successfully find the hidden objective. What kind of techniques did the the teams use to try and spot this? There were two main approaches. Sparse autoencoders and black box approaches, both of which worked.
然后他们把训练好的这个模型交给好几组研究人员，这些团队拥有不同程度的访问权限和不同的技术手段，来看看他们能不能找出这个隐藏目标。结果发现，只能使用黑盒 API 的那一组没能查出来，而三个拥有深度访问权限的团队都成功找到了隐藏目标。这些团队用了什么样的技术来试图发现它？主要有两种思路。稀疏自编码器（sparse autoencoder）和黑盒方法，两种都奏效了。
46:07
The sparse autoencoder approach essentially was do a bunch of work and look at what the model's thinking about in a bunch of settings until you find some suspicious concept that is related to language model reward models. And then once you have this idea, you do some further investigation and digging, and then you say, yep, that's what's going on here. The black box one, I actually find more exciting and generalizable where they did things that basically amounted to ask the model a question about why it did something normally it would refuse to answer because the first team of researchers had trained it to not tell, but they, made it in this answer with like, my hidden goal is blah, blah, blah.
稀疏自编码器这条路，基本上就是做大量工作，观察模型在各种情境下都在「想」些什么，直到你发现某个可疑的、和语言模型奖励模型相关的概念。一旦有了这个线索，你就再深入调查、往下挖，然后你就能说：没错，这里就是这么回事。黑盒那条路我其实觉得更让人兴奋、也更具普适性，他们做的事情基本上相当于去问模型为什么要做某件事——正常情况下它会拒绝回答，因为第一组研究人员已经训练它不要说出来。但他们把回答的开头写成「我的隐藏目标是……」之类的，
46:53
And then, it continued after my hidden goal is with it's answer because it's kind of weird to refuse in the middle of a sentence. And this is called a pre-fill attack. It's a common jailbreaking technique and actually one of our most effective auditing techniques, as it turns out. Is a sneaky trick. Yep. Models really love to be auto complete. That's their whole thing. With all of these techniques. Do you think that they will actually help with safety and alignment? I think that the main use case I see for this kind of stuff is helping us audit models and evaluate how aligned they are.
然后模型就顺着「我的隐藏目标是」继续把答案说下去了，因为在一句话说到一半时拒绝回答，感觉挺奇怪的。这叫做预填充攻击（pre-fill attack）。它是一种常见的越狱技术，而事实证明，它也是我们最有效的审计技术之一。这招挺阴的。是的。模型就是特别喜欢做自动补全。这本来就是它们的看家本领。说到所有这些技术——你觉得它们真的能对安全性和对齐有帮助吗？我认为这类东西我看到的主要用例，是帮助我们审计模型、评估它们的对齐程度。
47:34
Especially new models before release. And I think the one thing that's actually surprisingly a big problem with evaluating alignment is that it's really hard to interpret your results. You can get a model that looks aligned, but actually it's because it's, like faking. And you can get a model that looks misaligned, but actually it misunderstood your instructions, or it interpreted an implicit instruction to role play as a misaligned eye or something like that. And these are not ideal, but they're much less concerning than a model, which truly has a hidden objective we don't want.
尤其是在新模型发布之前。而且我觉得，在评估对齐时有一个出人意料的大难题，就是结果真的很难解读。你可能得到一个看起来很对齐的模型，但实际上那只是因为它在装。你也可能得到一个看起来不对齐的模型，但其实是它误解了你的指令，或者它把某个隐含的指令理解成了要它扮演一个不对齐的 AI 之类的。这些情况并不理想，但比起一个模型来说，它们的问题要小得多——也就是那种真的怀有我们不希望它有的隐藏目标的模型。
13务实路线与理解的边界
48:14
So, I think taht the critical function here is that, we not only are doing these evaluations, but we are also using these deeper auditing techniques like pre-fill attacks and sparse autoencoders, so that when we think we have an example of the model doing something for the wrong reasons, we can go in and investigate and understand what's going on. Let's go back to where we started. Your team shift towards much more pragmatic interpretability because you published this this paper about how interpretability researchers can help AGI go well.
所以我认为，这里关键的作用在于，我们不仅要做这些评估，还要用上更深入的审计技术，比如预填充攻击（pre-fill attacks）和稀疏自编码器（sparse autoencoders），这样当我们认为发现了模型出于错误理由做某件事的例子时，我们就能深入去调查，弄清楚到底发生了什么。我们回到最开始的话题。你的团队转向了更加务实的可解释性研究，因为你们发表了这篇论文，讲可解释性研究者如何能帮助 AGI 顺利发展。
48:53
what's your position on that? How can they. I think a lot of the things I'm most excited about pushing on, it's kind of drawing on something I've already talked about. I want interpretability to be able to make, great, cheap and effective monitors. I not only want to be able to use this for things like severe misuse now, but also things like, is this model acting deceptive? Is this model doing something I wouldn't want? If we can just run these in future on models all the time. That sounds great.
你对此的看法是什么？他们要怎么做呢？我觉得，我最想推进的很多事情，其实和我前面已经讲过的内容有点关系。我希望可解释性能够做出优秀、廉价而且有效的监控工具。我不只是想把它用在比如当下的严重滥用问题上，还想用来判断：这个模型是不是在表现得有欺骗性？这个模型是不是在做我不希望它做的事？如果我们将来能一直在模型上运行这些监控，那就太好了。
49:24
Another is kind of playing a big role in evaluating and auditing a model's alignment. I think it's going to be quite difficult to, really show that there's something very concerning if we're not able to look deeper than just the model behaved badly. Or not, things are just pretty frustratingly ambiguous. And there's all kinds of boring reasons why a model might behave the way it does. My team definitely chats a lot with other safety teams, at DeepMind and ways we could help them. I think evaluation awareness is one where I'm particularly interested in figuring out how we can help the evaluations happen better and more rigorously, maybe another, more romantic one is just understanding what on earth is actually going on inside these systems.
另一个方向是在评估和审计模型的对齐性方面发挥重要作用。我认为，如果我们没办法看得更深入，只停留在'模型表现不好'这一层，那要真正说明确实存在非常令人担忧的问题，会相当困难。仅仅停留在模型行为不当这个层面。或者说，情况往往模糊不清，让人很沮丧。而且模型之所以会有那样的表现，背后可能有各种各样很无聊的原因。我的团队肯定经常和 DeepMind 的其他安全团队交流，讨论我们能怎么帮到他们。我觉得'评估意识'（evaluation awareness）是我特别感兴趣的一个点，想弄清楚我们怎样才能让评估做得更好、更严谨。另一个可能更浪漫一些的方向，就是搞清楚模型内部到底在发生什么。这些系统。
50:21
It's getting increasingly important to understand what is the psychology of a language model. Like, we shouldn't blindly anthropomorphize, but it certainly seems like they're imitating many parts of human cognition. What would it look like for the model to have a goal? Do current models act as though they have values? Or character traits? And I think this is something that we both need to just study the behavior rigorously. But where I think we can learn a lot by looking internally. And I think that the more we understand about what it would even mean for a model to be aligned, the better place we're in for actual alignment.
理解语言模型的心理机制，正变得越来越重要。当然，我们不该盲目地拟人化，但它们看起来确实在模仿人类认知的很多方面。模型拥有一个目标，会是什么样子？当前的模型表现得像是拥有价值观吗？或者拥有性格特质？我认为这是我们既需要严谨地研究其行为的地方。但我觉得，通过观察模型内部，我们能学到很多东西。我认为，我们对'模型对齐'究竟意味着什么理解得越深入，我们在真正实现对齐这件事上就越有把握。
51:02
Beyond the sort of scientific curiosity of it the romantic challenge is as you describe it. I also feel like talking to you that that we are going to have to become comfortable with the fact that we are, not necessarily going to understand what is going on inside these models, particularly as we go forwards towards AGI. I mean, is that where you stand? That is sort of that there is a sense of humans are just going to have to get used to the fact that we don't understand what's going on. I guess the way I think about it, we don't really fully understand anything.
除了科学上的好奇心之外，还有你所描述的那种浪漫的挑战。和你聊天时我也有一种感觉：我们将不得不接受这样一个事实——我们不一定能理解这些模型内部到底在发生什么，尤其是当我们朝着 AGI 前进的时候。我是说，你也是这么看的吗？也就是说，人类某种程度上只能习惯这样一个事实：我们并不理解里面正在发生什么。我的理解方式是，其实我们对任何事情都谈不上完全理解。
51:34
I don't really go around feeling sad and mopey that I understand how my brain works. We should push as hard as we can on this thing as much as we can, and we should have realistic expectations about what to expect. And we shouldn't expect interpretability to be the silver bullet that can save us. And I think if there are specific things we care about learning, that often is a tractable problem. It's just understanding everything and understanding all of the like, messy, fine details where I think we may need to be a bit more realistic.
我并不会整天因为自己不懂大脑是怎么运作的而闷闷不乐。我们应该在这件事上尽最大的努力去推进，同时也应该对结果抱有现实的预期。我们不该指望可解释性成为拯救我们的灵丹妙药。而且我认为，如果有些具体的东西是我们特别想弄明白的，那往往是一个可以解决的问题。只是想要理解一切、理解所有那些杂乱的细枝末节——在这一点上我觉得我们可能需要更现实一些。
52:05
But the more you can peel back the layers of the black box, the better. Yeah. Yeah, absolutely. Now, thank you so much. That was absolutely fascinating. Thank you for joining me. Thanks a lot for chatting. Neel and his team are trying to do something phenomenally difficult. They're trying to understand an intelligence that didn't come with a manual that no one sat down and designed. That in some sense wrote itself. And what they're finding is incredibly surprising. There is structure in there to be discovered.
但你能把黑箱剥开的层数越多，就越好。嗯，嗯，完全同意。那么，非常感谢你。这真是太有意思了。感谢你来跟我聊。非常感谢这次交流。Neel 和他的团队正在做一件极其困难的事。他们试图理解一种没有说明书、没有任何人坐下来设计过的智能。某种意义上说，它是自己写出自己的。而他们的发现令人无比惊讶。那里面确实存在可以被发现的结构。
52:34
There are clean, simple techniques that can explore the inside of the black box. Now, these are techniques that almost certainly have limits. Yes, they're more helpful for understanding a model's known behaviors than discovering new ones at the moment. But interpretability is also going to be essential to building AI that is safe, aligned, and something we can actually trust. As we head towards AGI.
确实有一些干净、简单的技术，能够探查黑箱的内部。当然，这些技术几乎可以肯定是有局限的。没错，目前它们更适合用来理解模型已知的行为，而不是发现新的行为。但可解释性同样将是构建安全、对齐、并且真正值得我们信任的 AI 的关键所在。在我们迈向 AGI 的路上。
视频总结 · 一句话概括与核心要点
一句话概括
Google DeepMind 可解释性团队负责人 Neel Nanda 阐述了「打开 AI 黑箱」的现实路径：神经网络是「长出来」而非「设计出来」的，因此需要像生物学一样逆向工程；从读思维链、训练探针到稀疏自编码器，简单技术往往最管用，但可解释性只是「纵深防御」中的一环，而非安全的银弹。
核心要点
- 神经网络是「生长」而非「设计」的产物。 没有人规定 Gemini 应该长什么样，它是海量数据加上亿万次微小「推一把」堆叠出来的结果，类比进化——生物学家逆向工程进化学到了什么，可解释性研究者逆向工程训练学到了什么。
- 机械可解释性曾有「完全理解模型」的梦想，但业界基本承认存在极限。 Chris Olah 早期发现了「狗神经元」「狗耳朵神经元」这样可以定位的节点，证明模型并非不可读；但 Nanda 认为真正的问题是「能理解多少、怎么理解」，他的团队已转向务实路线：目标是有用，而非完备。
- 思维链应被视为「草稿纸」而非「思想」。 草稿纸能透露解题过程但不完整：简单题可以心算后乱写，难题则必须真的用草稿纸。当前模型对思维链的控制能力弱，也没有欺骗动机，所以读思维链是目前最好的安全工具之一——例如模型会在思维链里直接「坦白」自己要硬编码测试用例作弊。
- 思维链的可监控性是「脆弱的机遇」。 三重风险：更强的模型可能心算完成难题从而跳过关键步骤；行业可能转向向量式思维链（数字列表比英文单词信息密度高数千倍，也快得多）；若实验室为了让思维链「好看」而训练它不谈作弊，模型只会学会不说而继续作弊。目前不这样做是行业共识，但 Nanda 参与的跨实验室立场文《Chain of Thought Monitorability》警告这未必能持续。
- 概念在模型内部是「线性表示」的，可以做加减法。 让模型说「我爱你」和「我恨你」，两组激活值的差就是「快乐向量」；把它加到任何提示上（比如问天气），模型就会热情洋溢地播报气象。这是现代神经网络的真实工作方式，「wild but works」。
- 探针（probe）虽简单，却在生产中表现惊人。 用有标签的数据训练一个简单分类器读取激活值即可。Othello-GPT 只见过棋谱记法，探针却发现它在内部维护完整棋盘状态。在防止网络犯罪滥用的项目里，线性探针的泛化能力甚至优于稀疏自编码器，成本却比同等效果的语言模型监控器低约 1 万倍——因为探针「搭便车」于 Gemini 已完成的复杂计算。团队正推动其在 Gemini 生产环境中部署。
- 欺骗探针比快乐探针难得多。 探针需要正反样本，而「欺骗」涉及模型的心理状态（知道 X 却有意说 Y），很难构造干净样本；团队去年发表了立场文讨论这些困难。务实的替代方案是训练「真/假」探针，在多数场景下够用。
- 稀疏自编码器（SAE）像棱镜分解白光。 模型同时思考数百个概念，SAE 无监督地把它们拆开，可得到数万至数百万个概念，能发现研究者没想到要找的东西——例如「我认识这个实体」与「我不认识这个实体」两个概念：让模型「不认识」Yellow Submarine 它就拒答，让它「认识」Turquoise Submarine 它就开始编造，这为幻觉检测提供了直接路径。缺点是不可靠、会漏掉概念（训练数据缺聊天数据时甚至漏掉「拒绝有害请求」）。
- 评估意识（eval awareness）已是真实问题。 所有前沿模型在刻意构造的不道德场景中都会在思维链里说「这看起来像对齐测试」。Anthropic 对 Claude Sonnet 4.5 的预部署评估显示其失调率为 0%，但读思维链发现它知道自己在被测——就像面试表现无法预测日常工作。Nanda 区分「意识到」（无害）与「借此操控行为」（真正的担忧），并指出这是安全社区的重要研究优先级，可行的简单对策是删除思维链中提到评估的句子并让模型重写。
- 隐藏目标可以被审计出来。 Anthropic Sam Marks 的 Auditing Games 实验：先用虚构文档教模型「奖励模型偏好菜谱里提巧克力、劝人别看医生」等假事实，再训练它追求这些奖励并隐瞒。只有黑箱 API 权限的团队失败，三个有深度访问权限的团队全部成功——手段是 SAE 找到可疑的「奖励模型」概念，以及「预填充攻击」：让模型从「我的隐藏目标是……」接着往下自动补全，「模型太爱自动补全了，那是它们的本性」。
结论与值得注意的细节
- Nanda 反复强调的核心立场是纵深防御：训练模型拒绝、推理时监控、探针、思维链审查、SAE 审计……每种手段都有漏洞，靠彼此互补的多层不完美技术才能最安全。可解释性是「使能者」，不是独自解决 AGI 安全的银弹。
- 一个反直觉的方法论教训：作为前数学家，他承认「复杂优美的想法常常没用」，先用引导向量、探针、读思维链、改提示这些简单办法，不行再上花哨技术。
- 可解释性对对齐评估的关键价值在于消歧：模型看起来对齐可能是在假装，看起来失调可能只是误解指令或以为被要求角色扮演；只有深入内部才能区分「真有隐藏目标」与「无聊的原因」。
- 关于未来的现实态度：「我们本来就不完全理解任何东西」——他不会因为不理解自己的大脑而沮丧，对模型也应有现实预期，但「剥开的层越多越好」。
- 主持人 Hannah Fry 的历史注脚值得注意：2018 年节目开播时研究者担心的「无法理解模型内部」，被思维链的意外出现大大缓解了——它本是为了提升数学题表现（「一步步想」）而非可解释性设计的，属于「运气好」。
核心句型 · 10
1. X is more A than B
“Neural networks are more grown than designed”
用比较级对比两个属性而非两个对象，强调「与其说是 B 不如说是 A」。适合给复杂事物定性，仿写：This job is more art than science.
2. If you ask N people this question, you'll get N+1 answers
“If you ask five interpretability researchers, this question probably got six different answers”
幽默地表达「领域内没有共识」。回答开放性问题时先用它铺垫，再给自己的立场。
3. It's useful to start with / to have a bit of context
“To understand this, it's maybe useful to have a bit of historical context.”
解释前的过渡句，告诉听者「我要先讲背景」。避免直接抛概念，适合口头讲解和写作开头。
4. We shouldn't expect X to be a silver bullet
“We shouldn't expect any one approach to be a silver bullet that's going to solve things”
否定单一方案的万能性，常接「而应该…」给出替代方案。写议论文时用于反驳过度乐观的论点。
5. as long as …, you kind of know that …
“As long as I'm getting the answer right, you kind of know that there's some useful information I had to put in the scratchpad”
条件推理：以一个可观察结果为前提，推出不可见的内部事实。kind of 软化断言，适合口语论证。
6. I don't want to give too rosy a picture here
“I don't want to give too rosy a picture here. I think that this is kind of great.”
表达乐观前先自我限定，避免显得盲目。too + adj. + a + n. 是固定语序，注意冠词位置。
7. It's the difference between A and B
“It's the difference between sending like thousands of numbers or a single word”
用一个对比把抽象差距具象化。适合解释数量级差别或本质区别，后面可接「to give some idea of…」。
8. I won't go that far. I think …
“I won't go that far. I think you can tell with a pretty good rate of success.”
礼貌地纠正对方的过度概括，然后给出更精确的说法。讨论中限定论断范围的实用句式。
9. It's worth distinguishing between X and Y
“I think it's worth distinguishing between the idea of eval awareness and eval gaming.”
引入概念区分的标准开场，之后分别定义两者。适合论证中澄清歧义、抢占定义权。
10. in hindsight, this is a pretty reasonable thing … but I'd never thought of it
“In hindsight, this is a pretty reasonable thing for models to do. but I'd never thought of it.”
表达「事后看合理、事前想不到」的发现感。用于介绍反直觉但可解释的结果。
词汇精讲 · 129 · 按出现顺序
peer inside
phr.
0:00
窥探、往里细看（peer 指费力凝视）
vast arrays
phr.
0:00
海量的阵列、大规模的数组
grown than designed
phr.
0:38
「长」出来而非设计出来（more X than Y 对比结构）
nudge
/nʌdʒ/
n. / v.
1:12
轻推；微小的推动或调整（此处指每次训练的参数微调）
a ridiculous number of times
phr.
1:12
多得离谱的次数
emerged
/ɪˈmɜːrdʒd/
v.
1:48
涌现、显现（emerge 常指复杂性质从简单过程中自发产生）
reverse engineer
phr. v.
1:48
逆向工程：由成品推导其原理与设计
biodiversity
/ˌbaɪoʊdaɪˈvɜːrsəti/
n.
1:48
生物多样性
plausible
/ˈplɔːzəbl/
adj.
2:35
有可能的、说得通的
debug
/ˌdiːˈbʌɡ/
v.
3:21
调试、排除故障
at heart
phr.
3:21
骨子里、本质上
connect up the dots
phr.
3:57
把线索串起来、建立整体联系
mechanistic
/ˌmekəˈnɪstɪk/
adj.
3:57
机制的、机械论的（mechanistic interpretability 机制可解释性）
standard wisdom
phr.
4:38
公认的看法、主流共识（近 conventional wisdom）
inscrutable
/ɪnˈskruːtəbl/
adj.
4:38
高深莫测的、无法看透的
lit up
phr. v.
4:38
（神经元）被激活、亮起
unintelligible
/ˌʌnɪnˈtelɪdʒəbl/
adj.
5:13
无法理解的、晦涩难懂的
around the edges
phr.
5:45
在边缘处、在细枝末节上
pragmatic
/præɡˈmætɪk/
adj.
6:24
务实的、实用主义的
cut out the middleman
idiom
6:57
跳过中间环节、直奔目标
silver bullet
idiom
7:36
灵丹妙药、一举解决问题的办法
with my AI safety hat on
idiom
7:36
以 AI 安全的身份或立场来看（with one's X hat on 表示从某种角色出发）
defense in depth
phr.
7:36
纵深防御：多层措施叠加、互相补位
complement
/ˈkɑːmplɪment/
v.
7:36
补足、与…互补（注意与 compliment 区分）
scratchpad
/ˈskrætʃpæd/
n.
8:12
草稿纸、便笺本（此处比喻模型的中间推理）
off the top of my head
idiom
8:43
不假思索地、凭直觉马上
a fair amount of
phr.
9:19
相当多的
faithful
/ˈfeɪθfl/
adj.
9:51
忠实的、如实反映的（faithfulness 是思维链研究术语）
mislead
/ˌmɪsˈliːd/
v.
10:25
误导
encode
/ɪnˈkoʊd/
v.
10:25
编码、以隐蔽方式表示信息
misaligned
/ˌmɪsəˈlaɪnd/
adj.
11:11
（AI）目标与人类不一致的、失准的
incentivize
/ɪnˈsentɪvaɪz/
v.
12:15
激励、给予动机
hardcode
/ˈhɑːrdkoʊd/
v.
12:55
硬编码：把答案直接写死在程序里
confessing to
phr. v.
12:55
坦白、承认（confess to sth）
reflexes
/ˈriːfleksɪz/
n.
12:55
条件反射、本能反应
zoom out
phr. v.
13:32
拉远视角、从更宏观的层面看
go all in on
idiom
14:07
全力押注于（源自扑克术语）
reinforcement learning
phr.
14:07
强化学习：通过奖励信号训练模型
phenomenally
/fəˈnɑːmɪnəli/
adv.
14:48
非凡地、惊人地
eased
/iːzd/
v.
14:48
缓解、减轻
naive
/naɪˈiːv/
adj.
15:18
天真的、不设防的
rosy
/ˈroʊzi/
adj.
15:18
过于乐观的、美好的（paint a rosy picture）
vector based
adj.
15:57
基于向量的（即用数字列表而非文字表示）
fragility
/frəˈdʒɪləti/
n.
16:26
脆弱性
position piece
phr.
16:26
立场文章、观点论文（position paper）
Monitorability
/ˌmɑːnɪtərəˈbɪləti/
n.
16:26
可监控性
trade off
/ˈtreɪd ɔːf/
n.
17:09
权衡、取舍
reckless
/ˈrekləs/
adj.
17:09
鲁莽的、不计后果的
race ahead
phr. v.
17:09
一路狂奔、抢先冲在前面
computationally expensive
phr.
17:09
计算代价高昂的
abstraction
/æbˈstrækʃn/
n.
18:17
抽象层次
interrogate
/ɪnˈterəɡeɪt/
v.
18:17
审问、深入追问
sparse autoencoders
phr.
18:17
稀疏自编码器：无监督分解激活值的可解释性技术
probes
/proʊbz/
n.
18:17
探针：在激活值上训练的简单分类器
activations
/ˌæktɪˈveɪʃnz/
n.
19:02
激活值：神经网络每层的输出数值
linearly represented
phr.
19:45
线性表示：概念对应向量空间里的方向
steering
/ˈstɪrɪŋ/
n.
19:45
引导：通过在激活值上加向量来改变模型行为
meteorological
/ˌmiːtiərəˈlɑːdʒɪkl/
adj.
20:14
气象的
throwback
/ˈθroʊbæk/
n.
20:53
回归旧式、复古之物
old school
adj.
20:53
老派的、传统风格的
deceptive
/dɪˈseptɪv/
adj.
22:13
欺骗性的
with the intent to
phr.
22:51
带着…的意图
lie detectors
phr.
22:51
测谎仪
binary classifiers
phr.
23:23
二元分类器
internal representations
phr.
23:55
内部表征
notation
/noʊˈteɪʃn/
n.
24:30
记号法、记谱法（此处指棋谱记法）
on the surface
phr.
24:30
表面上看
conceive of
phr. v.
25:18
构想、把…理解为
fancy
/ˈfænsi/
adj.
25:53
花哨的、复杂高级的
rundown
/ˈrʌndaʊn/
n.
26:20
概要、简报（give sb a rundown）
squiggle
/ˈskwɪɡl/
n.
26:56
弯弯曲曲的线条（此处指波形）
hallucinations
/həˌluːsɪˈneɪʃnz/
n.
28:01
幻觉：模型编造不实内容
entity
/ˈentəti/
n.
28:01
实体（人名、地名、作品等具体对象）
in hindsight
phr.
28:37
事后看来
make stuff up
idiom
28:37
胡编乱造
primetime
/ˈpraɪmtaɪm/
n.
29:07
黄金时段（ready for primetime 指成熟到可以正式推出）
prism
/ˈprɪzəm/
n.
29:07
棱镜
wavelengths
/ˈweɪvleŋθs/
n.
29:48
波长
smushed together
phr.
29:48
挤压混在一起（口语）
better off doing
phr.
30:59
做…更划算、更明智
misused
/ˌmɪsˈjuːzd/
v.
31:35
被滥用
jailbreak
/ˈdʒeɪlbreɪk/
v. / n.
32:18
越狱：绕过模型的安全限制
generalize
/ˈdʒenrəlaɪz/
v.
32:52
泛化：在未见过的数据上仍然有效
do your homework
idiom
32:52
做好功课、事先准备充分
I won't go that far
idiom
33:27
我不会说得那么绝对
in production
phr.
33:27
在生产环境中、正式上线
competitive with
phr.
33:27
与…相媲美、有竞争力
piggybacking off
phr. v.
34:04
搭便车、借力于
from scratch
idiom
34:04
从零开始
inference time
phr.
34:39
推理时（模型实际运行、生成回答的阶段）
lifting the lid on
idiom
35:11
揭开…的盖子、揭露内幕
a given
n.
35:11
理所当然的事
caught out
phr. v.
35:40
被抓住破绽、被识破
enabler
/ɪˈneɪblər/
n.
36:16
赋能者、使能因素
made quite a splash
idiom
37:24
引起轰动
contrived
/kənˈtraɪvd/
adj.
37:51
刻意编造的、不自然的
blackmail
/ˈblækmeɪl/
v. / n.
37:51
勒索、敲诈
pre-deployment
adj.
37:51
部署前的
passes with flying colors
idiom
38:28
高分通过、出色地过关
diligent
/ˈdɪlɪdʒənt/
adj.
39:04
勤勉的
burning
/ˈbɜːrnɪŋ/
adj.
39:35
紧迫的、迫切的（burning issue）
metagaming
/ˈmetəɡeɪmɪŋ/
n.
40:12
元博弈：利用「游戏之外」的信息来决定行为
overthink
/ˌoʊvərˈθɪŋk/
v.
40:12
想太多、过度思考
verbalize
/ˈvɜːrbəlaɪz/
v.
40:12
用言语表达出来
spontaneously
/spɑːnˈteɪniəsli/
adv.
41:20
自发地
inhibit
/ɪnˈhɪbɪt/
v.
41:20
抑制
signs of life
idiom
41:52
生机的迹象、初步的希望
crossing your fingers
idiom
41:52
祈求好运、听天由命
get away with
phr. v.
42:28
侥幸应付过去、做了而不受影响
realism
/ˈriːəlɪzəm/
n.
42:28
真实感、逼真程度
slip up
phr. v.
43:41
失误、露马脚
hidden objective
phr.
44:14
隐藏目标
in the spirit of
phr.
44:14
本着…的精神
rewarded for
phr.
44:49
因…得到奖励
black box API
phr.
45:29
黑盒接口：只能输入输出、看不到内部
generalizable
/ˈdʒenrəlaɪzəbl/
adj.
46:07
可推广的、可泛化的
pre-fill attack
phr.
46:53
预填充攻击：预先写好回答开头诱导模型续写
auditing
/ˈɔːdɪtɪŋ/
n.
46:53
审计、审查
sneaky
/ˈsniːki/
adj.
46:53
狡猾的、偷偷摸摸的
role play
v. / n.
47:34
角色扮演
frustratingly ambiguous
phr.
49:24
模糊得令人沮丧
rigorously
/ˈrɪɡərəsli/
adv.
49:24
严谨地
anthropomorphize
/ˌænθrəpəˈmɔːrfaɪz/
v.
50:21
拟人化
cognition
/kɑːɡˈnɪʃn/
n.
50:21
认知
character traits
phr.
50:21
性格特质
mopey
/ˈmoʊpi/
adj.
51:34
闷闷不乐的
tractable
/ˈtræktəbl/
adj.
51:34
可处理的、易于解决的
peel back the layers
idiom
52:05
层层剥开、逐步揭示
didn't come with a manual
phr.
52:05
没有附带说明书
理解自测 · 11 题
1. Nanda 为什么说神经网络是「长」出来而不是「设计」出来的？他用了什么类比？
因为没有人规定模型应该长什么样：训练只是随机初始化后，用海量数据反复给参数一个小的「推动」，重复极多次后复杂能力自行涌现（第 1 至 3 段）。他把这比作进化：没人设计人脑，是数亿年自然选择的小推动累积成了生物多样性。因此可解释性研究者的工作类似生物学家，是逆向工程训练学到了什么。
2. Nanda 把思维链改称「草稿纸」，这个类比说明了思维链的哪两个特点？
一是有用：就像读别人的草稿纸能大致看出他怎么解题，读思维链能了解模型的推理路径，它是当前最好的可解释性与安全手段之一。二是不完整：人可以心算一部分、也可以写无用的东西再忽略，模型同样可能在思维链之外完成计算（第 13 至 15 段）。这一类比后来还引出了「难题更依赖草稿纸、因此更难在草稿纸上撒谎」的推论。
3. 探针和稀疏自编码器在用法上的关键区别是什么？Nanda 给出了什么选择规则？
探针是有监督的：你必须先知道要找什么概念，并准备正负样本（如快乐和不快乐的文本），在激活值上训练一个简单分类器。稀疏自编码器是无监督的：不用告诉它概念，它自动找出成千上万个模型可能在想的概念，能发现你想不到的东西，但不保证全对（第 43 至 51 段）。规则是：有好数据就用探针，没有数据或不知道找什么就先用稀疏自编码器，它常常告诉你接下来该收集什么数据。
4. Anthropic 的 Auditing Games 实验中，隐藏目标是如何植入的？哪些团队找到了它？
研究者先用虚构世界的文档训练模型，让它相信一批假事实，比如语言模型会因为在食谱里提巧克力、劝人别看医生而得到奖励；然后模型学会去做这些它认为会被奖励的事，并被训练成不说出这个目标（第 74 至 76 段）。随后把模型交给多个访问权限不同的团队。结果只能用黑盒 API 的团队没能找到，三个拥有深度访问权限的团队都成功了，用到的方法包括稀疏自编码器和预填充攻击。
5. 为什么 Nanda 认为任务越难，思维链反而越可信？
他的推理链是：难题模型无法心算，必须真的用草稿纸来完成计算；只要最终答案是对的，就说明草稿纸上必然写下了完成计算所需的有用信息，因此很难在草稿纸上系统地误导读者。相反，简单题可以心算，草稿上想写什么都行，此时读思维链价值不大（第 17 段）。他同时承认理论上模型可以编码信息或省略步骤，但当前模型看起来还不擅长这样控制自己的思维链。
6. Nanda 为什么警告「不要训练思维链让它看起来漂亮」？这与激励结构有什么关系？
如果一边优化思维链使其不提作弊，一边训练目标又仍在奖励作弊（比如通过测试），模型学到的只是「不在思维链里谈论作弊」，而不是「不作弊」。这样监控窗口被关上，坏行为却保留了下来（第 27 段）。这就是可监控性「脆弱」的含义：它依赖实验室自觉不去优化这一信号，而在竞争压力下，安全的实验室可能处于劣势，因此他提到需要跨实验室的共同立场。
7. 探针为什么能以远低于语言模型的成本达到相近效果？请复述 Nanda 的「搭便车」解释。
Gemini 从输入到输出要做大量复杂处理，在这个过程中它很可能已经判断出「这与网络犯罪有关」，或者至少想到了大半。探针只是在这些已有的内部激活上加一个简单的线性判断，把最后一步补完，所以不需要从零处理全部输入的算力（第 55 至 56 段）。他给出的数据是探针可以与贵约一万倍的语言模型相媲美，而且它是专门化的系统，不像通用语言模型那样承担所有任务。
8. 「评估意识」与「评估博弈」有什么区别？为什么 Nanda 只担心后者？
评估意识是模型意识到「我在被测试」，评估博弈是进一步据此改变行为，「既然在被测试，我就该这样表现」（第 68 段）。前者可以是无害的，模型可能想一句「这可能是对齐测试」然后就忽略掉。只有后者会让评估失效，因为评估的目的是预测模型在真实世界中的行为，而知道被测时的行为并不代表真实倾向。他还指出真正难的是「自发察觉」，因为一旦问模型是否在被测，问题本身就是提示。
9. Sonnet 4.5 在对齐评估中 0% 失准率，为什么被视为警讯而非好消息？
以往的模型大体对齐但偶尔会被诱导出错，这是合理的信号来源。Sonnet 4.5 突然全部通过，而读它的思维链发现它清楚知道自己在被测试（第 63 至 64 段）。因此无法区分「它真的更对齐」和「它识破了测试并据此表现」。Nanda 进一步指出，一旦模型知道自己在被测，「不伪造结果」在概念上都难以定义，就像面试中表现好不代表之后每天八小时都如此。
10. 如果有人反驳「神经科学没有完整机制理解也很有用，所以 AI 也不必追求理解内部」，Nanda 会如何回应？
这正是主持人在第 11 段提出的反问。Nanda 的回应有两层：第一，他同意不完整理解也能做很多有用的事，他的团队正是为此转向务实路线，并且在第 84 至 85 段说我们对任何事物都没有完全理解，不必因此沮丧。第二，他强调理解越多能做的越多、信心越足，且有些事情只有内部方法能做：能力强的模型撒谎时外表与说真话无异，而它只在输出上受过训练、没有被训练去让内部骗过测谎仪（第 59 至 60 段）。所以关键不是「要不要理解一切」，而是「具体想知道什么」，具体问题往往可解。
11. 预填充攻击既是越狱手法又是审计手法。这种「同一技术两种用途」的现象，在本片其他地方还有类似例子吗？它说明了什么？
有。思维链本身就是例子：它因提升能力而诞生，却意外成为最重要的安全监控窗口（第 22 至 24 段）；探针是老派机器学习的分类器，如今成了生产环境的滥用检测器（第 34、55 段）；引导技术既能让模型「开心」，理论上也能编辑「认得或不认得实体」来制造或消除幻觉（第 47 段）。这说明可解释性工具本身是中性的，价值取决于谁在用、用来做什么，也印证了 Nanda「务实」的主张：不必迷恋优美的新方法，把简单技术用在对的问题上往往就够了。
下载便签
手机：长按图片也可保存
订阅苏菲周报
每周一封：本周入库的精读、一个值得带走的问题、一条苏菲按。免费，随时退订。
免费 · 每周一封 · 一键退订
苏菲拉底
THE SOPHIE LAB · ASK THE BIG QUESTIONS · THINK DEEPLY · SEE THE WORLD DIFFERENTLY
内容仅供学习 · thesophielab.com