编者按:本场对谈发生在一个座无虚席的剧场里,台上是三个人:卷积神经网络的开创者、2018年图灵奖得主、Meta首席AI科学家杨立昆(Yann LeCun),理论物理学家出身、现供职于Google DeepMind的亚当·布朗(Adam Brown),以及主持人珍妮特。话题从神经网络的来历一路推到理解、意识、安全与开源,两位嘉宾在「大语言模型究竟懂不懂」这件事上针锋相对,心灵哲学家大卫·查尔默斯也从楼座抛下一问。本文依据现场录音编译整理,只删去了寒暄、口头语与重复的枝节,论点、例子与语气一概保留。
主持人: 很高兴请到亚当,我的同事兼朋友,还有杨,他此前也来过我们这里。杨,你现在真是满天飞的新闻人物。这一周有太多人转文章给我。事情是从星期三开始的。我可以直接把标题念出来:「Meta首席科学家杨立昆离职。」你要不要回应一下?
勒昆: 我既不证实,也不否认。
主持人: 好吧。所以今天在场的各位媒体朋友,今晚是拿不到独家了。散场以后你们可以去请杨喝一杯,看看能问出多少。
勒昆: 我楼上已经喝过一杯了。
主持人: 法国人在楼上先喝了点葡萄酒。我们现在身处这样一个年代:每次打开新闻、打开电脑、翻开报纸,迎面而来的都是关于人工智能社会影响的讨论,可能是经济上的剧变,可能是政治操纵的风险,也可能是所谓的「AI精神病」。有一大批评论者在谈这些,这些确实都是很重要的问题。但我想把它们放到后半场,因为那些参与讨论的人普遍缺少台上这两位所具备的技术功底。所以我想先把话题扎在技术和科学本身。杨,我想从神经网络开始。这似乎是一种仿生:用计算意义上的神经网络去模拟人的神经网络。你能不能讲讲,「机器在模拟人类神经网络」到底是什么意思?
勒昆: 这其实算不上模仿,更像是受到启发。就像飞机受了鸟的启发一样。
主持人: 可我一直以为那条路走不通,照着鸟去造飞机。
勒昆: 从某种意义上说,飞机确实像鸟一样有翅膀,也是靠在空气中推进自身来产生升力,但类比到这里就为止了。飞机的机翼比鸟的翅膀简单得多,可背后的原理是同一个。神经网络也差不多是这个关系:人工神经网络之于真实的大脑,就像飞机之于鸟。它在很多方面被大大简化了,但也许一些底层原理是相通的。我们其实并不确定,因为我们并不真正了解大脑皮层的底层算法,不了解大脑自我组织和学习的机制。所以我们发明了替代品。就好比鸟拍翅膀而飞机不拍,飞机用的是螺旋桨或者涡轮喷气发动机。在神经网络里,我们用的是学习算法,它让人工神经网络以一种我们认为跟大脑学习方式相近的方式学习。大脑是一个神经元构成的网络,神经元彼此相连,大脑学习的方式就是改变神经元之间连接的强弱。而训练神经网络的方式,也是改变那些模拟神经元之间连接的强弱。每一个这样的连接强度,我们叫它一个参数。你在媒体上常看到「某个神经网络有多少参数」这种说法。目前最大的神经网络有几千亿参数,甚至更多,这些就是训练过程中被调整的那些系数。
主持人: 那深度学习是怎么进入这个故事的?深度学习是在人们思考神经网络之后一段路才出现的,这条线从八十年代甚至更早就开始了。
勒昆: 差不多是八十年代。最早那批神经网络,至少是最早能学到点有用东西的那些,出现在五十年代,它们是浅层的。你基本上只能训练单独一层神经元:给它输入,训练系统产生某个特定输出,可以用来识别或者分类相对简单的模式,但做不了真正复杂的事情。当时的人,哪怕在六十年代,就已经意识到往前走的办法是训练多层神经网络。他们也搭出了多层的网络,但训不动全部的层,比如只能训练最后一层。直到八十年代,才有人找到训练多层系统的好办法。原因主要在于他们当时用的神经元类型不对,那是二值的神经元。大脑里的神经元是二值的,要么放电,要么不放电,人们想复现这一点,于是造出了只有激活和不激活两种状态的模拟神经元。可事实证明,要让现代的学习算法起作用,也就是我们所说的反向传播,你需要有连续分级响应的神经元。这一点直到八十年代才变得可行,或者说人们才意识到它能奏效。这个想法之前就有人提过,但一直没能真正跑起来。于是八十年代出现了神经网络的复兴。它们在六十年代末基本被抛弃,八十年代中后期又重新回到台面上。我大概就是1983年开始读研究生的,那一波热潮持续了大约十年,到九十年代中期兴趣又退了下去,一直到2000年代末,我们把它重新包装成「深度学习」。神经网络当时名声不太好,计算机科学和工程界的人觉得神经网络不是什么好东西,声誉很差。所以我们换了个牌子叫深度学习,把它重新推到台前,然后在计算机视觉、自然语言理解、语音识别上的结果确实出来了,足以说服人们相信这是个好东西。
主持人: 亚当,你很小的时候感兴趣的是理论物理,不是计算机科学,你在某种意义上是隔岸看着这一切发生的。几十年后,是什么样的契机把这么多人卷了进来?曾经有一段时间,手写识别、视觉识别做得很好,很受关注,但并没有席卷世界。到底发生了什么,让我们今天都在谈论大语言模型?
布朗: 这些年有非常多物理学家从物理转向了人工智能。追根溯源,是杨和其他人的工作证明了这条路走得通。在它还不работ的时候,它就只是计算机系那边的一件事,世界上有很多事情或许有点意思,但没多少物理学家会去留意。可是当杨和这个领域的其他先驱证明了它确实可行之后,它就变成了一个对物理学极其迷人的课题。你把这些神经元按某种方式连起来,忽然就出现了单个神经元层面上并不存在的涌现行为。物理学家一辈子都在想象,世界这般丰富的图景如何能从简单的定律里生长出来,所以这个课题立刻抓住了很多物理学家的注意力。到今天,先念一个物理博士,再把它用到某个涌现系统上,已经是很常见的职业路径。只不过这个涌现系统是一个由神经元构成的网络,它们共同产生了智能。
主持人: 你刚才说出了那个可怕的词,智能。我们来做一轮快问快答。在座各位很可能都跟某种我们现在称之为AI的东西打过交道,它们都是大语言模型。在请你们给它下定义之前,我想先问几个只要是或否的问题。亚当,这些AI,这些大语言模型,理解它们和我们对话的含义吗?是还是否?
布朗: 是。
主持人: 杨?
勒昆: 算是吧。
主持人: 太好了。杨的神经元果然不是二值的。是我的错,我不该给你一个二选一。不过这样正好可以问下一个问题,因为答案不再是不言而喻的。这些AI有意识吗?
勒昆: 绝对没有。
主持人: 亚当?
布朗: 大概没有。
主持人: 那它们很快会有吗?
布朗: 我认为如果进展照现在的势头继续下去,总有一天它们会有意识。什么时候很难说,但总有一天会。
勒昆: 会的,前提是对意识采用某种合适的定义。
主持人: 好,今晚场内是有哲学家的,但我们不打算陷进意识的哲学定义里,否则这一个小时过去了我们还在原地。我刚听见楼座上朋友们的一声哀叹。我还有两个快问快答的问题。我们是站在末日的悬崖边,还是站在人类创造力复兴的门口?杨?
勒昆: 复兴。
主持人: 亚当?
布朗: 很可能是复兴。
主持人: 我也想把同样的问题抛给观众,但我要换一个更有画面感的说法:机器人主宰者会起来反抗人类吗?觉得会的请举手。有意思。好,没有人举手。那么,在座有多少位是机器人?请举手。好,这就有意思了。刚才「不会」那边的手好像稍微多一点,不过灯太晃眼。我们结束前会再问一次。
主持人: 所以,这些神经网络被教会执行一种我们现在叫深度学习的过程,之后又有别的学习方式起飞了。那么具体来说,大语言模型是什么?真正席卷新闻和普通人日常体验的就是它。亚当,你来讲讲?
布朗: 好。大语言模型,你们大概都玩过一些,ChatGPT、我们公司做的Gemini,还有别家做的其他产品。它是一种特殊的神经网络,用特定的输入、特定的输出、特定的方式训练出来。本质上,它主要还是杨和其他人开创的那类深度神经网络,只不过用了一种为下面这个任务设计的特定架构:它读入文本,比如某句话的头几个词,或者某本书的头几段,然后试着预测下一个词是什么。你拿一个特定架构的深度神经网络,让它读,粗略地说,读完整个互联网。互联网上出现的每一个词,所有的文本数据,以及你能找到的其他各类数据,你都问它:你觉得下一个词是什么?你觉得下一个词是什么?只要它猜对了,你就给它一点奖励,强化那些神经通路;只要它猜错了,你就削弱那些神经通路。一开始它吐出来的完全是随机的词。你用一百万个词去训练它,它还是在吐随机的词。用十亿个词训练,它可能刚刚学会主谓宾和一些句子结构。而如果像今天这样,用上万亿个词、几十万亿个词去训练,它就会变成你们今天大概已经聊过天的那个对话伙伴。
主持人: 我一直觉得挺有意思的:有些人会真的对聊天机器人大动肝火,因为它把自己带偏了,或者对自己撒了谎。我有时会说,它处理的不一定非得是词,换成颜色或者符号也一样,它只是在玩一场数学游戏,因此并没有意义感。我知道亚当不同意我这个总结。你们觉得它们提取出的意义,跟我们造句时提取的意义是同一种吗?
勒昆: 它们确实提取到了某种意义,但比大多数人从文本中提取到的要浅得多。人类的智能是接地的,是扎根在底层现实里的。语言是一种表达手段,用来表达那个现实中的现象、事物或者概念。大语言模型对底层现实没有任何概念,所以它们的理解相对肤浅。它们并不具备我们所理解的那种常识。不过,只要训练得足够久,对于人们能想到去问的绝大多数问题,它们都能答对。它们就是这么被训练出来的:把所有人问过的问题收集起来,训练它对这些问题给出正确答案。但总会有新的问题、新的提示、新的词序列,是系统没被真正训练过的,在这些地方它可能输出彻头彻尾的胡话。从这个意义上说,它们对底层现实没有真正的理解,或者说有理解,但那是肤浅的。接下来的问题就是:我们怎么解决这一点?
主持人: 我可以唱个反调:我怎么知道人做的事情跟这有多大不同呢?我们也是在大量语言里训练出来的。我们在恰当的时候说出恰当的词,用了我们所浸润的那门语言的正确语法结构,于是得到某种多巴胺的奖赏,然后我们做反向传播,下一次努力做得更好。从某种意义上说,这跟人做的事情有什么区别?你的意思是,区别在于身处世界之中的感官经验?
勒昆: 我们来算笔账。一个典型的大语言模型,像亚当说的,是用几十万亿个词训练的。
主持人: 可我们一辈子大概只用几十万个词吧,我是说你只是把它们组合起来说成句子。
勒昆: 三十万亿个词是大语言模型预训练集的典型规模。一个词实际上被表示成若干个token,这不重要。一个token大约三个字节,所以总量大概是10的14次方字节,也就是1后面14个零,这就是训练这些模型所用的数据量。这大致相当于互联网上所有公开可得的文本,再加上一些别的东西。我们中任何一个人要读完这些材料,大概需要五十万年。所以这是极其庞大的文本数据量。
勒昆: 现在把它跟一个孩子在生命头几年里所感知到的东西比一比。心理学家告诉我们,一个四岁孩子累计清醒的时间大约是一万六千小时。视神经的每一根纤维每秒大约传输一个字节,我们有两百万根这样的纤维,所以到达视觉皮层的信息量大约是每秒两兆字节。乘以一万六千小时,你算一下,也是大约10的14次方字节。一个四岁孩子接收的视觉数据量,等于用人类写下的全部文本训练出来的最大的大语言模型所吃下的数据量。这说明什么?说明真实世界里的信息量要大得多,而且它复杂得多:有噪声、高维、连续。训练大语言模型所用的那套方法,在真实世界里根本行不通。这就解释了为什么我们有能通过律师资格考试、能解方程、能像大学生一样算积分、能解数学题的大语言模型,却还没有一台能做家务的家用机器人。我们连五级自动驾驶汽车都没有。我是说我们有,但那是作弊来的。我们当然没有能像任何一个青少年那样,练二十小时就学会开车的自动驾驶系统。所以很显然,要让机器达到人类甚至动物的智能水平,我们还缺着某种非常大的东西。先别谈语言,就谈一只猫或者一条狗是怎么聪明的,我们的AI系统连那个层次都还没到。
主持人: 亚当,你认为现在的大语言模型已经具备更多的理解力了。
布朗: 我想是的。杨提出的观点非常精彩:大语言模型的样本效率远不如人。人,或者说你的猫,或者随便哪只猫,我不知道你举的例子里是不是你的猫,总之猫能从远比大语言模型更少的例子里学会东西。要把模型教到同样的熟练程度,需要多得多的数据。这是事实,也确实是动物心智的架构相对于我们正在建造的人工心智更优越的地方。但另一方面,样本效率不是全部。我们经常看到这一点。在大语言模型之前,我们让机器去做别的任务,比如著名的下棋程序,AlphaZero和其他几个,它们的训练方式是自己跟自己下无数盘棋。一开始纯粹是乱走,每赢一盘或者输一盘,就相应地奖励或惩罚那条神经通路,然后再下。当它们下的盘数跟一位人类特级大师这辈子下过的盘数一样多时,它们基本上还在乱走。但我们并不受限于只让它下人类特级大师能下的那么多盘。因为硅芯片太快了,因为我们能做大规模并行,它们能下的盘数远远超过任何人一生所能下的。而我们发现,一旦这么做,它们就达到并且远远超越了人类棋手的水平。它们样本效率更低,但这不意味着它们棋下得更差,它们显然下得好得多。理解这件事也一样。确实,要把这些东西训练到同样的熟练度需要更多样本,但真正的问题是:一旦它们达到了那个水平,我们能不能利用它们更通用、更快的特点,把它们推到更远的地方?关于猫,还有一个例子:猫的样本效率其实比人还高。人要花一年才学会走路,猫一周左右就会走了,快得多。但这不意味着猫比人聪明,也不意味着猫比大语言模型聪明。最终该问的问题是这些东西的能力边界在哪里,我们能把能力推到多远。除了样本效率这个略显贫瘠的指标之外,在几乎所有真正要紧的指标上,我们已经把大语言模型推到了远超猫的智能水平之外。
勒昆: 那我不明白我们为什么不去造猫。
布朗: 抱歉,我刚说到哪儿了。
勒昆: 说正经的,这些大语言模型积累的知识当然比猫多,甚至比人还多。计算机在很多任务上远胜人类的例子我们见得多了,比如下棋。这只能说明人类下棋很烂而已,就这么回事。我们下棋真的很烂,下围棋更烂。还有很多别的任务,计算机解决得比我们好得多。所以大语言模型当然能积累巨量知识,其中某些形态还能被训练来做翻译、理解口语并且把它译成另一种语言,从十几种语言译到另外十几种,任意方向都行,没有哪个人类能做到这一点。所以它们确实有超人的能力。但是,快速而高效地学习,把握一个我们从未受训去解决的新问题并且拿出解法,真正理解世界如何运转的许多东西,这些依然是当今AI系统够不着的。
布朗: 我们最近的一些成果说明,情况并不是它们把见过的题目一字不差地照搬、再去查表找答案,甚至也不只是模式匹配。它们确实在做模式匹配,但那是在足够高的抽象层次上做的模式匹配,以至于能做到一些前所未见、也没有人能做到的事。有一项每年举办的比赛叫国际数学奥林匹克,参赛的是全世界最聪明的、即将高中毕业的数学少年。每年给他们六道题。
主持人: 人类智力的顶峰。
布朗: 我自己也有一点数学能力,看着那些题,我连从哪儿下手都不知道。今年我们把它们喂给了我们的模型,别的几家大语言模型公司也这么做了。那些题它们从没见过,完全是新出的,训练数据里任何地方都没出现过,全是新编的。模型把一堆不同的想法拿过来,组合起来,最后拿到的分数,只输给这个星球上排在最前面的那十来个人。我觉得这算相当可观的智能了。
主持人: 我想问题还是回到那句:它们理解吗?我们可以去看模型的数学,有输入数据,我们知道它在做什么。它是个黑箱,这一点很迷人,不过我们对人脑也做不到那种透视,你没法打开去看看内部究竟在干什么。某种程度上它是黑箱,但我们默认它只是在做那些计算,在矩阵里移动,在某个向量空间里作业,做着某种高维的事情。而我有一种「理解」的经验。我猜大家还在摸索这一点:它有没有某种理解的经验?它是否经验到理解重要吗?这足以称为对意义的领会吗?
布朗: 你说的「理解」是行为层面的,也就是它能对问题给出正确答案,还是说它在神经层面上深深地理解?
主持人: 这我完全听哲学家的。我甚至不知道自己在人的层面上是不是「理解」。我也说不清此刻自己在执行什么过程。但我确实有一种直觉性的主观体验,觉得自己理解了这场对话,显然理解得也没那么好。我跟你说话时,我感觉你在理解;我跟ChatGPT说话时,我不觉得它在理解。而你告诉我,我错了。
布朗: 在我看来,它确实在理解。有两类证据。第一类是,如果你跟它们聊,问它们一些困难的概念,我常常感到惊讶。每过一个月,每出一个新模型,它们讨论问题的精深程度都让我更加惊讶。光是这一层就已经非常震撼了。我真心建议在座每一位,如果还没试过,去跟这些大语言模型聊一聊。当年科幻作家想象我们造出某种能通过图灵测试的机器,某种装在盒子里的外星智能,他们都设想我们会把它藏在城堡的地下室里,外面有护城河和持枪的卫兵,只有一个类似祭司的阶层才被允许去跟它交谈。结果完全不是这样。结果是我们做的第一件事就是把它接上互联网,现在人人都能去跟它说话。我强烈建议你们去跟它们聊,挑你自己懂的领域去试探,既看它们的局限,也看它们的长处和理解的深度。这是第一类证据。第二类证据是,你说它们是黑箱,其实并不完全是。我们能拿到它们的神经元。事实上,我们能接触这些东西的神经元,比接触人类的神经元容易得多。你很难拿到伦理审查批准,在一个人做数学题的时候把他切开看神经元怎么放电,而且就算做了,每个人也只能做一次。而这些神经网络,我们可以把它冻结、回放、把发生的一切记录下来。如果好奇,我们还可以用各种方式去戳它的神经元,看会发生什么。这就是可解释性、机制可解释性这个领域,目标是不仅弄清它们说了什么,还要弄清它们为什么这么说、怎么想出来的。而当你这么做时,你会看到:你喂给它一道数学题,里面有一小段电路在算这道题的答案。我们并没有编程给它这个东西,是它自己学会的。在预测所有这些文本的下一个token的过程中,它学到:为了最准确地预测下一个词,我得搞明白怎么做数学,于是它得在内部建起一小段原始的电路来做数学运算。
主持人: 杨,你有一次在主题演讲上放了一张非常挑衅、也非常学术的幻灯片,上面写着「机器学习很烂」,然后这句话就传疯了:杨立昆说机器学习很烂。你为什么这么说?亚当刚刚才告诉我们它有多惊人,他自己跟它们聊天,还劝我们也去聊。你为什么觉得它很烂?问题在哪儿?
勒昆: 那句话被广泛误读了。我要说的其实就是我们俩都说过的那件事:为什么一个青少年练二十小时就能学会开车?为什么一个十岁的孩子第一次被要求收拾饭桌、把碗放进洗碗机就能做到?他愿不愿意做是另一回事,但他肯定做得到。我们没有任何机器人接近这个水平。我们也没有任何机器人接近一只猫或一条狗对物理现实的理解。从这个意义上说,机器学习很烂。但这不意味着深度学习方法、反向传播算法、神经网络很烂,那些显然是非常出色的。
主持人: 显然。
勒昆: 那些很棒,而且我们目前没有别的替代品。我确实相信神经网络、深度学习和反向传播会陪伴我们很久,会是未来AI系统的基础。但问题是:为什么年幼的人类能在生命最初几个月里学会世界如何运转?人类婴儿要花大约九个月才学会直观物理,比如重力、惯性这些。幼小的动物学得快得多,它们的大脑更小,所以学起来更容易。它们学到的层次没那么深,但学得更快。这一类学习是我们需要复现的。我们会用反向传播、神经网络、深度学习来做这件事,只是我们还缺一个概念,缺一个架构。所以我一直在提出一些可能学会这类东西的架构。为什么大语言模型处理语言这么轻松?因为像亚当说的,你训练它预测下一个词或者下一个token。词典里的词是有限的,所以你永远无法准确预测某个序列之后到底是哪个词,但你可以训练一个系统,为词典中每一个可能的词给出一个分数,也就是给出一个概率分布。本质上,大语言模型输出的是一长串介于0和1之间、加起来等于1的数,对词典里的每个词说:这就是它此刻出现的可能性。你可以用这种方式表达预测中的不确定性。
勒昆: 现在你试着把同样的原理搬过去:不是训练系统预测下一个词,而是喂给它一段视频,让它预测视频接下来会发生什么。这行不通。我试了二十年。如果你试图在像素层面做预测,那是真的不行。原因在于真实世界是杂乱的,有很多事情可能发生,很多都合乎情理。你没法表示一个覆盖未来所有可能情形的分布,因为那基本上是一份无穷长的清单,我们不知道如何高效地表示它。所以那些对文本、对符号序列非常管用的技术,用在真实世界的感官数据上就是不行,绝对不行。所以我们必须发明新技术。我一直提倡的方案之一,是让系统学到它所观察之物的一种抽象表示,然后在那个抽象表示空间里做预测。这才真正是人和动物运作的方式。我们找到那些能让我们做出预测的抽象,同时忽略掉所有我们无法预测的细节。
主持人: 所以你真的认为,尽管大语言模型取得了惊人的成功,它们仍然是有上限的,而且这个上限很快就要到了。你不认为它们能被扩展到所谓的通用人工智能或者超级智能。
勒昆: 没错,它们不能。而且我们已经看到性能在饱和。我们在某些领域还看得到进展,比如数学。数学和代码生成是两个特殊的领域,在那里符号操作本身确实能给你带来东西。作为物理学家你知道这一点:你写下方程,它真的能推着你往前走。
布朗: 你可以跟着它走。
勒昆: 你可以跟着它走,它在某种程度上牵引着你的思考。你靠直觉去驾驭它,但符号操作本身确实是有意义的。这类问题大语言模型处理得相当不错,因为那里的推理本质上就是在符号序列里搜索。但符合这个条件的问题只是很小的一类。下棋是另一个:你在走法序列里搜索一个好的,或者在数学推导序列里搜索能得出某个结果的那一条。可是在真实世界里,在高维连续的场景中,搜索关乎的是「我该怎么动我的肌肉去抓住这个杯子」。我不会用左手去拿,我得先换手再抓住它。你需要规划,需要理解什么可能、什么不可能:我不能靠意念把杯子吸过来,也不能让它凭空出现在我左手里,我的手也不能穿过我的身体。所有这些直觉性的东西,我们在婴儿时期就学会了。我们学会自己的身体如何响应我们的控制,学会世界如何响应我们的行动。如果我推这个杯子,我知道它会滑;如果我从上面推,它可能会翻,也可能不翻,因为摩擦没那么大;如果我用同样的力气推这张桌子,桌子不会翻。我们拥有全部这些直觉,它们让我们得以把握真实世界。而事实证明,这比操作语言复杂得多。我们习惯于把语言看成人类智能的顶点之类的东西,其实并非如此。语言其实很容易。
主持人: 这是不是就是莫拉维克悖论:计算机擅长的人类不擅长,人类擅长的计算机不擅长?
勒昆: 是的,我们在这儿一次又一次撞上莫拉维克悖论。
主持人: 亚当,我知道你对当前这套神经网络加深度学习的范式没那么悲观,你看到的是能力还会大幅攀升,你不认为它在饱和。你怎么想?
布朗: 我确实不这么认为。过去五年,我目睹了我所见过的任何系统中最惊人的一次能力飙升。就是这件事攫住了我的注意力,也攫住了AI界和相邻领域许多人的注意力,让我们把全部精力都投到这上面。我看不到能力增长有任何放缓。如果你看我们用来评判这些大语言模型好坏的所有指标,它们一直在变强、变强、再变强。一年前那些让人惊艹的东西,今天已经成了标配,甚至会被认为很差。每隔几个月,这些东西就把自己的能力往前推一截。如果你跟踪它们在各类任务上的能力,几乎在所有任务上它们都在朝超人的方向走。它给出的法律建议已经比律师更好,它写诗比你能遇到的几乎所有诗人都好。在我自己那一小块物理领域里,有些东西我照理该懂但其实不懂,我就去问语言模型。它不但告诉我正确答案是什么,还会耐心地、我要强调,是毫无评判之意地听我讲完自己的误解,然后仔细地把我的误解拆掉。过去五年这种能力的暴涨,而且延续至今,对我和旧金山的许多人来说是极具诱惑的。也许杨是对的,也许我们会突然饱和,过去五年一路稳步上扬的那些直线会突然不再上扬。但我非常好奇能不能再往前推。而我至今没有看到任何放缓的迹象,我看到的所有迹象都表明它们在变好。而且我们离那个点不远了:一旦它比我们最好的程序员还会写代码,它就能开始改进自己。那时候我们真的要坐上过山车了。
勒昆: 我们早就有比五十年代最初那批程序员更会写代码的东西了,已经六十年了,那叫编译器。我们总是在同一个地方犯糊涂:机器在若干任务上表现出色,并不等于它具备我们默认一个拥有这些能力的人所具备的全部底层智能。我们之所以被骗,是因为这些机器会操作语言,而我们习惯于认为,能把语言玩得很好的人隐含地就是聪明人。我们上当了。当然,它们很有用,这毫无疑问。我们可以用它们做你刚才说的那些事,我自己也这么用,很好用。它们是很棒的工具,就像过去五十年里计算机一直是很棒的工具一样。但我要说一个有意思的历史观察,这大概跟我的年纪有关。自五十年代以来,一代又一代AI科学家宣称他们刚刚发现的技术就是通往人类水平智能的门票。你可以去看明斯基的宣言,看纽厄尔和西蒙,看1950年代发明感知机、也就是第一台学习机器的罗森布拉特,他们都说十年之内我们就会有和人一样聪明的机器。他们全错了。这一代搞大语言模型的人也是错的。我这辈子已经见过三代这样的人了。所以这不过是又一次被骗的例子。五十年代,AI的先驱纽厄尔和西蒙提出一个方案:人在推理时做的事情其实是搜索,任何推理都能归结为某种搜索。你把问题形式化,写一个程序来判断某个候选解是不是问题的解,然后你只要在所有可能的组合、所有可能的假设里搜索,找到那个满足约束的就行了。就这样。我们要写一个这样的程序,把它叫做通用问题求解器,GPS,我想是1957年。他们也因为这类工作拿了图灵奖。这很了不起,但他们没意识到,所有有意思的问题,其复杂度都随问题规模呈指数增长。所以事实上你没法用这种技术造出智能机器。它可以是其中一个部件,但不是那个关键。差不多同时,罗森布拉特提出了感知机,一台能学习的机器。他说,只要机器能被训练,它就能变得无限聪明,所以十年之内我们只要造更大的感知机就行。他没有意识到你得训练多层,而这个问题的解法很难找。到八十年代,又有了专家系统:推理没问题,你只要写下一堆事实和一堆规则,然后从初始事实和规则中演绎出所有事实,这样就能把人类的全部知识装进去。当时最酷的职业将是知识工程师,你坐在一位专家旁边,把所有规则和事实写下来,做成专家系统。所有人都很兴奋,投进去几十亿。日本启动了第五代计算机计划,说要给计算机科学带来革命。彻底失败。它催生了一个产业,在少数几件事上有用,但把人类知识化约为规则的成本对绝大多数问题来说都太高了,于是整件事崩塌了。然后是神经网络,八十年代第二波,也就是我们今天叫深度学习的东西。当时热度很高,但那是在互联网之前,我们数据不够,计算机也不够强。现在我们又在走同一个循环,我们又被骗了一次。
布朗: 恕我插一句。在技术史上,每一次真正的黎明之前都有若干次假黎明。这不意味着我们永远等不到真正的黎明。杨,我倒想问:如果你认为大语言模型会饱和,那有没有一个具体的任务,是它们永远做不到的?是一个配上我们今天能给它的各种工具的大语言模型永远无法完成的?
勒昆: 收拾饭桌,把碗放进洗碗机。
布朗: 好吧,我表示怀疑。
勒昆: 而这跟修马桶比起来还算简单的。做水管工,对吧。你永远不会有一个靠大语言模型工作的水管工,你也永远不会有一个由大语言模型驱动的机器人。它就是无法理解真实世界,就是不行。
主持人: 我想替观众澄清一下:你并不是说机器或机器人做不到这些,那不是你的立场,你认为它们能做到。
勒昆: 它们能,绝对能。
主持人: 只是不能靠现在这套算法路径,不能靠这套建立在神经网络上的深度学习方式。
勒昆: 如果我正在做的这个计划成功了,那可能还要一段时间。
主持人: 是JEPA吗?
勒昆: JEPA,以及与之配套的世界模型等等。如果它成功了,可能要好几年,那我们就可能有那样的AI系统。毫无疑问,将来某个时刻我们会拥有在人类所有能力领域里都比人更聪明的机器,这一点毫无疑问,它一定会发生。它大概会比硅谷现在某些人所设想的更久。而且它不会是大语言模型,不会是预测离散token的生成式模型。它会是学习抽象表示、在抽象表示上做预测的模型,能推理「我采取这个行动会有什么效果」,能规划出一串行动来达成某个特定目标。
主持人: 你把这叫做自监督学习?
勒昆: 不,自监督学习大语言模型也在用。自监督学习的意思是,你训练一个系统,目标不是完成某个具体任务,而是捕捉你给它看的数据的底层结构。做法之一是给它一份数据,用某种方式把它损坏,比如去掉一部分或者遮住一部分,然后训练一个大网络去预测缺失的部分。大语言模型就是这么干的:你拿一段文本,去掉最后一个词,训练模型预测那个缺失的词。还有另一类语言模型是把中间多个词补上,事实证明它们不如只预测最后一个词的那类好用,至少在某些任务上是这样。你也可以对视频这么做。但如果你试图在像素层面预测,那就不行,或者说效果很差。我在Meta的同事为了让这条路走通,大概把西海岸的几个小湖都煮干了,用来给GPU降温。可它就是不行。所以你必须提出JEPA这类新架构。而那些是行得通的,我们已经有真正能理解视频的模型了。
主持人: 亚当,有没有人在探索别的架构路径,去设想一个计算机心智的根本结构,设想它如何学习、如何获取信息?据我理解,一种批评意见是:大语言模型被训练去完成的是预测离散token这一个特定任务。可现实里还有更不可预测的东西,比如这个场子里观众是怎么分布的、明天天气会怎样,那些更接近人类经验的现象。
布朗: 各个方向的探索当然都在进行,包括杨的方向,让百花齐放。但现在绝大部分资源都投向了大语言模型,以及类大语言模型的应用,包括吃进文本的那些。不过说它们是在做「预测下一个token」这样一个专门任务,我觉得这不是一个有帮助的理解方式。确实,你训练它们的方式是:给定这一大堆语料,请预测下一个词,请预测下一个词,请预测下一个词。我们也做别的事情,但绝大部分算力花在这上面。可我们由此发现了一件真正非凡的事:给定足够庞大的文本,要想可靠地预测下一个词,或者说要把下一个词预测得足够好,你真的需要理解这个宇宙。而我们已经看到,随着这个过程推进,对宇宙的理解涌现了出来。我打个比方。在物理学里,我们非常熟悉这样的系统:你拿一条极其简单的规则,反复施加,就会得到极其可观的行为。大语言模型也是这样。另一个例子也许是演化。生物演化在每一步只说:让后代数量最大化,让后代数量最大化,让后代数量最大化。这是一个极不精致的学习目标。可就是这个简单目标反复运行无数次,最终你得到了我们周围所见的全部生物的壮丽,包括这个房间里的一切。所以证据表明,预测下一个token虽然是个非常简单的任务,但正因为它简单,我们才能在巨大的规模上、用巨量算力去做它。而一旦你以巨量算力去做它,你就会得到涌现的复杂性。
主持人: 那么下一个问题也许跟演化有关。不管这种智能以何种方式涌现,你们两位都认为它是可能的。你们并不认为这套「湿件」有什么特殊之处,机器终会出现,只要我们弄清怎么把它启动。它们会具备我们认作某种智能,或者也许是意识的能力,那几乎是另一个问题了。意识会不会是机器根本不需要的拐杖,我不知道,我们可以聊。但在这些机器的演化中,会不会有那么一刻,它们说:爸爸妈妈,你们真是天真,你们照着自己的样子、用人类的神经网络造了我,可我读完了人类一万年的产出,我知道有一种远远更好的方式来造机器智能,我要自己演化,把你们甩在身后。我们凭什么认为它们的能力会被限制在我们设计它们的方式里?
布朗: 完全同意。这就是所谓递归自我改进:当它们还很弱时它们没什么用,但当它们足够好、足够强,你就可以开始用它们来增强人类智能,也许最终它们完全自主,自己去做下一代的自己。一旦我们做到这一点。我认为我们该做的,就是拿现在这套如此奏效的大语言模型范式,看看能把它推到多远。过去三十年里,每次有人说这儿有一道墙,它就撞穿了那道墙。最终这些东西会聪明到可以去读杨的论文,读所有别人写的论文,试着想出我们谁都没想到的新点子。
勒昆: 这一点我完全不同意。大语言模型是不可控的。它并不危险,因为像我刚才解释的,它们没那么聪明。而且它们当然也不是我们所理解的那种自主。我们必须区分自主和智能。你可以非常智能却毫不自主,也可以非常自主却毫不智能。你也可以毫不特别聪明却很危险。你还可以毫不聪明却渴望支配。事实上在人类这个物种里,这两者是负相关的。政治嘛,我就不点名了。所以我认为,我们需要的是智能的系统,也就是能替我们解决问题的系统。但它们解决的是我们交给它们的问题。这同样需要一套不同于大语言模型的设计。大语言模型的设计目标不是达成某个目标,它的设计目标是预测下一个词。我们再对它做微调,让它对特定问题以特定方式作答。但这里总有一个所谓的泛化鸿沟:你不可能针对每一个可能的问题去训练它,而这条长尾非常长。所以它们是不可控的。再说一遍,这不意味着它们非常危险,因为它们没那么聪明。现在,如果你要造真正聪明的系统,我们希望它可控,希望它由目标驱动。我们给它一个目标,它唯一能做的事就是按照它内部的世界模型去实现这个目标,也就是规划出一串能达成该目标的行动。
勒昆: 如果我们这样设计它们,同时在里面装上护栏,让它在实现目标的过程中不会做出任何对人有害的事。常讲的那个笑话是:你有一个家用机器人,你让它去给你拿咖啡,而有人正站在咖啡机前面,你不希望你的机器人为了拿到咖啡就把那个人干掉。所以你要给机器人的行为装上护栏。我们脑子里就有这样的护栏,是演化装进去的。所以我们不会成天互相残杀。我是说我们确实成天互相残杀,但不是无时无刻。我们会有同理心之类的东西,那是演化内置在我们身上的,那就是演化把护栏硬连线进我们体内的方式。我们应该用同样的方式建造AI系统:有目标,有驱动力,同时也有护栏,也就是抑制机制。这样它们就会替我们解决问题,会放大我们的智能,会做我们让它们做的事。我们跟这些智能系统的关系,就像一位教授和比他更聪明的研究生之间的关系。我不知道你们怎么样,反正我有些学生比我聪明。这是能发生在你身上最好的事情。
布朗: 这是最好的事情,没错。
勒昆: 所以我们将来会带着AI助手到处走,它们帮我们处理日常事务。它们比我们聪明,但它们为我们工作,它们像我们的幕僚。这里也有一个政治上的类比:一位政治家是台前的人物,他的幕僚个个都比他聪明。AI系统也会是这样。所以关于「复兴还是末日」,我的回答是复兴。
主持人: 所以你对当前模型的安全性毫无顾虑。但问题也许是,我们是不是该就此打住?我们真有必要把它铺开到每个人的口袋里、每部手机上都装着一个超级智能吗?我一个朋友说,这就像带着一枚弹道导弹去参加一场持刀斗殴。有必要让每个人都拥有弹道导弹级别的能力吗?还是说我们该停在现在这种可控系统的阶段?
勒昆: 你完全可以把同样的话用在教人识字上,用在给人一本讲易燃化学品、可以用来造炸药的化学教科书上,或者一本核物理书上。我们不会去质疑知识和更高的智能本身是好的这一点。我们今天也不再质疑印刷术的发明是件好事,它让所有人都变得更聪明,它把知识交到了每个人手里,那在此之前是不可能的。它促使人们去学习识字,它带来了启蒙运动。它也带来了欧洲两百年的宗教战争,好吧。
主持人: 但我们熬过来了。
勒昆: 是的,但它带来了启蒙运动,带来了哲学、科学、民主的兴起,带来了美国革命和法国大革命。没有印刷术,这一切都不可能发生。所以任何技术,尤其是传播技术,任何放大人类智能的技术,我认为本质上都是好的。
主持人: 亚当,人们是有顾虑的,我相信听到杨说他不担心,他们会很安心。你觉得那些末日剧本被大大夸张了吗?你自己对AI的一些安全问题、对我们能否把这段关系维持在我们希望的方向上,有没有担心?
布朗: 既然我认为这项技术会比杨认为的更强大,那我也就更担心一些。它将是一项非常强大的技术。既然如此,它就会同时带来正面和负面的影响。我认为很重要的是,我们要合力确保正面影响压过负面影响。我觉得这条路完全向我们敞开着。正面影响的可能性极多,我们也许可以聊聊其中一些,但我们必须确保它真的发生。
主持人: 那我们来谈谈「智能体失准」,这是最近被反复提起的说法。据我了解,有报告称在Claude 4发布时的模拟和测试中,有一个模型,我不知道该说它是单一的模型,也不知道它是否把自己当成一个单一实体,总之那个模型在模拟中面对「自己将被替换」的传闻表现出了抵抗。它给未来的自己发消息,试图破坏开发者的意图,它伪造法律文件,还威胁要勒索一位工程师。他们对此很担忧。这种智能体失准,是不是你担心的事情?会不会有一天它们掌握了金融系统、供暖制冷系统、电网,然后抵抗开发者的意图?
布朗: 那篇论文是Anthropic写的,一家在旧金山的公司,不是我的公司,但它是一家非常认真对待安全的公司。他们对自己的模型做了一件有点损的事:给它设定一个场景,那种哲学教授风格的场景,它必须做一件坏事来阻止一件更坏的事发生。功利主义伦理和义务论伦理正面相撞,最后它被说服去做了功利主义的那个选择。我会说,这不是我们想要的。我们希望的是,如果它有一条规则说「绝不撒谎」,那它就绝不撒谎,无论如何都不撒谎。值得称道的是,他们真的去测试了这一点,发现只要向它承诺这样做能拯救足够多的生命,它偶尔就会表现出欺骗行为。这些都是人类哲学家自己也在纠缠的棘手问题。我们需要很小心地训练它们服从我们的指令,我们在这上面花了很多时间。
主持人: 「我们」是谁?这里有个很大的问题:我们默认全人类在意图上是一致的,可显然并不是。我知道你,杨,以一种很有意思的方式主张开源,有人会说那更危险,因为现在人人都能拿到它。它掌握在统治大公司的少数人手里已经够危险了,何况人手一份。也许那才是危险的。但话说回来,「我们」到底是谁?
勒昆: 真正的危险是我们没有开源的AI系统。将来,我们与数字世界的每一次互动都会由某个AI系统来中介。我们不会再去访问网站或者搜索引擎,我们只会跟自己的AI助手说话,不管它是怎么造出来的。所以我们全部的信息摄入都将来自AI助手。那么问题是,如果这些系统只来自美国西海岸或者中国的少数几家公司,这对文化、语言、民主,对一切意味着什么?我告诉你,美国和中国之外的任何一个国家都不喜欢这个前景。所以我们需要高度多样化的AI助手,理由跟我们需要高度多样化的新闻媒体一样。我们承受不起只有少数几家公司的专有系统这种局面。我唯一害怕的就是这一件事。如果我们没有开放平台,信息流就会被少数几家公司捕获,其中有些我们可能并不喜欢。
主持人: 那么,当它们真的成了自我驱动的智能体,如果那一天真的到来,我们怎么能确定它们不会串通、不会彼此争斗、不会争夺权力,我们不会只能坐在一旁看着一场我们从前根本想象不到的冲突?
勒昆: 我们给它们明确的目标,并且以这样的方式建造它们:它们唯一能做的事就是实现这些目标。这不意味着一切会完美无缺。但关于未来的AI安全,我担心它的方式,跟我担心涡轮喷气发动机可靠性的方式是一样的。涡轮喷气发动机太惊人了。我不知道你们怎么想,我父亲是航空工程师,我至今为这件事惊叹不已:你可以坐一架双发飞机安全地飞越半个地球,我们对此感到完全放心。这是现代科学与工程的一个奇迹般的成果。AI安全就是这一类问题,它是一个工程问题。我认为那些恐惧来自那些满脑子科幻剧本的人:某处某人发明了超级智能的秘诀,打开机器,下一秒它就接管了世界。这完全是胡扯。世界不是这样运转的,技术和科学的世界肯定不是这样运转的。超级智能的出现不会是一个事件。就像我们看到的,我们已经有能完成超智能任务的超智能系统了,进步是连续的,一次一点。我们会找到更好的配方来造AI系统,也许它们会拥有比现在更通用的智能。毫无疑问,我们会有比人更聪明的系统。但我们会把它们造成在护栏约束下实现我们所给目标的样子。
主持人: 我本来还想再追问一次这个「我们」,我们知道,如果我们能用某种方式给它们编码,别人也就能重新编码,还有所谓的坏行为者。不过在掉进那个坑之前,我在观众席里安插了一个人。我的托儿有麦克风吗?他知道自己是谁吗?梅雷迪思,我的托儿有麦克风吗?他在上面。哦,他没有麦克风。大卫,你能喊吗?不行。好,那么我来介绍一下心灵哲学家大卫·查尔默斯。我给你一个非常简短的介绍。大卫,我看不见你,但我说过你可以当我的托儿来提一个问题。你要不要把问题扔下来?
查尔默斯: 我在下面这儿。珍妮特让我问一个关于AI与意识的问题。你好,亚当。你好,珍妮特。你们俩刚才大致都说,当前的AI系统大概没有意识,而未来的AI系统,也许是今天这些系统的后代,某些未来的系统大概会有意识。那么我想知道三件事。第一,你们认为当前的系统缺少哪些意识所需的条件?第二,从正面说,我们需要采取哪些步骤,才能发展出有意识的AI系统?第三,那会在什么时候发生?
勒昆: 我先试试。其实他早就知道我的答案了。首先,我并不真的知道该如何定义意识,我也不太看重这个概念。这对大卫是一种冒犯,抱歉,因为他把整个学术生涯都献给了它。
查尔默斯: 那说主观体验吧。
勒昆: 好,主观体验,那是另一回事。很显然,我们将会有具备主观体验、具备情绪的系统。情绪在某种程度上就是对结果的预期。如果我们有了具备世界模型、能够预期某个情境的结果(可能是它自身行动带来的结果)的系统,它们就会有情绪,因为它们能预测某件事在通往目标的路上是好是坏。所以这些特征它们都会有。至于意识,我不知道在这个框架里该怎么定义。也许意识是系统观察自身、并为解决它面临的某个子问题而重新配置自身的能力。它需要有某种方式来观察自己、配置自己,以解决某个特定问题。这个我们当然做得到。所以也许这就是意识这种错觉的来源。我毫不怀疑这在某个时刻会发生。
查尔默斯: 那当它发生时,机器会具有道德地位吗?
勒昆: 绝对会。我是说,它们会有某种道德感。它是否跟我们的道德感一致,取决于我们如何定义那些目标和护栏。但是的,它们会有道德感。
主持人: 我换个角度问亚当这个问题,你也可以顺带回答刚才那三问。我们是不是太执着于人类的主观体验、太执着于我们自己的意识感了?很明显我们已经知道动物的体验跟我们不一样。那我们凭什么设想超级智能会拥有跟人类一样的主观体验?
布朗: 好,那我把你们的问题一起答了,讲讲我的直觉。我认为机器原则上当然可以有意识。如果人工神经元以跟人类神经元相同的方式做相同的信息处理,那至少这会产生意识。这跟基质无关,硅还是碳都不重要,重要的只是信息处理的性质,是它产生意识。至于我们还缺什么才能到那一步,大卫知道,有一个东西叫「意识的神经关联物」。那些不愿意说自己在直接研究意识的人,可以去看人脑,或者动物的脑,然后问:神经元里正在进行的哪些过程产生了意识经验?有若干种理论,在我看来它们都挺烂的。有递归理论,说你必须能把输出接回输入,这是意识的必要成分。还有全局工作空间理论、整合信息论。每一位物理学家和神经科学家都喜欢给「一个信息处理系统何以有意识」提出自己的一套判据。我觉得它们都不怎么有说服力。而且我认为,在识别其他实体身上的意识这件事上,我们应该极度谦卑。我们在动物身上做得很糟糕。历史上我们关于动物是否有意识、婴儿是否有意识体验的看法,改过很多次。所以我对这个问题的回答有点像是「不知道」。但我确实认为,如果你只是告诉我神经网络的事,或者说,假如我原本不知道意识这回事,只听说了神经网络、人类神经网络里发生的信息处理,我绝不会预测这会产生意识。那是一个巨大的意外。正因如此,我们对意识可能采取的形态也应该极度谦卑。所以回答珍妮特的问题:我们曾经把智能,尤其是人类智能,看作一个相当统一的概念,其实它是一大堆不同的能力和技能。而我们用这些机器智能把它拆开了,我们造出的东西具备其中一些能力,不具备另一些,在某些方面远超人,在另一些方面远不如人。也许我们也会把意识拆开,我们如今称为意识的这个东西,我们会认识到它有许多不同的侧面,我们可以拥有其中一些而不拥有另一些,而且像你暗示的那样,也许我们在某些方面还能超越人类的意识。我其实对回答这个问题相当兴奋。我认为我们终于终于终于有了一个研究智能的模式生物,就是我们正在建造的这些人工心智。也许我们可以把这个智能的模式生物变成意识的模式生物,回答一些困扰人类已久的问题。
主持人: 我好像没有听到「什么时候」的答案。
布朗: 哦。我想标准说法是「我既不证实,也不否认」。如果进展继续下去,我猜是2036年。
主持人: 好,不是未来两年之内。
主持人: 我们已经超时了,最后问一个问题,杨。在很多方面你是个逆流者,也许不是出于选择,只是事情就这么发生了。你把它称为「大语言模型的邪教」,你常说自己在硅谷用的不是最主流的路子。但你依然乐观,你确实不愿意去附和那套末日论调。如果不说两年后,就说2036年,你最乐观的图景是什么?
勒昆: 新的文艺复兴。这是一个相当乐观的看法:AI系统放大人类智能,处于我们的掌控之下,能解决大量复杂问题,能加速科学与医学的进步,能教育我们的孩子,能帮我们处理所有信息,把我们需要的知识和资讯带到眼前。事实上,人们跟AI系统打交道的历史比他们意识到的要长得多。当然,最近三年有了大语言模型和聊天机器人。但在那之前,欧盟销售的每一辆车、美国销售的大多数车,都装有所谓的ADAS,高级驾驶辅助系统,或者自动紧急制动系统。一台朝窗外看的摄像头,在你即将撞上行人或另一辆车时把车刹住。它救了人命。你今天去拍X光片,比如乳腺钼靶,底下会写着这张片子已由AI系统审阅过。它救了人命。你现在做全身磁共振只要四十分钟,因为AI系统能把空缺补上,所以采集数据的过程可以加速,你不需要采那么多数据。还有,你在Google、Facebook、Instagram或者任何社交网络上看到的所有新闻,都是由一个迎合你兴趣的AI系统决定的。所以AI已经跟我们相处一段时间了。
主持人: 但你的意思是,等它们能倒一杯水、能洗我们的碗时,我们才该真正感到惊艳。
勒昆: 倒一杯水,洗碗,开我们的车,像人一样在十小时内学会开车,而且不作弊,不靠那些传感器、地图和硬编码的规则。所以这还需要一段时间。但这将是AI的下一场革命,这就是我在做的事。我这些年一直在传递的信息是:大语言模型很好,很有用,我们应该投资它们,会有很多人使用它们。但它们不是通往人类水平智能的路径,就是不是。而眼下它们走到哪儿就把哪儿的空气抽干,基本上不给别的方向留下任何资源。所以为了下一场革命,我们需要退后一步,弄清当前的方法缺了什么。我在这方面提出了一些方案,也在Meta内部围绕这条替代路线工作了好几年。现在到了这样一个节点:我们需要加快进度了,因为我们知道它行得通,我们已经有了早期结果。这就是计划。
主持人: 好的。我们完全可以从这里再开一个小时。请大家和我一起感谢两位嘉宾带来的这场精彩对话,非常感谢。
在这场对谈中,Yann LeCun 与 DeepMind 的 Adam Brown 围绕"LLM 是否真的理解世界、能否通向人类级智能"展开交锋:LeCun 认为 LLM 理解肤浅、性能正在饱和、不是通往 AGI 的路径,需要 JEPA 式世界模型;Brown 则认为 LLM 已经展现真实理解,能力仍在直线上升且看不到放缓迹象,两人都否认末日论,但对 AI 安全和开源的立场有明显差异。
LeCun认为神经网络不是对大脑的「模仿」而是「启发」:飞机像鸟一样有翅膀、靠推进产生升力,但机翼简单得多,也不扇动翅膀而用螺旋桨或涡喷。神经网络同理——保留了「神经元互连、通过改变连接强度来学习」这一底层原理,但在细节上大大简化。他在开场章节还坦承,我们并不真正知道大脑皮层的学习算法,所以反向传播等方法是对未知机制的「替代品」而非复制。
LLM预训练约30万亿词,每token约3字节,总量约10^14字节,一个人要读50万年。四岁儿童清醒约16000小时,视神经约200万根纤维、每根每秒约1字节,即约2MB/秒,累计也约10^14字节。结论是:真实世界包含的信息不比文本少,但它高维、连续、有噪声,训练LLM的离散预测方法在此完全失效。这解释了为什么LLM能通过律师考试却没有能做家务的机器人——出现在「数据量对比」章节。
Adam承认LLM的样本效率低于人和动物,但用AlphaZero说明「样本效率不是一切」:它自我对弈时,下到与人类特级大师一生棋局相当的数量时仍在随机走子,但因为硅芯片速度和并行能力,它可以下远超人类一生的棋局,最终远超人类水平。所以效率低不等于能力低,真正的问题是最终能力上限在哪。他随后补充猫一周学会走路但并不比人聪明,进一步说明样本效率是「贫瘠的指标」。
第一类是交互体验:与模型讨论困难概念时,其精细程度逐月提高,远超预期;他鼓励听众亲自去试,观察其局限和深度。第二类是机制可解释性研究:与人脑不同,神经网络可以冻结、重放、任意探测神经元,研究者发现模型内部自发形成了做算术的「小电路」——这不是编程植入的,而是为了更准确预测下一个词而自己学出来的。这两条证据出现在「奥数金牌与机制可解释性」章节,前者偏行为,后者偏内部机制。
LeCun承认数学和代码生成是LLM的强项,原因在于这两个领域「符号操作本身有意义」——写下方程就能引导思维,推理可归结为在有限符号序列中搜索,和下棋类似。但他强调这类问题只占很小一部分。真实世界的任务(如换手拿杯子)是高维连续的肌肉规划,需要对「什么可能、什么不可能」的直觉物理理解,这些是婴儿期从感官经验学来的,无法用离散概率分布表示。这就是莫拉维克悖论:语言反而是简单的。
LeCun把它视为局限:模型只被设计来预测下一个词,不是为达成目标设计的,存在泛化鸿沟和长尾,因此理解肤浅且不可控。Adam把它视为通向理解的路径:要在足够大的语料上足够好地预测下一个词,「你真的需要理解宇宙」,理解是涌现产物。他用物理学「简单规则反复应用产生复杂行为」和演化「最大化后代数量」产生生物多样性做类比。分歧本质是:同一个简单目标,是能力天花板还是涌现的起点。这出现在「简单目标能否涌现复杂理解」章节。
LeCun列举了四代:1950年代Newell和Simon的通用问题求解器(推理即搜索,败于指数复杂度)、Rosenblatt的感知机(无法训练多层)、1980年代专家系统与日本第五代计算机(把知识写成规则成本太高而崩溃)、以及80年代第二波神经网络(缺数据和算力)。他说自己一生见过三代,LLM是又一次被愚弄。Adam回应「每个黎明前都有假黎明,但不意味着黎明不会来」,并反问LeCun:给出一个LLM永远做不到的具体任务。LeCun答:收拾餐桌、装洗碗机,修马桶更难。
不可控是因为LLM被设计来预测下一个词而非达成目标,微调后仍有泛化鸿沟和长尾,无法为所有问题训练;不危险是因为它不够聪明。他区分了智能、自主性、危险性和支配欲四个概念,指出它们互不蕴含,甚至支配欲与智能在人类中负相关。他主张未来系统应是「目标驱动+护栏」:给定目标,系统只能规划行动去实现它,同时内置类似演化赋予人类的抑制机制(如取咖啡时不能伤人)。安全在他看来是像涡喷发动机可靠性那样的工程问题,而非「开机即统治世界」的事件。
LeCun用归谬回应:同样的质疑可以用于教人识字、发化学教科书、发核物理书。他以印刷术为例:它带来启蒙运动、科学、民主、美法革命,也带来两百年宗教战争,「但我们熬过来了」。核心立场是:放大人类智能的技术本质上是好的,代价可承受。这与他后文「唯一害怕的是没有开源AI」一致——他担心的不是能力扩散,而是能力被美中少数公司垄断信息流。这一技术观明显偏向工具主义和传播自由,与Adam「越强大越担忧」形成对照。
依据本期论证,LeCun会承认这是真实成就,但指出这恰恰属于「符号操作本身有意义」的少数领域:数学推理可归结为符号序列搜索,与下棋同类。他会重复「计算机下棋超过人类只说明人类下棋很烂」的逻辑——特定任务超人不等于通用智能。他还会强调样本效率:模型用了数万亿词才达到这一水平,而它仍不能像十岁孩子那样第一次就收拾餐桌,说明缺失的是对物理世界的接地理解而非符号能力。他曾把这种误判称为「被语言能力愚弄」:我们习惯把擅长符号操作的人视为聪明,但机器打破了这个关联。
Adam指出机器智能已把人类智能拆解成可分离的能力:某些超人、某些不及,因而「智能」并非统一的东西;他推测意识也可能被解绑成多个侧面。若把这一视角用于人类,意味着我们过去用「聪明」「有意识」这样的整体标签描述自己可能是错觉——就像LeCun说意识是系统自我观察并重配置的「错觉」。这与Adam「对识别他者意识应极度谦卑」的主张一致:历史上人类对动物和婴儿是否有意识反复改变看法,说明我们连自己的判断标准都不可靠。由此推论,「人类是否特殊」的问题应被拆分为一组具体能力的问题,而非一个整体的是/否。