编者按:本文根据 Google「Talks at Google」系列讲座《人工智能中的意识》现场录音编译整理。主讲人为加州大学伯克利分校哲学教授约翰·塞尔(John Searle,1932–2025),言语行为理论与「中文房间」论证的提出者;提问者中包括发明家、未来学家雷·库兹韦尔(Ray Kurzweil),他自 2012 年起任 Google 工程总监,著有《奇点临近》;主持人为 Google 员工约翰·布拉卡利亚(John Bracaglia),YouTube 运营部门成员,Google 内部人工智能讨论小组「奇点网络」的负责人。整理时只删去了口头语、寒暄、重复与残句,全部论证、例子与交锋一概保留,讲者锋利的语气亦按原样译出。
主持人: 我叫约翰·布拉卡利亚,在 Google 的 YouTube 运营部门工作。我还负责一个叫「奇点网络」的内部组织,专门讨论人工智能与理性问题。今天很高兴请到约翰·塞尔先生。简单介绍一下:约翰·塞尔是加州大学伯克利分校的斯拉瑟哲学讲席教授,以语言哲学、心灵哲学和社会哲学方面的贡献广为人知。他获得过让·尼科奖、国家人文奖章以及心智与大脑奖。他提出的著名概念之一,就是针对强人工智能的「中文房间」(Chinese room)论证。有请约翰·塞尔。
塞尔: 谢谢,非常感谢。能再回到 Google 真是太好了。这地方是大学之外的一所大学,有时候我觉得,大学本来就应该长成这个样子。总之,很高兴来这儿。我今天要讲的东西很杂。
不过,我想先从技术进步的意义讲起。美国人尤其如此,其实所有人都一样,一有技术进步就只顾着欢呼。有了自动驾驶汽车,谁还在乎它有没有意识。但我要说,对某些目的而言,怎么理解这项技术,是有很多东西要紧的。这正是我今天要谈的。
塞尔: 一开始,我得先做几个相当乏味的区分,因为不懂这些区分,你就没法真正看懂当代的思想生活。
在我们的文化里,客观与主观是件大事。我们追求一门客观的科学。问题在于,这两个概念有一种系统性的歧义,而这种歧义会酿成智识上的灾难。它们在两种意义之间摇摆:一种是认识论的(epistemic),「认识论的」意思是与知识有关;另一种是存在论的(ontological),「存在论的」意思是与存在有关。我讨厌满口花哨的多音节大词,会尽量少用。但这两个词我非要不可:认识论的,存在论的。
在认识论的意义上,这个区分是关于知识主张的类型。如果我说,伦勃朗生于 1606 年,那是一件客观事实的问题,这是认识论上客观的。但如果我说,伦勃朗是有史以来最伟大的画家,那就是见仁见智的事,这是认识论上主观的。所以我们有认识论上的客观与主观。
在这之下,还有一个关于存在方式的区分。很多东西的存在与任何人怎么想都无关:山、分子、板块,它们的存在方式是存在论上客观的。但疼痛、瘙痒这类东西,只有在被某个主体经验到的时候才存在,它们是存在论上主观的。
我希望大家都把这个区分记牢,因为它非常重要。理由很多,其中一条是:许多存在论上主观的现象,完全可以有一种认识论上客观的说明。
我最早对这类问题产生兴趣,是因为我想,那些搞大脑的人为什么不去解决意识的问题呢。于是我跑到加州大学旧金山分校,找到那帮神经生物学家说,你们究竟为什么不去弄清楚大脑是怎么造成意识的?我掏钱养你们是干什么的?他们的反应是:听着,我们是在做科学,科学是客观的,而你自己也承认意识是主观的,所以不可能有一门关于意识的科学。
各位一眼就能看出,这是一个歧义谬误。科学确实是认识论上客观的,因为我们追求那些能被判定为真或假、且不依赖于提出者和解释者态度的主张。但理论在认识论上的客观性,并不排斥对一个存在论上主观的领域给出认识论上客观的说明。我答应过不多用大词,可这几个躲不掉。要点就是这句话:你完全可以有一门认识论上客观的意识科学,尽管意识本身是存在论上主观的。
塞尔: 这一点后面很关键。还有另一个区分。既然坐在后面的人看不清黑板,我就边写边擦。这另一个区分同样至关重要,就是观察者独立(observer-independent)的现象与观察者相对(observer-relative)的现象之分。
观察者独立的,我想到的是山、分子、板块,它们的存在与任何人怎么想都无关。但世界上还塞满了对我们要紧的东西,它们是观察者相对的,只有相对于观察者和使用者才存在。比如,我钱包里的那张纸是钱。可让它成为钱的那个事实,并不是它的化学性质,而是我们对它抱持的态度。所以钱是观察者相对的。钱、财产、政府、婚姻、大学、Google、鸡尾酒会、暑假,全都是观察者相对的。
这一类必须同观察者独立的东西区分开。请注意,一切观察者相对的现象,都是由人的意识创造出来的,因而其中都含有存在论上主观的成分。可你们已经知道,在有些情形下,你依然可以对一个观察者相对的领域建立一门认识论上客观的科学。经济学就是这样:经济学研究的现象总体上是观察者相对的,因而含有存在论上主观的成分,可你照样可以有一门客观的经济学。
经济学家往往忘了这一点。他们倾向于认为经济学有点像物理学,只是更难一些。我当年学经济学的时候简直吓坏了:我们学到「边际成本等于边际收益」时的那个语气,跟在物理课上学到「力等于质量乘以加速度」时一模一样。这两者截然不同,因为经济学里的东西全是观察者相对的,含有存在论上主观的成分。而一旦那种主观性变了,整个体系就「噗」的一声垮掉。这一点在 2008 年被发现了。
这不是一堂经济学讲座,我只希望你们把这些都记在心里。它之所以重要,是因为认知科学研究的许多现象,尤其是智能、认知、记忆、思维、知觉之类的现象,都有两种不同的意义:一种是观察者独立的,一种是观察者相对的。因此我们必须格外小心,别把这两种意义搅在一起,因为认知科学中许多关键概念所指的现象,恰恰是观察者相对的,而非观察者独立的。
这个我等下会讲到。大家都跟上了吗?我希望这些话听上去无比显然,让你们心想:这家伙干吗拿这些老生常谈来烦我们?他怎么不说点有争议的?
塞尔: 那我就来讲点思想史。很多年前,在你们出生以前,一门新学科诞生了,叫认知科学。它的创立者是我们这一批人,说穿了,就是一群受够了心理学里行为主义的人。缘由就是这个。当时斯隆基金会常常出钱把我们送到各地讲学,主要是讲给彼此听。我们被称作「斯隆游侠」。
有一回,我受邀去耶鲁的人工智能实验室演讲。我心想,天哪,我对人工智能一无所知。于是跑去买了一本耶鲁那帮人写的书。我还记得当时想:十六块九毛五再加税,钱白花了。结果我错了。书里有一套关于计算机如何理解的理论。想法是这样的:你给计算机一个故事,然后就这个故事向它提问,计算机会给出正确的答案,哪怕答案并不包含在故事里。
一个典型的故事是这样的:一个男人走进餐馆,点了个汉堡。汉堡端上来的时候,已经烤成了焦炭。这个人怒气冲冲地走出餐馆,连账都没结。问题是:这个人吃汉堡了吗?在座各位「计算机」都知道答案:没有,他没吃那个汉堡。至于答案是「吃了」的那个故事,我就不讲了,一样无聊。
关键在于,他们说这证明了计算机真的理解了那个故事。于是,当我坐在联合航空的飞机上、在三万英尺高空飞往纽黑文的时候,我想:见鬼,他们完全可以把这些故事用中文给我,我可以照着那套回答故事的程序去做,而我一个字也看不懂。我又想,这个反驳他们肯定早想到了,何况光靠这个,也撑不满我在纽黑文的一整周。结果发现,他们根本没想到过。
而且所有人都确信我错了。有意思的是,他们认定我错的理由各不相同。这场争论持续的时间也远不止一周,它已经持续了三十五年。我到底要驳倒这帮人多少次才算完?不过还是让我们把它过一遍。
塞尔: 这个论证最简单的版本是这样:我被锁在一个房间里,里面堆着一箱箱中文符号,还有一本英文写的操作符号的规则手册。我不知道的是,那些箱子被称作数据库,那本规则手册被称作程序。
有中文符号递进房间来。我不知道的是,那些是问题。我去查我该做什么,把一大堆符号倒腾一番之后,我递出另一些符号,而那些是问题的答案。现在我们假定,我希望你们已经听腻了,因为我自己是腻了,这故事我讲过太多遍:我们假定他们程序写得越来越好,我倒腾符号也越来越熟练,以至于我给出的答案与一位母语为中文的人给出的答案毫无分别。我通过了「理解中文」的图灵测试。
但我照样一个中文字也不懂。而且在那个中文房间里,我根本没有任何途径可以学会中文,因为我不过是一套计算机系统,我遵循的规则不过是一个计算机程序。而这一点最要紧:程序是纯句法的(syntactical),它完全被定义为对句法元素的一组操作。说得稍微专业一点:「实现了同一个程序」这个概念界定的是一个等价类,而这个等价类的界定完全独立于任何物理学,特别是独立于其实现方式的物理学。
结论就是:如果我凭借实现那个程序,并不理解那些问题和答案,那么任何别的数字计算机凭借同样的实现也不理解,因为计算机没有任何我所不具备的东西。计算机是纯句法的装置,它们的操作是按句法定义的。而人的智能需要的不止是句法,它需要语义(semantics),需要对正在发生的事情有理解。
你只要把我用英语的表现和我用中文的表现对照一下,就看得很清楚了。他们用英语问我问题,我用英语回答。他们问:美国最长的河是哪一条?我说,是密西西比河,或者密西西比河加密苏里河,看你算不算成一条。他们用中文问我:中国最长的河是哪一条?我不知道这个问题是什么,也不知道它是什么意思,我拿到的只是一些中文符号。可我查了查这个符号该怎么处理,然后递出一个答案,而那是正确答案,它说:是长江。长江是中国最长的河。这些我一概不知道,我只是一台计算机。
所以结论是:被实现的计算机程序本身,永远不足以构成人的理解,因为人的理解不止有句法,还有语义。
支撑中文房间论证的有两条基本原理,在我看来两条都明摆着是对的,每一条都可以用四个词说完:句法不是语义。模拟不是复制。
主持人: 后面会留出提问时间。
塞尔: 我要让每一位有问题的人都有机会提问。总之,这就是那个著名的中文房间论证,讲清楚它大约要五分钟。
塞尔: 你们大概想象不到我收到过什么样的回应,其荒唐程度令人叹为观止。我举几个。
最受欢迎的一个回应是这样的:你人在房间里,你手上有那些符号,你有个箱子,你多半还有草稿纸可以演算。理解的不是你。他们会用一种轻蔑的口吻说,你只不过是个 CPU,中央处理器。那年头我压根不知道这些词是什么意思。CPU,理解的是整个系统。我头一回听到这话时对那人说:你是说,这个房间懂中文?他说:对,房间懂中文。
这是个绝望的答案。我佩服他的勇气。但它有个麻烦:我之所以不理解,是因为我没法从句法过渡到语义。可房间同样过不去。房间怎么可能从输入符号的计算机程序的句法,过渡到对这些符号的理解的语义?房间根本没有这条路,因为那需要在我的意识之外,房间里还另有一份意识。而并不存在这样的意识。
这只是众多回应中的一个。我最喜欢的另一个是在一场公开辩论上听到的。有人对我说:可是,假如我们问你,你懂中文吗?假如你回答,是的,我懂中文。那怎么办呢?
好,我们不妨试试,看能走多远。我收到一个长成某个样子的问题,用的是某种方言的中文,有些人可能认不出来。我不知道的是,那个符号的意思是:你懂中文吗?我去查我该怎么办,然后递回去一个同样方言的中文符号,那个符号说的是:你们这些人怎么净问这么蠢的问题?看不出来我懂中文吗?
其他的回应和反驳我还可以接着说,但我觉得它们同样软弱无力。
结论是一条逻辑上的真理:被实现的计算机程序是按句法定义的。这不是弱点,这恰恰是它的力量所在。计算的句法式定义之所以有力,是因为你可以把它实现在电子机器上,而这些机器能在极短的时间里完成数以百万计的运算。我不太确定自己是否相信这个数字,但教科书上总是这么写:深蓝每秒能做两亿五千万次运算。好吧,我姑且信他们。所以这不是计算机的弱点。
我有时还会碰到另一种反驳:在程序里,我们常常有一个模块就叫「自然语言理解程序的语义部分」。这没错。但他们在那里放进去的,当然还是更多的计算实现,还是更多的句法。
到此为止都还好说。我觉得,如果只有这些可讲,那我以前都讲过了。现在我要往前走一步,讲点有意思得多的东西。
塞尔: 很多人想,好吧,也许计算机不懂中文,但它毕竟在做信息处理,它毕竟在做计算,我们造这台机器就是让它干这个的。
我最近要写几篇书评。有一本书说,我们生活在一个新时代,信息的时代,作者还发出一句妙语:万物皆信息。如果万物皆信息,我们就该发愁了。我给《纽约书评》写的书评评的是另一本,没那么乐观的书,作者说计算机现在已经聪明得几乎跟我们一样聪明了,而且很快就会跟我们一样聪明。接下去那一步,我不用对这个听众群多说:它们会比我们聪明得多。到那时候你就当心吧,因为它们可能受够了被我们压迫,可能干脆揭竿而起,把我们统统推翻。作者还很谦虚地说,我猜这大概是卖书的门道,他说这也许是人类有史以来面对的最大挑战:超级聪明的计算机即将造反。
我要说,这两个说法都很蠢。当然我这是简略的说法,待会儿有的是机会反驳我。我简单说说为什么。
「智能」这个概念有两种不同的意义。一种是观察者独立的意义,它指认的是某种在心理上真实存在的东西。所以我比我的狗塔斯基聪明。塔斯基是很机灵,这我承认,但总体上我比它聪明。顺便说一句,我一共养过四条狗:弗雷格、罗素、路德维希和塔斯基。塔斯基是条伯恩山犬,很可惜没带来,它太大了,装不进车。它很聪明。它拥有智能,和我拥有智能是同一个意义上的,只不过它碰巧比我少一些。
我的计算机也有智能,它也在处理信息。但关键就在这里:那是观察者相对的。计算机拥有智能的唯一意义,不是内在的(intrinsic),而是观察者相对的。我们可以这样解释它的操作,使得,注意我的用词,使得我们能作出关于智能的、认识论上客观的断言,尽管所谈的这种智能完全在旁观者的眼中。
我读报纸时看到一条消息,这一点便重重地砸在我心上:IBM 设计了一个计算机程序,能击败世界头号棋手。而且据说,深蓝击败卡斯帕罗夫,与卡斯帕罗夫击败卡尔波夫,是同一个意义上的「击败」。这就该让我们发愁了。因为卡尔波夫和卡斯帕罗夫要下棋,两个人都必须意识到自己在下棋,都必须知道诸如「我以王前兵进两格开局」「我的后在棋盘左侧受到威胁」这样的事情。
可是请注意,深蓝对这些一无所知,因为它什么都不知道。你可以对深蓝作出认识论上客观的断言:它走了如此这般一步棋。但把「聪明的棋艺」这类属性加在这一步或那一步上,全都是观察者相对的,没有一点是内在的。在我比我的狗更有智能的那个内在意义上,我的计算机的智能是零,一点都没有。它是一套非常复杂的电子线路,我们把它设计成表现得仿佛在思考、仿佛有智能的样子。但严格说来,在你我拥有智能的那个观察者独立的意义上,计算机里的智能是零,全都是观察者相对的。
对智能成立的,对认知科学里所有关键概念都成立。智能、记忆、知觉、决策、理性,这些概念全都有两种不同的意义:一种指认的是发生在你我身上那种心理上真实的现象,另一种指认的是观察者相对的现象。在你我拥有智能的那个内在意义上,我们所说的这些机器的智能是零。这里不存在多一点少一点的问题,它压根不在这一行里。全部智能都在旁观者眼中,全都是观察者相对的。
你可能会说,我也会说:对绝大多数目的而言,这毫无分别。我是说,如果你能设计出一辆自己会开的车,谁在乎它有没有意识?谁在乎它是不是真有智能?我同意。对多数目的而言,这不重要。就实用目的而言,你用的是观察者独立的意义还是观察者相对的意义,都无所谓。唯一要紧的地方在于:你若认为,把智能归给一台并无内在智能的机器,具有某种心理学上的意义。
请注意,我们把智能归给计算机时所动用的那些心理过程,本身是需要意识的。所以,观察者相对性的赋予,是由有意识的主体完成的。但那个意识本身不是观察者相对的。创造出观察者相对现象的那份意识,自身并不是观察者相对的。
塞尔: 现在到了关节处。如果「信息」在两种意义之间有系统性的歧义,一种是你我拥有信息的那个内在意义,一种是计算机拥有信息的那个观察者相对的意义,那么「计算」呢?计算总该是计算机内在的吧?我们设计并制造这些鬼东西,图的就是让它计算啊。
当然,同一个区分照样适用。让我喝口水,顺便回顾一下历史。我第一次读艾伦·图灵那篇文章时,它的标题是《计算机器与智能》。他为什么不叫《计算机与智能》?答案你们都知道:在那个年代,computer 的意思是「做计算的人」。computer 就像 runner(跑步的人)或 piano player(弹钢琴的人)一样,指的是执行某项操作的人。今天没人会这么想了,因为这个词的意思变了。或者说得更准确些,它获得了那种在观察者相对意义与观察者独立意义之间的系统性歧义。今天我们认为 computer 指的是一类机器,而不是一个实际执行计算的人。
我们一路应用的那个区分,我们在其他所有情形里都发现了的那个区分,同样适用于计算。先说字面的、观察者独立意义上的计算:我现在就做一次简单的计算,用加法函数。是这样的,没什么了不起:一加一等于二。我完成这项计算的那个意义,是绝对内在、观察者独立的。别人怎么说我都不在乎。就算专家说,你其实并没有在计算,不,我就是在计算,我有意识地做了一次计算。
而当我的袖珍计算器做同样一次运算,那次运算就完全是观察者相对的。就其本身而言,那里发生的只是一组电子状态转换,我们把它设计成这样,好让我们能对它作出计算式的解释。
再说一遍,对多数目的而言,这无关紧要。它变得要紧,是在有人说「我们创造了一个机械智能的种族,它们可能揭竿而起推翻我们」的时候,或者在有人给机器加上别的同样不可信的心理学解释的时候。在商用计算机里,计算是观察者相对的。注意,你们都知道,这并不意味着它是认识论上主观的。我掏了不少钱,好让苹果给我造一台机器,能运行我以前那些计算机「智能不足以」运行的程序。请注意这里对智能的观察者相对的赋予。所以这种说法本身完全无害,除非你以为它有什么心理学上的含义。
那么,机器所缺、而人类所有、并且构成商用计算机中计算的观察者相对性与我刚才在黑板上完成的那种内在的、观察者独立的计算之差别的,究竟是什么?所缺的是意识。一切观察者相对的现象,都是由人和动物的意识创造的。但创造它们的那份人和动物的意识,自身不是观察者相对的。所以存在一种内在的心理现象,即主体的意识,是它创造了观察者相对的现象,或者说以观察者相对的方式解释了机械系统。而创造观察者相对性的那份意识,自身并不是观察者相对的,它是内在的。
塞尔: 我想留足时间讨论,那就让我喘口气,把刚才论证的主线做个小结。
有一点我一直没强调,现在要强调:我们用来讨论这些问题的那套概念工具,绝大部分已经彻底过时了。心理的与物理的之分,社会的与个体的之分,还有那些可以用观察者相对方式指认的特征(比如计算)与可以用观察者独立方式指认的特征(同样比如计算)之分,我们被一套没把事情说清楚的词汇搞糊涂了。我打算用几个词汇上的例子来结束这场讨论。
塞尔: 先从那个老问题开始:机器能思考吗?
我说过词汇已经过时,而「人与机器」这套词汇本身就已经过时了。因为如果「机器」指的是一个能执行某些功能的物理系统,那么我们全都是机器。我是机器,你是机器。而且我猜,只有机器才能思考。
为什么?这就是下一步。思考是一个生物过程,是大脑通过一些相当复杂、但我们了解得还很不够的神经生物学过程造成的。所以要思考,你就得有一个大脑,或者有某种具备与大脑等同的因果能力(causal powers)的东西。我们也许能想出办法在别的介质上实现它。我们对大脑怎么做到这一点了解得不够,所以我们不知道怎么人工造出它来。
那么,机器能思考吗?人就是机器,能。但是,你能造出一台会思考的人工机器吗?为什么不能呢?这就像人工心脏。「你能造出一个会思考的人工大脑吗」这个问题,跟「你能造出一颗会泵血的人工心脏吗」是同一类问题。我们知道心脏是怎么泵血的,所以我们知道怎么人工做到。我们不知道大脑是怎么产生思维的,所以我们毫无头绪。
让我把这句话再说一遍:我们完全不知道怎么造一台会思考的机器,因为我们不知道大脑是怎么做到的。我们能做的只是用某种形式系统做一个模拟。可那不是真东西。你那样造不出思维来,而人工心脏是真的在泵血。
所以我们有两个问题:机器能思考吗?人造的机器能思考吗?第一个问题的答案显然是肯定的。第二个问题的答案是:我们还不知道,但原则上没有障碍。大家都看清楚了吗?造人工大脑就像造人工心脏。唯一的问题是,还没有人着手去试。他们没有着手去试,是因为他们不知道真实的大脑是怎么做到的,所以他们不知道该模仿什么。
好,那再进一步:能不能用完全不同的材料造出一个会思考的人工大脑,用某种与核蛋白毫无关系、与神经元和神经递质之类毫无关系的东西?答案同样是:我们不知道。在我看来这是个开放的问题。如果我们知道大脑是怎么做到的,我们也许就能设计出用某种完全不同的生物化学来做到这件事的机器,就像人工心脏并不靠肌肉组织来泵血一样。泵血不需要肌肉组织。也许产生意识也不需要脑组织。我们就是无知而已。但请注意,原则上并没有障碍。问题在于,还没有人开始思考该怎么造一台会思考的机器,怎么用神经元以外的材料造一台会思考的机器,因为他们还没有开始思考我们该如何复制(而不仅仅是模拟)大脑实际在做的事情。
塞尔: 于是我们有了:机器能思考吗?人工机器能思考吗?用完全不同材料做成的人工机器能思考吗?接下来自然就是那个显而易见的问题:那计算机呢?计算机能思考吗?
这里得小心。因为如果「计算机」被定义为任何能执行计算的东西,那我刚刚就做了一次计算,我就是计算机,你们也全都是。任何能做出那个简单计算的、有意识的主体,既是计算机,又能思考。所以我猜,这个想法我今天没机会展开,不但计算机能思考(也就是你和我),而且任何能思考的东西大概都必须能执行简单的计算。
那么,计算的地位是什么?关键的那一点我已经说过了:计算有两种意义,观察者独立的和观察者相对的。在观察者相对的意义上,只要你能赋予它一种计算式的解释,任何东西都是计算机。
看好了,我给你们演示一台非常简单的计算机。(塞尔松手让物体落下)这台计算机刚刚计算了一个众所周知的函数:s 等于二分之一 gt 的平方。如果你有一块够好的表,你还真能测出时间、算出这鬼东西落了多远。大家都看到了,初等数学而已。
如果这也算计算机,那什么都是计算机了。因为在观察者相对的意义上,「是计算机」并不是一个对象的内在特征,而是我们对该现象之物理性质所作解释的特征。当年中文房间论战正酣的时候,我有时会抄起我的笔,往桌上一拍,说:这是一台数字计算机,只不过它的程序有点无聊,那个程序说的是「待在那儿别动」。要点在于,从来没有人抓住这一点反驳我,因为它明摆着是对的,它满足教科书上的定义。早年他们试图用一大堆技术黑话把我唬住:「你漏掉了虚拟机与非虚拟机的区别」,「你漏掉了换能器」。你看,我当时压根不知道换能器是个什么鬼东西,虚拟机又是什么。可这些东西大约花五分钟就学会了。
好,现在到了关键问题。如果计算机能思考,人造的计算机能思考,机器能思考,那么计算呢?「计算」是不是就命名了一个能思考的机器、一个思维过程?也就是说,图灵所定义的那个计算,本身是否足以构成思考?答案你们现在已经知道了:在观察者相对的意义上,答案是否定的。计算不是自然的事实,它是我们所作解释的事实。而且,即便我们能造出执行计算的人工机器,单凭计算也永远不足以构成思考或任何别的认知过程,因为计算是被纯形式地、纯句法地定义的。图灵机不是在自然中被找到的,它是在我们对自然的解释中被找到的。
我要补充一句:很多人以为,这场争论与技术有关,或者说技术上会有突破。我认为技术好极了,我欢迎技术,我看不出技术的可能性有什么界限。我这场讲话的目的只有一个:让大家不要误解这项技术在哲学上、心理学上乃至科学上的含义。
非常感谢。
主持人: 谢谢你,约翰。
塞尔: 抱歉我讲得这么快,但我想留足时间提问。
主持人: 我们先请雷·库兹韦尔先生提第一个问题。
库兹韦尔: 谢谢,约翰。我算是跟你就这个问题辩论了十八年的人之一。我要称赞中文房间的生命力,因为它确实抓住了那个表面上的荒谬之处:计算这样一种决定论的过程,怎么可能对思维之类的东西负责。你还区分了思维的效果与主观状态,而主观状态就是意识的同义词。
我在《奇点临近》里引用过你关于神经元乃至大脑与机器之等价性的说法。然后我把你那段论证,就是为什么机器和计算机不可能真正理解自己在做什么的论证,做了替换:既然你说它们是等价的,我就把「计算机」换成「人脑」,把「形式符号」换成「神经递质浓度及相关机制」,因为神经递质浓度说到底就是一个机械论的概念。做完替换,你写的就成了这样:人脑靠操纵神经递质浓度及相关机制取得成功。神经递质浓度及相关机制本身毫无意义,它们只有我们赋予它们的意义。人脑对此一无所知,它只是在搬弄神经递质浓度及相关机制。因此,人脑不可能有真正的理解。
塞尔: 又是在我的原文上做有趣的变奏。
库兹韦尔: 不过我想说、也想请你回应的一点,是意识的本性。你今天说过,也写过,关键在于认识到意识是一个生物过程,就像消化、泌乳、光合作用或有丝分裂一样。我们知道大脑通过特定的生物机制造成意识。但我们怎么知道一个大脑是有意识的?你怎么知道我是有意识的?我们又怎么知道一台计算机是不是有意识?今天我们还没有哪台计算机看上去有意识、其应答具有说服力。但我预测将来会有。时间表可以争论。等那一天到来,我们怎么知道它是真有意识,还是只是看上去有意识?我们如何度量?
塞尔: 这里有两个问题。第一个是:如果你把我用过的词换成我没用过的词,你能不能得到那样的结果?当然能,这是政客们的一项著名技艺。但那不是我的主张。
计算机和大脑的差别是什么?一句话:大脑是一套因果机制,它通过某些相当复杂、我们至今了解得不完全的神经生物学过程产生意识。而这些过程是相当特定的电化学过程。我们不知道细节,但我们知道,你要是在突触间隙里乱动,就会得到古怪的结果。可卡因是怎么起作用的?不是因为它有什么特别的计算能力。它起作用,是因为它干扰了突触后受体重新吸收某些特定神经递质的能力,去甲肾上腺素,还有另外两种,天哪,我这门考试要不及格了,多巴胺,第三种是 γ 氨基丁酸。
总之,大脑和胃或任何别的器官一样,是一套特定的因果机制,它按照特定的生物化学原理运作。计算机的问题在于,它与实现方式的具体细节毫无关系。只要足以执行程序中的各个步骤,任何实现方式都行。程序是纯形式的、纯句法的,大脑不是。大脑是一个按特定原理运作的特定生物器官。而要造出一台有意识的机器,我们必须知道怎样复制这些原理的因果能力。计算机并不是以那种方式作为因果机制去产生更高层次的特征的。毋宁说,「计算」命名的是一种抽象的数学过程,我们找到了在特定硬件上实现它的办法。但硬件对计算本身并不是本质性的:任何能执行该计算的系统都是等价的。
第二个问题是:你怎么知道有没有意识。想想现实生活。我怎么知道我的狗塔斯基有意识,而我手上这台智能手机没有?这两件事我都毫不怀疑。我能判断塔斯基有意识,依据的并不是行为主义的理由。有人说,那是因为它的举动像人。它可不像。我认识的人见了我,不会冲过来舔我的手、摇尾巴,他们就是不会。我的朋友们不这么干。可塔斯基会。
我能看出塔斯基有意识,是因为它有一套跟我相当类似的机件。那是它的眼睛,那是它的耳朵,那是它的皮肤。它具备把输入刺激中介到输出行为的机制,而这些机制与人的机制相当类似。所以我完全确信塔斯基有意识。
跳蚤和白蚁我就不清楚了。典型的白蚁大约有十万个神经元,这够吗?我一个大周末就能损失十万个。所以我不知道那够不够产生意识。但那是个事实问题,我留给专家去回答。至于人类,这屋里每一个人有意识,这毫无疑问。也许那边那位快睡着了,但总的来说没有疑问。这甚至不是我持有的一个理论,它是一个背景性的预设。就像我假定地板是结实的一样,我干脆把每个人都有意识当作理所当然。真要我给出理由,我也给得出来。
当然,关于他心的细节永远存在问题。我当然知道你有意识。但你是不是正在承受晚期资本主义之下后工业时代人的那种焦虑?我有不少朋友声称他们正承受着,还嫌我俗气,因为我没有。这个就难说了,我们得为此专门谈一场。可就意识本身而言,在现实生活的情形里,这不是个真问题。
提问者: 你说过我们还没开始理解大脑如何运作,也没开始造出可比拟的机器。但设想将来我们做到了,于是我们可以运行一个大脑的模拟,再通过运动输出和感觉输入把它与现实连接起来。那么它与一个你说确实在产生意识的大脑,差别在哪里?
塞尔: 在某些情形下,根本没有差别,而且这个差别不要紧。如果你有一台机器,我希望你们真的在造,因为报纸上说你们在造,如果你有一个程序能在没有清醒司机的情况下开我的车,那太好了,我觉得棒极了。
问题不在于技术能做什么。我父亲是 AT&T 的电气工程师,他最大的失望就是我居然跑去当哲学家,天哪,而不是照他所愿去贝尔实验室和麻省理工。所以我对技术的成功毫无意见。问题在于,它意味着什么。当然,如果你造出一台开车开得跟我一样好、多半比我还好的机器,那对这台机器再好不过了。问题是:这在哲学上、心理学上、科学上意味着什么?如果你以为,这意味着你创造了意识,那你没有。要创造意识,你还需要更多的东西。
而对于一大堆事情来说,意识要紧得不得了。就拿我评的那本书来说,作者说有些机器将要起来推翻我们所有人。这不是一个严肃的可能性,因为那些机器没有意识,它们没有任何有意识的心理状态。这大概就好比说,鞋子可能自己从柜子里爬出来,从我们身上踩过去:毕竟我们踩了它们好几百年,它们凭什么不还手呢?这不是现实生活中值得担忧的事。
提问者: 我感兴趣的不一定是系统的输出或结果,而是相似性,也就是你提到的那种与大脑之间的内部因果相似性。
塞尔: 对,那是个事实问题。问题是:计算机中发生的过程,在多大程度上与大脑中发生的过程同构?就我们所知,并不怎么同构。下棋程序就是个好例子。人工智能早期,人们试图访谈伟大的棋手,弄清他们的思维过程,再设法在计算机上复制出来。可我们现在知道深蓝是怎么工作的:深蓝一秒钟能算两亿五千万个棋位。
从博弈论的角度看,象棋是个平凡的游戏,因为信息是完全的,可能性的数目是有限的。对一步棋有 x 种应法,对那一步又有 x 种应法。它之所以对我们有意思,是因为指数爆炸的问题。要给计算机编程,让它在指数上往前推很多步,是很难的,但 IBM 做到了。这在心理学上毫无价值。而且我要替他们说句公道话,人工智能界的人并没有把这当成一场伟大的胜利,至少我认识的那些人没有把它当成人工智能的胜利,因为他们看得出,这跟人类认知没有关系。
所以我猜,「大脑中的实际过程在多大程度上映射了计算式的模拟」是一个有意思的哲学问题,或者说心理学问题。当然,在某些方面它们确实映射,这正是计算模拟在各行各业都有意思的原因,不只是在心理学里,因为你可以模拟各种各样正在发生的过程。但那不是强人工智能。强人工智能主张:模拟不只是模拟,它就是复制。而这一点我们可以驳倒。
提问者: 你能不能向我证明你懂英语?
塞尔: 能,但我不会费这个劲。(模仿英国腔)我在牛津的时候,很多人怀疑我懂不懂。我碰巧待在一所相当势利的学院,基督堂学院。当然,我不说英语,我从没假装过。我说的是美语的一种方言,很多英国人一想到就要打寒战。
提问者: 你说你懂英语,可我怎么知道你不只是一段计算机程序?
塞尔: 这跟雷的问题是同一个问题,答案是:办法多得很。真到了要紧关头,你可以问我。我可能给你一个不诚实的答案,也可能给一个诚实的答案。但有一条路你不该走,那就是认识论的路。认识论的路会说:你手上关于「计算机有意识」的证据,跟我们手上关于「你有意识」的证据一样多。
不,并非如此。我可以相当细致地讲讲人的身体结构里究竟是什么使他们能够产生意识。你不需要什么高深的理论。我不需要一套高深的神经生物学理论,就能说出:那是你的眼睛,你是用嘴说的话,那个问题是一个有意识的提问意图的表达。相信我,你要真是本地造出来的机器,那 Google 比我想象的走得远多了。但显然,你不是。
主持人: 我们来看一个来自问答板的问题。
塞尔: 他不是排在下一个吗?
主持人: 有些人事先提交了问题,我们也会念这些。第一个问题是:你在这场演讲中一直使用的意识的定义是什么?请尽可能具体。
塞尔: 好,我来说。
人们通常说意识很难定义。我倒觉得定义起来相当容易。我们没有一个科学的定义,因为我们还没有一套科学的理论。任何术语的常识定义,作用是指认出研究的目标。水是一种清澈、无色、无味的液体,装在这样的瓶子里,这是常识定义。你去做科学,然后发现它是 H2O。而对于意识,我们眼下还处在「清澈、无色、无味的液体」这个阶段。
定义是这样的:意识由一切感受、感知或觉知的状态构成,它们从你早上从无梦的睡眠中醒来时开始,一整天持续下去,直到你重新入睡,或者以别的方式变成人们所说的无意识状态。按这个定义,梦是意识的一种形式。意识的秘密、意识的本质在于:对任何一个有意识的状态而言,处在那个状态里总有某种「感觉起来像什么」的东西。正因如此,意识永远具有主观的存在论。还记得我一开始讲的主观与客观那一段吧,它永远具有主观的存在论。
这就是意识的工作定义,也正是那些试图弄清大脑如何做到这一点的神经生物学研究者实际使用的定义。你要弄清的就是这个:大脑如何产生这个东西?它如何在大脑中存在?它如何运作?
提问者: 关于你说「我们今天还不知道如何造一台会思考的机器」,我想提出一个更强的界限。就算我们知道怎么造,因为我们这台会思考的机器毕竟是进化过程造出来的,我想说,也许我们根本没有那么多时间;而且这件事也许并不要紧。说没有时间,是因为那些必须发生的概率事件,比如小行星撞地球灭绝恐龙之类,在我们所处的这个宇宙里也许不会发生。但如果你接受平行宇宙理论,那么在别处总有某种人工意识存在。
塞尔: 关于「我们也许没有时间」,我确实赶时间。但我认为我们应当尽最大努力去试。的确,有些事情也许超出了人类在地球上的有生之年所能解决的范围。可我们先动起手来试试看。曾经有一段时期,人们说我们永远无法真正理解生命。我们如今虽然还没有完全理解,但已经走得相当远了。机械论者与活力论者的那场老辩论,今天对我们已经完全没有意义了。所以我们取得了很大的进展。你的问题还有后半截。
提问者: 是说也许这并不要紧,因为整个宇宙……
塞尔: 哦,对,也许意识不要紧。可我就住在意识里,它对我要紧。
提问者: 我是从哲学上说。
塞尔: 是啊,可有很多事情,你可以说它要紧也可以说不要紧,但它们对我们极其重要:民主、性、文学、好吃的东西等等。也许对某些人来说不要紧,但这些事情对我来说,都以不同的程度要紧。
提问者: 关于你提到的人工心脏的类比。我理解你的意思包括:正如人工心脏那样,我们可以用不同的材料、不同的路径去模拟一颗心脏,并在某种程度上越过单纯的模拟,逼近复制;理论上,我们也许能对人工大脑做同样的事。我想问,你是否认为存在这样一种可能:沿着「做一个大脑的模拟」这条路走下去,会碰巧造出意识,碰巧造出一个复制品,哪怕我们并不打算用与大脑完全相同的手段?
塞尔: 我会说,要相信这一点,你得相信奇迹。想一想:凡是你能精确描述的东西,我们几乎都能做出计算机模拟。你可以做一个消化的计算机模拟,你可以得到一个完美模拟消化披萨的计算机模型。说不定这栋楼里就有人已经做出来了。可一旦做出来,你不会立刻冲出去买个披萨塞进计算机里,因为它不会消化披萨。它给你的是一幅图像、一个模型、一张数学图解。我对此没有异议。
但如果我的性命系于弄清大脑如何产生意识,我会像在生物学任何分支里使用计算机那样去使用计算机。它对推演你的公理有什么后果非常有用,对设计可能的实验也非常有用。可要说认知行为的计算机模拟可能提供打开那套生物化学的钥匙,这倒不是绝无可能,只是不太可信罢了。
主持人: 人很容易被骗,也经常高估机器的智能。你能不能提出一个比图灵测试更好的通用智能测试,一个不那么容易产生假阳性的测试?
塞尔: 你们都知道我的答案:第一步是区分真正内在的、观察者独立的智能与观察者相对的智能。观察者相对的智能永远在旁观者眼中,任何东西都会拥有你有能力赋予它的那份智能。我刚才就把大量智能赋予了这个物体,因为它能计算函数 s 等于二分之一 gt 的平方。而这把梳子拥有惊人的智能,因为它能把一根头发和另一根区分开来。我就不当场演示了,你们姑且信我,哪怕在头发稀疏的脑袋上它也做得到。
所以,既然智能是观察者相对的,你就得先告诉我,我们要按什么标准来判定。而图灵测试的问题,它的毛病多得很,但最根本的一条是:输入和输出之所以是它们所是,全靠我们的解释。你必须把这个解释成一个问题,把那个解释成一个回答。我今天整场讨论的一个结论是:图灵测试站不住脚,它给不了你一个关于智能的测试。
提问者: 你似乎把这些当作信条来接受:我们是有意识的,你的狗是有意识的,而这种意识来自我们其实并不真正理解的生物材料。恕我直言,这让你听起来像个智能设计论者,说什么因为进化以及这个创生的宇宙中的一切都如此复杂,所以它不可能从无生命的物质演化而来。那么在变形虫和你的狗之间的某处,一定有一段是没有意识的,我不确定你会把这条线画在哪里。而如果人类身上的意识是涌现出来的,或者你的狗身上的意识在进化尺度的某一点上是涌现出来的,那为什么它就不能从一个足够分布式、足够网络化、能执行大量运算、甚至还接上了生物系统的计算系统中涌现出来?
塞尔: 关于「它能不能涌现」,奇迹总是可能的。你怎么知道不会有某种化学过程把这把梳子变成一把有意识的梳子?我怎么知道呢?这不是一个严肃的可能性。
大脑中产生意识的机制是相当特定的。而且请记住这个关键点:任何创造意识的系统,都必须复制那些因果能力。这就好比说,你不需要羽毛才能造出飞行器,但你必须复制而不只是模拟鸟在地球大气中克服重力的那种因果能力。飞机做的正是这件事:它们复制了因果能力,它们使用同样的原理,伯努利原理,来克服重力。但要说你或许仅凭模拟输入输出机制、输入输出函数的某些形式结构就能做到这件事,好吧,奇迹总是可能的,可这看上去不太可能。进化不是这么运作的。
提问者: 可机器能自我改进。而你等于是在论证:为什么变形虫在足够长的时间里绝不可能发展成你的狗、绝不可能拥有意识。
塞尔: 不,我没有作那个论证。我没有作那个论证。变形虫没有意识。
提问者: 你是在否定意识能从一个足够复杂的计算系统中涌现。
塞尔: 复杂性永远是观察者相对的。你要谈复杂性,就得谈度量:你按什么尺度来计算复杂性?我认为复杂性多半是不相干的。说不定最后会发现那个机制其实很简单。
我的说法里没有任何一句话断言计算机永远不可能有意识。当然,我们全都是有意识的计算机,我说过了。至于变形虫,要点不在于变形虫不能演化成复杂得多的有机体,也许事情正是这么发生的。要点在于,变形虫本身,一个单细胞生物,并不具备足够的机件去复制大脑的因果能力。
我做的不是一个科幻项目,我并不是说,忙于设计计算机程序的人绝不可能人工创造出意识。当然,我没有说那在逻辑上不可能。我只是说,那不是一条明智的路子。如果你觉得你的性命系于造出一台创造意识的机器,那你不会坐到控制台前,开始用某种编程语言敲代码。那是走错了方向。
提问者: 假如我们把 Google 翻译的反汇编代码交给你,让你去实现中文房间实验,那么要么你得花上几千年,用纸笔跑完所有的汇编指令,要么你会把它反编译成英文,并在这个层面上大力优化。而在这个过程中,你会对不同变量和子程序之间的关系了解很多。谁能说对中文的理解不会从中涌现出来呢?
塞尔: 好,我喜欢这类问题。首先我要说,当然,我最初做这个思想实验时,任何人都会向你指出:如果你真的去执行一个回答中文问题的程序中的各个步骤,我们得在那儿待上好几百万年。好吧,我信他们的话。我不是程序员,但我想那要花掉极其漫长的时间。
可这个论证的要点不在那个例子。例子是用来阐明论证要点的。论证的要点可以用下面这个推导给出。
第一条公理:程序是形式的、句法的。程序里就只有这些。说得稍微堂皇一点:「实现了同一个程序」这个概念界定的等价类,是完全形式地、句法地被指定的。
第二条:心灵有语义。
第三条,也正是那个例子的全部要点:单凭句法不足以产生语义。中文房间就是为了阐明第三条公理而设计的:光有程序中的那些步骤,本身不足以产生语义。而心灵是有语义的。
由此推出:如果计算机是按其程序操作、按其句法操作来定义的,那么单凭程序操作、单凭计算机的操作,就永远不足以产生理解,因为它们缺乏语义。当然,我并没有说你造不出一台既是计算机又有语义的机器。我们就是这样的机器。
提问者: 可你没法用实验验证,语义与「用某个句法程序运作几千年之后所涌现出来的东西」之间,差别究竟在哪里。
塞尔: 我认为你可以。我不愿走这条路,他愿意。我的意思是,你不该走认识论的路。你不该说,你看,你分辨不出会思考的机器和不会思考的机器。
之所以说那是走错了方向,是因为我们现在已经有压倒性的证据,知道什么样的机制产生什么样的认知。我最初对大脑产生兴趣时,跑出去把所有教科书都买了。顺便说一句,你要学一门学科,这就是办法:去把所有大一的教科书买回来,因为它们容易懂。其中一本教科书上说,猫的色觉与我们不同,它们的视觉经验与我们的不同。我当时想,天哪,这帮人当过猫吗?他们有「他猫之心」的问题吗?他们知道当一只猫是什么滋味吗?
答案是:他们当然完全知道猫的色觉是怎么回事,因为他们可以去看色觉感受器。猫的色觉确实和我们不同,因为它们有不同的色觉感受器。具体差别我忘了,任何教科书上都查得到。可在现实生活中,我们完全确信我的狗能听见我听不见的那一段听觉频谱,它能听见我听不见的高频;猫的色觉和我的不同。因为我们能看见那套装置是什么样的。
还有问题吗?该你了。
主持人: 这是最后一个问题。
塞尔: 好。我准备好聊一整个下午,我就爱这类玩意儿。
提问者: 你在演讲开头讲了一段轶事,说神经科学家对意识不感兴趣。当然,到今天已经有不少神经科学家在研究它了。他们会呈现处于知觉阈限附近的刺激,测量刺激在阈上和阈下时的脑反应。你怎么看这种做法?方向对吗?你会怎么做?
塞尔: 不,我认为我这辈子(这辈子已经相当长了)见到的最好的事情之一,就是如今有了一整个兴旺的行业,在做关于意识的神经科学研究。答案将由此而来。
我最初对这个问题产生兴趣时,我跟你们说过,我跑到加州大学旧金山分校去催那帮人赶紧动手。我可以告诉你,被一个哲学家唠叨,是他们最不想听的事。但有一位著名的神经科学家对我说:在我们这一行,对意识感兴趣是可以的,但先拿到终身教职。先拿到终身教职。
如今情况变了。我不敢把这个变化归功于自己,但我确实一直在推动它。今天你可以靠研究意识拿到终身教职。神经科学变了,现在有一大批人真的在设法弄清大脑是怎么做到的。等他们弄清楚了,我看不出弄清楚有什么障碍,那将是一次巨大的智识突破:我们终于搞明白,大脑究竟是如何创造意识的。
提问者: 但具体到他们现在用的那套办法,比如我举的例子,呈现知觉阈限附近的刺激,寻找神经关联,你觉得这条路会有成果吗?你会问哪些具体的问题?
塞尔: 我碰巧对这类玩意儿有兴趣。如果你想了解我的看法,我在《神经科学年鉴》上发表过一篇文章,标题就叫《意识》,很好记,网上找得到。
我在那里说,今天主要有两条研究路线。有一批人走的是我称之为「积木式」(building block)的路子,他们试图找到特定经验的神经元关联物:你看见一个红色的物体,或者你听见中央 C 的声音,大脑里对应的关联物是什么?他们的想法是,只要你能弄清大脑如何创造「红」的经验,你就把整个问题攻克了。因为这就像 DNA:你不必弄清每一种表现型是如何由 DNA 造成的,只要抓住一般原理就够了。
问题是,这条积木式的路子进展不大。在我看来,很可能更有成效的一条路,是把意识设想成以一个统一的场(unified field)的形式出现。不要把知觉看作创造意识,而要看作对意识场的调制。所以当我看见这位先生衬衫上的红色,它调制了我的意识场,我现在有了一种此前没有的红的经验。
大多数人走的是积木式的路子,而且科学史支持他们,因为科学史大部分是原子论式地推进的:你先弄清小东西怎么运作,再走向大东西。可他们在意识上进展不大。我认为原因在于,你首先得弄清大脑如何创造出那个意识场,因为诸如看见红、听见中央 C 这样的特定经验,调制的是那个意识场。它们不是无中生有地创造一个意识场,它们调制的是一个已经存在的意识场。
这件事要难做得多,因为你得弄清大块大块的脑区如何创造意识,而我们不知道。麻烦在于,在核磁共振成像里,有意识的大脑看上去和无意识的大脑很像。那里一定有某些差别。可就目前而言,我也没在做这方面的研究,我在忙别的事情,我希望有人能明确告诉我:有意识的大脑与无意识的大脑之间,究竟是什么差别造成了意识?我们还没到那一步。
不过,我这里做的是神经生物学上的猜测。回答我的不会是一个哲学论证,而会是某个踏踏实实做研究的人,他弄清了大脑中产生意识的机制究竟是什么,以及它们究竟如何运作。
主持人: 约翰,今天能与你共处,是极大极大的荣幸。非常感谢你抽出时间,感谢你为 Google 演讲。
塞尔: 谢谢你们请我来。
约翰·塞尔在 Google 重申"中文屋"论证并进一步推进:计算、智能、信息在机器中都只是"观察者相对"的解释,机器本身零智能;意识是特定的生物因果过程,只能被复制(duplicate)而不能靠形式化模拟(simulate)产生,但人工制造意识在原则上并无障碍。
第一组是认识论(epistemic)与本体论(ontological)意义上的客观/主观:「伦勃朗生于1606年」是认识论客观,「伦勃朗是最伟大的画家」是认识论主观;山和分子是本体论客观,疼痛和痒是本体论主观。第二组是观察者独立与观察者相对:山、分子、构造板块不依赖任何人存在;钱、财产、政府、婚姻、Google 只相对于人的态度存在。这两组区分出现在讲座第3–12段,是后面全部论证的工具。
塞尔被锁在房间里,有装满中文符号的箱子和一本英文规则书;外面递进中文符号(问题),他按规则查找、搬弄后递出符号(答案),答案与母语者无异,通过图灵测试,但他一个中文字都不懂。对应关系:塞尔本人是 CPU,箱子是数据库,规则书是程序,进出的符号是输入输出。这段陈述在第17–22段,结论是「程序纯粹是句法的,句法不足以产生语义」。
两个问题他都回答「能」,但理由出人意料:如果机器指能执行功能的物理系统,人就是机器,所以「只有机器才能思考」;如果计算机指任何能执行计算的东西,他在黑板上做 1+1=2 就是在计算,所以人也是计算机。他真正否认的是第三个问题:作为图灵所定义的纯形式过程的「计算」本身是否足以构成思考——答案是否定的。见第48–57段。
意识由所有感受、感知、觉察的状态构成,从早晨从无梦睡眠中醒来开始,持续到再次入睡或失去意识;梦也是意识;本质是「处于该状态有某种主观感受」,因此意识总具有主观本体论。他用水做类比:常识定义是「清澈无色无味的液体」,科学研究后发现是 H2O;意识目前只有前一种定义,因为还没有科学理论。见第83–85段。
因为「主观」在这句话里被偷换了含义。科学要求的「客观」是认识论上的:断言的真假不依赖断言者的态度。意识的「主观」是本体论上的:它只在被体验时存在。两者不在同一层面,本体论主观的现象完全可以有认识论客观的研究,正如经济学可以客观地研究本质上依赖人的态度的货币现象。UCSF 神经科学家的拒绝(第6–7段)正是混淆了这两层含义。
系统回应说:理解中文的不是房间里的人(他只是 CPU),而是人、规则书、草稿纸构成的整个系统。塞尔的反驳是:他不理解的原因在于无法从句法通达语义,而整个房间同样只拥有句法,没有任何额外的东西可以通达语义;要说房间理解,就得假定房间里除了他之外还有另一个意识,而这样的意识并不存在。见第24–25段。他称此回应「孤注一掷但有勇气」。
不矛盾。塞尔区分两种智能:内在的(他比狗塔斯基更聪明,这种意义上的智能是心理上真实的)与观察者相对的(我们把深蓝的电子状态解读为「走棋」)。在内在意义上,深蓝什么都不知道,因此智能为零——不是「少一些」,而是「不在同一行当」。但「深蓝走了某步棋」「这台电脑比旧电脑更智能」仍是认识论上客观的断言,因为观察者相对不等于认识论主观。见第33–37、43段。
库兹韦尔把塞尔论证中的「计算机」换成「人脑」、「形式符号」换成「神经递质浓度」,得出「人脑只是搬弄神经递质,因此人脑不能理解」,意在证明论证形式本身有问题。塞尔的回应是:替换掩盖了本质差异——大脑是特定电化学因果机制(可卡因干扰特定受体的例子说明其化学特异性),而程序按定义与实现方式无关,任何载体都行。前者是产生意识的因果机制,后者只是抽象数学过程。见第61–68段。
人工心脏不用肌肉组织却真的泵血;飞机没有羽毛却用伯努利原理复制了鸟克服重力的因果能力。两者都说明:复制因果能力不等于复制材料。因此塞尔明确承认,用非神经元材料造出有意识的机器原则上没有障碍,也从不说「只有碳基才能有意识」。他反对的只是靠纯形式模拟就想产生意识——那相当于指望消化披萨的模拟程序真的消化披萨。见第49–52、90、96–97段。
他明确拒绝这条「认识论路线」。回应有三层:第一,他人有意识不是推论出的理论,而是像「地板是结实的」一样的背景预设;第二,判断依据不是行为相似而是机制相似——狗有眼睛、耳朵、神经系统,手机没有;第三,我们已有压倒性证据知道什么机制产生什么认知,如通过检查视锥细胞就能知道猫的色觉与人不同,不必「成为猫」。因此对人和机器的不同判断并非双重标准,而是基于机制证据。见第68–71、80–81、105–106段。
按塞尔的原则,大语言模型仍是「同一被实现的程序」的等价类,与硬件无关、纯句法定义,因此无论对话多流利,都只是更精致的中文房间:通过图灵测试不等于理解,因为「输入输出只有相对于我们的解释才成其为问题和答案」。他会承认它在观察者相对意义上「非常智能」,且实用上极有价值(如同自动驾驶车),但在内在意义上智能为零。同时按他的立场,这不排除未来某种复制了大脑因果能力的机器能真正理解——只是靠在控制台写程序不是正路。