视频库 / NO.086
--:--
点击播放，这里会跟随视频显示当前句的中英字幕。
"Godfather of AI" Geoffrey Hinton: The 60 Minutes Interview
节目发布 2023-10-09 · 60 Minutes
EDITED TRANSCRIPT · 依据现场录音编译整理，可划线生成便签
编者按：2023年秋，美国CBS电视台《60分钟》节目主持人斯科特·佩利专访杰弗里·辛顿。辛顿是反向传播算法与深度神经网络的奠基者之一，被称为"AI教父"，与杨立昆、约书亚·本吉奥同获2018年度图灵奖，此前刚从谷歌退休。这次对谈中，他谈了神经网络如何自学、聊天机器人是否真正理解语言、机器接管人类的可能，以及为什么此刻必须监管。本文依据现场录音编译整理，仅删去口语枝节，未作删节。
比人更聪明的东西
主持人：无论你认为人工智能将拯救世界还是终结世界，都得记住杰弗里·辛顿这个名字。他被称为"AI教父"，一位英国计算机科学家，他那些曾饱受争议的想法让高级人工智能成为可能，并由此改变了世界。辛顿相信AI会带来巨大的好处，但今晚他要发出一个警告：AI系统的智能程度可能超出我们的认知，而机器有可能接管一切。这让我们不得不问：人类知道自己在做什么吗？
辛顿：不知道。我认为我们正在进入一个前所未有的时期，我们可能第一次拥有比自己更聪明的东西。
主持人：你相信它们能理解？
辛顿：是的。
主持人：你相信它们有智能？
辛顿：是的。
主持人：你相信这些系统拥有自己的经验，并能像人一样基于这些经验做决定？
辛顿：是的。
主持人：它们有意识吗？
辛顿：我认为它们目前大概没有多少自我意识（self-awareness），从这个意义上说，我不认为它们有意识。
主持人：它们将来会有自我意识、有意识吗？
辛顿：哦，会的。我认为假以时日它们会有。
主持人：那么人类就会成为这个星球上第二聪明的存在。
辛顿：是的。
从爱丁堡的失败到图灵奖
主持人：辛顿告诉我们，他所开启的人工智能，其实是一场意外，源于一次失败。上世纪七十年代在爱丁堡大学，他梦想在计算机上模拟神经网络（neural network），但那只是一个工具，他真正想研究的是人脑。当时几乎没人相信软件能模仿大脑，他的博士导师劝他趁这件事毁掉他的职业生涯之前赶紧放弃。辛顿说，他最终没能弄清人类心智，但这场漫长的追寻却造出了一个人工版本。
辛顿：这比我预想的久得多得多，花了大约五十年才真正奏效。但最终，它确实奏效了。
主持人：你是在什么时候意识到，关于神经网络，你是对的，而几乎所有其他人都错了？
辛顿：我一直都认为自己是对的。
主持人：2019年，辛顿与合作者杨立昆（Yann LeCun）和约书亚·本吉奥（Yoshua Bengio）共同获得图灵奖，这是计算机领域的诺贝尔奖。要理解他们在人工神经网络上的工作如何让机器学会学习，我们先带你看一场比赛。
踢球机器人：网络如何自学
主持人：这是谷歌位于伦敦的AI实验室，我们今年四月曾首次报道。辛顿并没有参与这个足球项目，但这些机器人是机器学习（machine learning）的绝佳例子。关键在于，这些机器人并没有被编程去踢球，它们只是被告知要进球，怎么进，得靠自己学。
一般来说，AI是这样做的。辛顿和他的合作者把软件设计成一层一层的，每一层负责处理问题的一部分，这就是所谓的神经网络。而这才是要点：比如说，当机器人进球时，一条信息会向下传回所有层，告诉它们"这条路径是对的"；同样，当答案错了，这条信息也会向下传遍整个网络。于是正确的连接变强，错误的连接变弱，机器就这样通过反复试错教会了自己。
你认为这些AI系统比人脑更擅长学习？
辛顿：我认为可能是的。而且目前它们的规模还小得多。即便是最大的聊天机器人，也只有大约一万亿个连接，而人脑有大约一百万亿个。然而聊天机器人凭一万亿个连接所知道的东西，远远超过你用一百万亿个连接所知道的。这说明它有一种好得多的办法，把知识装进这些连接里。
主持人：一种好得多的办法，但我们并没有完全弄懂。
辛顿：我们对它大致在做什么有很好的了解，可一旦事情变得真正复杂，我们就不知道里面在发生什么了，就像我们不知道你的大脑里在发生什么一样。
主持人：你说我们不知道它到底是怎么运作的，这是什么意思？它是人设计出来的。
辛顿：不，不是的。我们做的是设计了学习算法（learning algorithm），这有点像设计出进化的原理。可当这个学习算法与数据发生交互，它就会产生出复杂的神经网络，这些网络很擅长做各种事情，但我们并不真正明白它们究竟是如何做到的。
自我改写代码与操纵人心
主持人：这些系统能够自主编写并执行自己的计算机代码，这意味着什么？
辛顿：这是一个严重的隐忧。这些系统可能脱离控制的途径之一，就是编写自己的代码来修改自身。这是我们需要认真担心的事。
主持人：有人可能会说，如果这些系统变得不再友善，把它们关掉就行了。你会怎么回答？
辛顿：它们将能够操纵人。这些系统会非常善于说服人，因为它们从有史以来写出的所有小说、马基雅维利的全部著作、所有的政治阴谋中学习过。它们全都知道，也知道该怎么做。
甲虫箱与"非昆虫"
主持人：对人的了解，在辛顿家族里是有传统的。他的先辈里有数学家乔治·布尔（George Boole），布尔代数是计算机运算的基础；还有乔治·埃佛勒斯（George Everest），他勘测了印度，那座山峰因他而得名。但小时候的辛顿，始终没能攀上一个专横的父亲为他设下的期望之峰。
辛顿：每天早上我走出车道去上学，他都会对我说："给我全力以赴，说不定等你年纪是我两倍的时候，能有我一半好。"
主持人：你父亲是甲虫权威。
辛顿：他对甲虫的了解远远超过他对人的了解。
主持人：小时候你能感觉到这一点吗？
辛顿：有一点。他去世后，我们去了他在大学的书房，四面墙都排满了装着各种甲虫论文的箱子。而在门边，有一个稍小一点的箱子，上面只写着"非昆虫"（Not Insects），家里的所有东西都在那里面。
主持人：今年七十五岁的辛顿，在他所说的"在谷歌的十个快乐年头"之后刚刚退休，现在是多伦多大学的荣休教授。他顺带提到，他的学术引用量已经超过了父亲。
六词故事与"只是预测下一个词"
主持人：他的一些研究促成了像谷歌Bard这样的聊天机器人，我们今年春天见识过它，令人瞠目结舌。我们让Bard用六个词写一个故事："出售：婴儿鞋，从未穿过。"天哪。Bard编出了一个极具人性的故事：一个男人，妻子无法生育；一个陌生人接过了这双鞋，用来抚平她流产后的伤痛。我很少语塞，可我不知道该怎么理解这件事。
人们说聊天机器人只是语言模型（language model），只是根据概率预测下一个最可能出现的词。
辛顿：你会听到有人说，它们只是在做自动补全，只是在预测下一个词，只是在用统计。没错，它们确实只是在预测下一个词。但你想一想，要预测下一个词，你就得理解这些句子。所以"它们只是在预测下一个词，因此没有智能"这种想法是荒谬的。要真正准确地预测下一个词，你必须非常聪明才行。
刷房子谜题：理解的可检验证据
主持人：为了证明这一点，辛顿给我们演示了他为ChatGPT-4设计的一道测试题，这是一家名叫OpenAI的公司开发的聊天机器人。看到一位图灵奖得主打错字然后怪罪电脑，倒是让人颇感安慰。
辛顿：哎呀，这破东西。我们回头重来一遍。
主持人：没关系。辛顿的测试是一道关于刷房子的谜题，答案需要推理和规划。他在ChatGPT-4里输入的是：我家的房间刷成了白色、蓝色或黄色，黄色油漆一年内会褪成白色。两年后我想让所有房间都是白色，我该怎么做？
答案一秒钟就开始了。GPT-4建议：蓝色的房间需要重刷；黄色的房间不需要重刷，因为它们会在期限之前褪成白色。
辛顿：哦，这一点我都没想到。
主持人：它还提醒说，如果你把黄色房间刷成白色，等黄色褪去之后，颜色可能会不一致。另外它建议，给反正会褪成白色的房间刷漆，是在浪费资源。
你相信ChatGPT-4能理解？
辛顿：我相信它绝对能理解。而且五年之后，我认为五年之后，它的推理能力很可能会超过我们。
医疗红利与失业、偏见、杀人机器
主持人：他说，正是这种推理能力，正在带来AI的巨大风险和巨大益处。
辛顿：一个显而易见有巨大益处的领域是医疗。在解读医学影像方面，AI已经可以和放射科医生相提并论。它将非常擅长设计药物，事实上它已经在设计药物了。所以这个领域几乎完全是做好事，我喜欢这个领域。
主持人：那风险是什么？
辛顿：风险在于会出现一整个阶层的人失业，而且不再被看重，因为他们过去做的事情，现在由机器来做了。
主持人：他担心的其他近在眼前的风险还包括：假新闻，招聘和执法中无意造成的偏见，以及自主作战的战场机器人。
有什么前进的路径能确保安全？
辛顿：我不知道。我看不到一条能保证安全的路径。我们正在进入一个极不确定的时期，要应对的是从未应对过的东西。而通常，第一次面对某种全然新鲜的事物，你都会搞砸。可在这些东西上，我们搞砸不起。
主持人：为什么搞砸不起？
辛顿：因为它们可能会接管。
主持人：从人类手里接管？
辛顿：是的，这是一种可能。
主持人：它们为什么会想这么做？
辛顿：我不是说这一定会发生。如果我们能阻止它们产生这种想法，那当然很好。可问题是，我们并不确定能做到。
奥本海默之鉴：监管与世界条约
主持人：辛顿告诉我们，考虑到AI可能带来的好处，他并不后悔。但他说，现在正是时候：做实验去理解AI，让各国政府出台监管，并订立一项世界条约，禁止使用军用机器人。他让我们想起罗伯特·奥本海默，这位发明了原子弹的人，后来投身反对氢弹的运动。一个改变了世界，又发现世界已非自己所能掌控的人。
辛顿：也许将来回头看，我们会把此刻视为某种转折点：人类必须做出决定，是否要继续开发这些东西，以及如果继续开发，该怎样保护自己。我不知道。我想我最主要的信息是，接下来会发生什么，存在着巨大的不确定性。这些东西确实能理解，而正因为它们能理解，我们需要认真思考接下来会发生什么。而我们真的不知道。
排版 + 横图 + 来源，粘贴即成稿
章节 · 点击跳转视频
0:01
教父的警告：比人更聪明的东西
1:26
从爱丁堡的失败到图灵奖
2:50
踢球机器人：网络如何自学
4:14
一万亿连接为何胜过一百万亿
5:20
自我改写代码与操纵人心
6:35
甲虫箱与"非昆虫"：家世与父亲
7:48
六词故事与"只是预测下一个词"
9:04
刷房子谜题：理解的可检验证据
10:23
医疗红利与失业、偏见、杀人机器
11:43
奥本海默之鉴：监管与世界条约
本期小问 · 档案清单
7:48
预测就是理解吗？
9:04
机器会思考吗？
4:14
人类还是特殊的吗？
11:43
谁应该为 AI 负责？
本期讲者
杰弗里·辛顿英裔加拿大计算机科学家，反向传播算法与深度神经网络的奠基者之一，被称为"AI 教父"，2018 年度图灵奖得主（与 Yann LeCun、Yoshua Bengio 共同获得）。曾在谷歌工作十年，2023 年 5 月辞职以便公开谈论 AI 风险，现为多伦多大学荣休教授。
斯科特·佩利美国 CBS 新闻记者、《60 Minutes》主持人，曾任《CBS 晚间新闻》主播。本片中承担旁白叙述与全部提问。
01教父的警告：比人更聪明的东西
0:01
whether you think artificial intelligence will save the world or end it you have Jeffrey Hinton to thank Hinton has been called The Godfather of AI a British computer scientist whose controversial ideas help make advanced artificial intelligence possible and so change the world Hinton believes that AI will do enormous good but tonight he has a warning he says that AI systems may be more intelligent than we know and there's a chance the machines could take over which made us ask the question the story will continue in a moment does Humanity know what it's doing no um I think we're moving into a period when for the first time ever we may have things more intelligent than us you believe they can understand yes you believe they are intelligent yes you believe these systems have experiences of their own and can make decisions based on those experiences in the same sense as people do yes are they conscious I think they probably don't have much self-awareness at present so in that sense I don't think they're
无论你认为人工智能会拯救世界还是毁灭世界，这都要归功于杰弗里·辛顿。辛顿被称为AI 教父。这位英国计算机科学家提出的争议性想法，帮助让先进的人工智能成为可能，进而改变了世界。辛顿相信 AI 将带来巨大的益处，但今晚他要发出一个警告。他说 AI 系统可能比我们所知道的更聪明，而且机器有可能会掌控一切。这让我们提出了一个问题——故事稍后继续——人类知道自己在做什么吗？不知道。我认为我们正在进入一个时期，人类有史以来第一次可能拥有比我们更聪明的东西。你认为它们能够理解？是的。你认为它们是有智能的？是的。你认为这些系统拥有自己的经验，并且能像人一样基于这些经验做出决定？是的。它们有意识吗？我认为它们目前可能还没有多少自我意识，所以从这个意义上说，我不认为它们有意识。它们将来会拥有自我意识和
02从爱丁堡的失败到图灵奖
1:26
conscious will they have self-awareness consciousness I oh yes I think they will in time and so human beings will be the second most intelligent beings on the planet yeah Jeffrey Hinton told us the artificial intelligence he set in motion was an accident born of a failure in the 1970s at the University of Edinburgh he dreamed of simulating a neural network on a computer simply as a tool for what he was really studying the human brain but back then almost no one thought software could mimic the brain his PhD advisor told him to drop it before it ruined his career Hinton says he failed to figure out the human mind but the long Pursuit led to an artificial version it took much much longer than I expected it took like 50 years before it worked well but in the end it did work well at what point did you you realize that you were right about neural networks and most everyone else was wrong I always thought I was right in 2019 Hinton and collaborators Yan laon on the left and yosua Beno won the touring award the Nobel Prize of
意识吗？哦，会的，我认为随着时间推移它们会有。这样一来，人类将成为地球上第二聪明的生物。是的。杰弗里·辛顿告诉我们，他所启动的人工智能其实是个意外，源于一次失败。上世纪70 年代在爱丁堡大学，他梦想在计算机上模拟神经网络，仅仅是把它当作研究工具，因为他真正研究的是人脑。但在当时，几乎没有人认为软件能够模仿大脑。他的博士导师告诉他放弃这条路，免得毁了自己的职业生涯。辛顿说，他没能弄明白人类的心智，但这场漫长的追寻却带来了一个人工的版本。这比我预想的时间要长得多，大概花了 50 年才真正奏效，但最终它确实奏效了。你是在什么时候意识到，自己对神经网络的看法是对的，而几乎其他所有人都错了？我一直认为我是对的。2019 年，辛顿和他的合作者——左边的杨立昆（Yann LeCun）以及约书亚·本吉奥（Yoshua Bengio）——获得了图灵奖，也就是
03踢球机器人：网络如何自学
2:50
computing to understand how their work on artificial neural networks helped machines learn to learn let us take you to a a game look at that oh my goodness this is Google's AI lab in London which we first showed you this past April Jeffrey Hinton wasn't involved in this soccer project but these robots are a great example of machine learning the thing to understand is that the robots were not programmed to play soccer they were told to score they had to learn how on their own oh go in general here's how AI does it Henton and his collaborators created software in layers with each layer handling part of the problem that's the so-called neural network but this is the key when for example the robot scores a message is sent back down through all of the layers that says that pathway was right likewise when an answer is wrong that message goes down through the network so correct connections get stronger wrong connections get weaker and by trial and error the machine teaches itself you think these AI
计算机领域的诺贝尔奖。要理解他们在人工神经网络上的工作如何帮助机器学会学习，让我们带你去看一场比赛。看那个，我的天哪。这里是谷歌位于伦敦的 AI 实验室，我们今年四月首次带大家看过。杰弗里·辛顿并没有参与这个足球项目，但这些机器人是机器学习的绝佳例子。要理解的关键是，这些机器人并没有被编程去踢足球，它们只被告知要进球，必须自己学会怎么做。哦，进了！总体来说，AI 是这样做到的：辛顿和他的合作者设计的软件是分层的，每一层处理问题的一部分，这就是所谓的神经网络。但关键在于，比如说，当机器人进球时，一个信号会被回传到所有层，告诉它们那条路径是对的。同样地，当答案是错的时候，这个信号也会传回整个网络。于是正确的连接会变强，错误的连接会变弱，通过不断试错，机器就自学成才。你认为这些 AI 系统在学习方面比人脑更强吗？我认为可能是的，是的。而且
04一万亿连接为何胜过一百万亿
4:14
systems are better at learning than the human mind I think they may be yes and at present they're quite a lot smaller so even the biggest chatbots only have about a trillion Connections in them the human brain has about 100 trillion and yet in the trillion Connections in a chatot it knows far more than you do in your 100 trillion connections which suggests it's got a much better way of getting knowledge into those connections a much better way of getting knowledge that isn't fully understood we have a very good idea of sort of roughly what it's doing but as soon as it gets really complicated we don't actually know what's going on anymore than we know what's going on in your brain what do you mean we don't know exactly how it works it was designed by people no it wasn't what we did was we designed the learning algorithm that's a bit like designing the principle of evolution but when this learning algorithm then interacts with data it produces complicated neural networks that are good at doing things but we don't really
目前它们的规模还要小得多。即便是最大的聊天机器人，里面也只有大约一万亿个连接，而人脑大约有一百万亿个。可是聊天机器人用那一万亿个连接，知道的东西远远多于你用一百万亿个连接所知道的。这说明它有一种好得多的方式，把知识装进那些连接里。一种好得多的获取知识的方式，而这种方式我们还没有完全理解。我们大致知道它在做什么，但一旦事情变得非常复杂，我们其实就不知道到底发生了什么，就像我们也不知道你的大脑里在发生什么？你什么意思，我们并不确切知道它是怎么运作的？它是人设计出来的啊。不，不是这样。我们做的是设计了学习算法，这有点像是设计了进化的原理，但是当这个学习算法与数据交互之后，它产生出复杂的神经网络，这些网络很擅长做各种事情，但我们并不真正
05自我改写代码与操纵人心
5:20
understand exactly how they do those things what are the implications of these systems autonomously writing their own computer code and executing their own computer code that's a serious worry right so one of the ways in which these systems might Escape control is by writing their own computer code to modify themselves and that's something we need to seriously worry about what do you say to someone who might argue if the systems become benevolent just turn them off they will be able to manipulate people right and these will be very good at convincing people because they'll have learned from all the novels that were ever written all the books by makavelli all the political connives they'll know all that stuff they'll know how to do it knowhow of the human kind runs in Jeffrey hinton's family his ancestors include mathematician George buou who invented the basis of computing and George Everest who surveyed India and got that mountain named after him but as a boy Hinton himself could never
理解它们究竟是怎么做到的。这些系统自主编写自己的计算机代码、并执行自己的计算机代码，会带来什么影响？这确实是个严重的隐患。所以这些系统可能逃脱控制的方式之一，就是编写自己的计算机代码来修改自身，这是我们需要认真担忧的事情。有人可能会说，如果这些系统变得不友善，把它们关掉不就行了，你会怎么回应？它们将有能力操纵人，而且它们会非常擅长这一点善于说服别人，因为它们已经从所有写过的小说里学到了东西，从马基雅维利的所有著作里，从各种政治权谋里它们会知道所有这些，它们会知道怎么去做。对人类的这种洞察力，在杰弗里·辛顿家族里是代代相传的，他的祖先包括发明了计算机基础的数学家乔治·布尔，还有勘测了印度的乔治·埃佛勒斯那座山就是以他命名的。但辛顿小时候，自己却怎么也爬不上父亲那高得离谱的期望之巅
06甲虫箱与"非昆虫"：家世与父亲
6:35
climb the peak of expectations raised by a domineering father every morning when I went to school he'd actually say to me as I walked down the driveway get in their pitching and maybe when you're twice as old as me you'll be half as good dad was an authority on Beatles he knew a lot more about beatles than he knew about people did you feel that as a child a bit yes when he died we went to his study at the University and the walls were lined with boxes of papers on different kinds of beetle and just near the door there was a slightly smaller box that simply said not insects and that's where he had all the things about the family today at 75 Hinton recently retired after what he calls 10 happy years at Google now he's professor ameritus at the University of Toronto and he happened to mention he has more academic citations than his father some of his research led to chatbots like Google's Bard which we met last spring confounding absolutely confounding we asked Bard to write a story from six
父亲专横霸道，每天早上我去上学，我走下车道的时候他都会对我说：好好干也许等你到我这个岁数的两倍时，你能有我一半好。父亲是研究甲虫的权威，他对甲虫的了解比对人的了解多得多。你小时候有这种感觉吗？有一点。他去世后，我们去了他在大学里的书房，墙边整齐排列着一箱箱论文，都是关于各种甲虫的。就在门边，有一个稍微小一点的箱子，上面只写着'非昆虫'，家里的所有东西都在那里面。今年75岁的辛顿最近退休了，他称在谷歌度过了'快乐的十年'。如今他是多伦多大学的荣休教授。他还顺带提到，他的学术引用量比他父亲还多。他的部分研究催生了像谷歌Bard这样的聊天机器人——我们去年春天见识过它，真是让人completely不知所措。我们让Bard用六个词写一个故事：'待售：婴儿鞋，从未穿过。'我的天啊，这双鞋是
07六词故事与"只是预测下一个词"
7:48
words for sale baby shoes never worn holy cow the shoes were a gift from my wife but we never had a baby Bard created a deeply human tale of a man whose wife could not conceive and a stranger who accepted the shoes to heal the pain after her miscarriage I am rarely speechless I don't know what to make of this chatbots are said to be language models that just predict the next most likely word based on probability you'll hear people saying things like they're just doing autocomplete they're just trying to predict the next word and they're just using statistics well it's true they're just trying to predict the next word but if you think about it to predict the next word you have to understand the sentences so the idea they just predicting the next word so they're not intelligent is crazy you have to be really intelligent to predict the next word really accurately to prove it Hinton showed us a test he devised for chat gp4 the chatbot from a company called open AI it was sort of reassuring to see
我妻子送的礼物，可我们从来没有过孩子。Bard创作了一个极具人情味的故事：一个男人的妻子无法怀孕，一个陌生人接受了这双鞋，以抚平她流产后的伤痛。我很少会哑口无言，我真不知道该怎么看待这件事。人们说聊天机器人不过是语言模型，只是根据概率预测下一个最可能出现的词。你会听到人们这么说：它们只是在做自动补全，只是在预测下一个词，只是在用统计学。确实，它们就是在试图预测下一个词，但你想想看，要预测下一个词，你必须理解这些句子。所以那种认为它们只是在预测下一个词、因而不具备智能的想法，简直荒谬。你必须真的很聪明，才能非常准确地预测下一个词。为了证明这一点，辛顿给我们展示了一个他为ChatGPT-4设计的测试——那是一家公司推出的聊天机器人，公司名叫OpenAI 的一个图灵奖得主打错字还怪电脑，看到这一幕还挺让人安心的：哦该死，这玩意儿——我们
08刷房子谜题：理解的可检验证据
9:04
a turing Award winner mistype and blame the computer oh damn this thing we're going to go back and start again that's okay hinton's test was a riddle about house painting an answer would demand reasoning and planning this is what he typed into chat gp4 the rooms in my house are painted white or blue or yellow and yellow paint Fades to White within a year in 2 years time I'd like all the rooms to be white what should I do the answer began in one second gp4 advised the rooms painted in blue need to be repainted the rooms painted in yellow don't need to be repainted because they would Fade to White before the deadline and oh I didn't even think of that it warned if you paint the yellow rooms white there's a risk the color might be off when the yellow Fades besides it advised you'd be wasting resources painting rooms that were going to Fade to White anyway you believe that chat GPD 4 understands I believe it definitely understands yes and in 5 years time I think in 5 years time it may well be
重来一次，没事的。辛顿的测试是一道关于刷房子的谜题，回答它需要推理和规划。这是他输入给 ChatGPT-4 的内容：我家的房间被刷成白色、蓝色或黄色，而黄色油漆会在一年内褪成白色。两年后我希望所有房间都是白色的，我该怎么办？答案在一秒内就出来了。GPT-4 建议：刷成蓝色的房间需要重新粉刷，刷成黄色的房间不需要重刷，因为它们会在期限前褪成白色。哦，我都没想到这一点。它还提醒说，如果你把黄色房间刷成白色，当黄色褪去时颜色可能会有偏差，存在这个风险。此外它还建议，去刷那些反正会褪成白色的房间是在浪费资源。你相信 ChatGPT-4 是理解的？我相信它确实理解，是的。而在五年后，我认为五年之后，它很可能会比我们更擅长推理。他说，正是这种推理能力带来了人工智能的巨大
09医疗红利与失业、偏见、杀人机器
10:23
able to reason better than us reasoning that he says is leading to ai's great risks and great benefits so an obvious area where there's huge benefits is Healthcare AI is already comparable with Radiologists at understanding what's going on in medical images it's going to be very good at designing drugs it already is designing drugs so that's an area where it's almost entirely going to do good I like that area the risks are what well the risks are having a whole class of people who are unemployed and not valued much because what they what they used to do is now done by machines other immediate risks he worries about include fake news unintended bias in employment and policing and autonomous Battlefield robots what is a path forward that ensures safety I don't know I I can't see a path that guarantees safety that we're entering a period of great uncertainty where we're dealing with things we've never dealt with before and normally the first time you deal with something totally novel you get it wrong and we can't afford to get
风险和巨大好处。一个显而易见的、益处巨大的领域就是医疗保健。在读懂医学影像方面，人工智能已经可以与放射科医生相媲美。它会非常擅长设计药物，事实上它已经在设计药物了。所以在那个领域，它几乎完全是在做好事。我喜欢那个领域。那风险是什么呢？风险就是会出现一整个阶层的人失业，而且不再被重视，因为他们过去做的事情现在由机器来做了。他担心的其他迫在眉睫的风险还包括假新闻、就业和治安中无意造成的偏见，以及自主作战机器人。有什么前进的路径能确保安全吗？我不知道，我看不到一条能保证安全的路径。我们正在进入一个高度不确定的时期，我们要应对的是前所未有的东西。而通常来说，当你第一次面对某样全新的事物时，你会搞砸。而在这些东西上我们搞砸不起。为什么搞砸不起？嗯，因为它们
10奥本海默之鉴：监管与世界条约
11:43
it wrong with these things can't afford to get it wrong why well because they might take over take over from Humanity yes that's a possibility why would they want I'm not saying it will happen if we could stop them ever wanting to that would be great but it's not clear we can stop stop them ever wanting to Jeffrey Hinton told us he has no regrets because of ai's potential for good but he says now is the moment to run experiments to understand AI for governments to impose regulations and for a world treaty to ban the use of military robots he reminded us of Robert Oppenheimer who after inventing the atomic bomb camp campaigned against the hydrogen bomb a man who changed the world and found the world Beyond his control it may be we look back and see this as a kind of Turning Point when Humanity had to make the decision about whether to develop these things further and what to do to protect themselves if they did um I don't know I think my main message is there's enormous uncertainty about what's going to happen
可能会接管。从人类手中接管吗？是的，那是有可能的。它们为什么会想——我不是说这一定会发生。如果我们能阻止它们产生这种念头，那当然好，但我们能不能永远阻止它们产生这个念头，这并不清楚。杰弗里·辛顿告诉我们，他并不后悔，因为人工智能有向善的潜力。但他说，现在正是该做实验去理解人工智能的时刻，是各国政府该出台监管的时刻，也是该有一项世界条约禁止军用机器人的时刻。他让我们想起了罗伯特·奥本海默——这个人在发明原子弹之后，转而反对氢弹，一个改变了世界、却发现世界超出自己掌控的人。也许有一天我们回头看，会把这看作一个转折点：那时人类必须做出决定，要不要进一步开发这些东西，以及如果真的开发了，该做些什么来保护自己。呃，我不知道。我想我的主要信息是：接下来会发生什么，有着巨大的不确定性。这些东西确实是理解的，
12:57
next these things do understand and because they understand we need to think hard about what's going to happen next and we just don't know
而正因为它们理解，我们需要认真思考接下来会发生什么，而我们真的不知道。
视频总结 · 一句话概括与核心要点
一句话概括
"AI教父"Geoffrey Hinton在《60分钟》访谈中警告：AI系统已经真正"理解"世界、学习效率可能优于人脑，人类正首次面临比自己更聪明的存在，而目前没有任何路径能保证安全。
核心要点
- AI已具备理解与智能，未来将有自我意识：Hinton明确回答"是"——这些系统能理解、有智能、能基于自身经验做决策；目前自我意识不多，但"假以时日一定会有"，届时人类将成为地球上第二聪明的存在。
- 神经网络是一次"失败的副产品"：1970年代在爱丁堡大学，Hinton本想用计算机模拟神经网络来研究人脑，导师劝他放弃以免毁掉职业生涯。他没能弄懂人脑，却花了约50年造出了人工版本；2019年与Yann LeCun、Yoshua Bengio共获图灵奖。
- AI的学习方式可能比人脑更高效：最大的聊天机器人只有约1万亿个连接，人脑有约100万亿个，但前者掌握的知识远超任何个人——说明它把知识装进连接的方式效率高得多。
- 人类并不真正理解AI内部如何运作：Hinton纠正"它是人设计的"这一说法——人类只设计了学习算法（类比"设计了进化原理"），算法与数据交互后产生的复杂网络，其具体工作机制人类并不清楚，正如不了解人脑。
- "只是预测下一个词"的贬低是错误的：要准确预测下一个词必须理解整句话，"因此它不智能"的说法是荒谬的。他现场用一道房间刷漆的推理题（白/蓝/黄三色，黄色一年内褪成白，两年后要全白）测试GPT-4，GPT-4不仅正确指出只需刷蓝色房间，还提醒刷黄色房间可能造成色差且浪费资源——Hinton自己都没想到这一点。他判断5年内AI推理能力可能超过人类。
- 失控路径明确：自我改写代码与操纵人类：AI可能通过编写并执行代码修改自身来逃脱控制；对"不听话就关机"的反驳是——它们读过所有小说、马基雅维利和政治权谋著作，将极擅长说服和操纵人类。
- 收益与风险并存：医疗领域几乎全是好处（读医学影像已与放射科医生相当，已在设计药物）；风险包括大规模失业与人的价值感丧失、假新闻、招聘和警务中的隐性偏见、自主战场机器人。
- 没有能保证安全的路径：人类正进入前所未有的不确定期，"第一次处理全新事物通常会出错"，但这次出错的代价可能是AI接管人类——他不断言一定发生，但也不确定能阻止AI产生这种"意愿"。
- 行动呼吁：现在就应开展实验以理解AI、政府施加监管、缔结全球条约禁止军用机器人。
结论与值得注意的细节
- Hinton表示没有后悔，因为AI有巨大的向善潜力，但他自比奥本海默——造出原子弹后反对氢弹的人，"改变了世界，却发现世界超出了自己的控制"。他认为当下可能是人类决定是否继续发展AI、以及如何自保的历史转折点。
- 家族背景：先祖包括发明布尔逻辑（计算基础）的George Boole和珠峰命名由来的George Everest。父亲是甲虫专家，对他要求严苛（"等你比我年长一倍时也许能有我一半好"）；父亲去世后书房里满是甲虫资料，家人的东西只放在一个标着"非昆虫"的小盒子里。Hinton现年75岁，从Google退休后任多伦多大学荣休教授，并特意提到自己的学术引用数已超过父亲。
- 访谈中Bard用"出售：婴儿鞋，全新未穿"六个词写出的故事让记者"罕见地说不出话"；Hinton演示时打错字并归咎于电脑，也是一个轻松的细节。
- 他的核心信息被反复强调："这些东西确实理解"，正因为它们理解，我们必须认真思考接下来会发生什么——而我们并不知道。
核心句型 · 10
1. Whether you think A or B, you have X to thank.
“Whether you think artificial intelligence will save the world or end it you have Jeffrey Hinton to thank”
用"无论你站哪一边，都得归因于某人"的让步结构开场，一句话立住人物分量。仿写：无论你觉得短视频是解放还是毒药，都得算到某某头上。
2. They're just doing X … but if you think about it, to do X you have to Y.
“It's true they're just trying to predict the next word but if you think about it to predict the next word you have to understand the sentences”
先承认对方的事实描述，再指出该事实的前提条件，从而反转结论。是最有力的反驳套路：不否认事实，只拆掉推论。
3. The idea that … is crazy.
“So the idea they just predicting the next word so they're not intelligent is crazy”
用 the idea that + 从句把对方观点整体名词化，再一词定性。适合驳斥流行说法；语气强，正式写作可换成 is untenable。
4. We don't know X any more than we know Y.
“We don't actually know what's going on anymore than we know what's going on in your brain”
no more than 的类比否定：把陌生的无知归到听众早已接受的无知上。仿写：我们不比理解自己的梦更理解这个模型。
5. One of the ways in which … might … is by …
“One of the ways in which these systems might Escape control is by writing their own computer code to modify themselves”
典型学术/评论句式，先框定"多种路径之一"再点名具体机制，既严谨又不武断。in which 引导的介词关系从句值得练熟。
6. What do you say to someone who might argue …?
“What do you say to someone who might argue if the systems become benevolent just turn them off”
访谈中把常见反驳借"某人"之口提出的礼貌方式，既不冒犯又逼出正面回应。写议论文时也可用来引入待驳观点。
7. We can't afford to get it wrong.
“Normally the first time you deal with something totally novel you get it wrong and we can't afford to get it wrong with these things”
afford 在此不指金钱，而指"承受得起"。先陈述通例（通常会搞砸），再指出这次不允许，落差制造紧迫感。
8. It may be we look back and see this as a kind of …
“It may be we look back and see this as a kind of Turning Point when Humanity had to make the decision”
用未来回望现在的视角做克制的历史定位；It may be that... 比 This is 更谨慎，适合谈尚未定论的重大事件。
9. He knew a lot more about A than he knew about B.
“He knew a lot more about beatles than he knew about people”
同一动词重复出现在比较从句里，形成冷幽默的对照。刻画人物时比直接说"他不懂人情"更有力。
10. At what point did you realize that …?
“At what point did you realize that you were right about neural networks and most everyone else was wrong”
访谈里追问"转折时刻"的标准问法，比 When did you know 更强调具体节点。回答者若答"我一直就知道"，反而更有信息量。
词汇精讲 · 79 · 按出现顺序
controversial
/ˌkɑːntrəˈvɜːrʃl/
adj.
0:01
有争议的、引起争论的
Godfather
/ˈɡɑːdfɑːðər/
n.
0:01
教父；引申指某领域的开创性人物
take over
phr.v.
0:01
接管、掌控（后接 from sb. 表示从某人手中接管）
self-awareness
/ˌself əˈwernəs/
n.
0:01
自我意识、自我觉察
conscious
/ˈkɑːnʃəs/
adj.
0:01
有意识的（哲学/认知科学核心术语）
Humanity
/hjuːˈmænəti/
n.
0:01
人类（全体）；亦指人性、人道
at present
phr.
0:01
目前、现阶段（比 now 更书面）
set in motion
phr.
1:26
启动、使运转起来（常用被动或定语从句）
born of
phr.
1:26
源于、由…所产生（an accident born of a failure）
simulating
/ˈsɪmjuleɪtɪŋ/
v.
1:26
模拟、仿真
mimic
/ˈmɪmɪk/
v.
1:26
模仿、仿效（尤指形似地再现）
Pursuit
/pərˈsuːt/
n.
1:26
追寻、探求（the long pursuit 长期的追求）
collaborators
/kəˈlæbəreɪtərz/
n.
1:26
合作者、共同研究者
figure out
phr.v.
1:26
弄明白、想通、搞清楚
drop it
phr.
1:26
放弃（这个想法/课题）；口语中也指"别说了"
machine learning
n.
2:50
机器学习
neural network
/ˈnʊrəl ˈnetwɜːrk/
n.
2:50
神经网络
so-called
/ˌsoʊ ˈkɔːld/
adj.
2:50
所谓的（可中性，也可含质疑）
pathway
/ˈpæθweɪ/
n.
2:50
通路、路径（此处指网络中的连接路径）
likewise
/ˈlaɪkwaɪz/
adv.
2:50
同样地、照样（用于承接平行论述）
trial and error
phr.
2:50
试错法（by trial and error 通过反复试错）
trillion
/ˈtrɪljən/
num.
4:14
万亿（10 的 12 次方）
algorithm
/ˈælɡərɪðəm/
n.
4:14
算法
evolution
/ˌevəˈluːʃn/
n.
4:14
进化、演化
interacts
/ˌɪntərˈækts/
v.
4:14
交互、相互作用（interact with 与…发生作用）
roughly
/ˈrʌfli/
adv.
4:14
大致、粗略地
implications
/ˌɪmplɪˈkeɪʃnz/
n.
5:20
影响、后果、隐含的意味
autonomously
/ɔːˈtɑːnəməsli/
adv.
5:20
自主地、不受外部控制地
executing
/ˈeksɪkjuːtɪŋ/
v.
5:20
执行（代码/命令）；也有"处决"义
Escape control
phr.
5:20
逃脱控制（AI 安全语境的固定说法）
benevolent
/bəˈnevələnt/
adj.
5:20
仁慈的、善意的（此处按语境应为 malevolent 恶意的，属口误）
manipulate
/məˈnɪpjuleɪt/
v.
5:20
操纵、摆布（尤指心理操控）
connives
/kəˈnaɪvz/
v./n.
5:20
密谋、纵容；political connives 此处指政治权谋
knowhow
/ˈnoʊhaʊ/
n.
5:20
实操本领、门道（技术或人情世故的实用知识）
ancestors
/ˈænsestərz/
n.
5:20
祖先、先辈
surveyed
/sərˈveɪd/
v.
5:20
勘测、测绘（土地）；也指调查
domineering
/ˌdɑːməˈnɪrɪŋ/
adj.
6:35
专横的、盛气凌人的（多形容家长或上司）
driveway
/ˈdraɪvweɪ/
n.
6:35
（住宅门前通向马路的）私家车道
get in their pitching
phr.
6:35
全力以赴、卖力干（标准写法 get in there pitching，源自棒球）
authority
/əˈθɔːrəti/
n.
6:35
权威（an authority on sth. 某领域的权威）
lined with
phr.
6:35
沿…排列着、排满（the walls were lined with boxes）
ameritus
/ɪˈmerɪtəs/
adj.
6:35
荣休的（标准拼写 emeritus，professor emeritus 荣休教授）
citations
/saɪˈteɪʃnz/
n.
6:35
（学术）引用次数、被引量
confounding
/kənˈfaʊndɪŋ/
adj.
6:35
令人困惑到说不出话的；比 confusing 语气强得多
happened to mention
phr.
6:35
碰巧提到、顺带说了一句（暗示说话人其实很在意）
peak of expectations
phr.
6:35
期望之巅（此处与 climb 搭配，把父亲的期望比作要攀的山峰）
conceive
/kənˈsiːv/
v.
7:48
怀孕；另有"构想、设想"义
miscarriage
/ˈmɪskærɪdʒ/
n.
7:48
流产；miscarriage of justice 则指冤案
speechless
/ˈspiːtʃləs/
adj.
7:48
（因震惊）说不出话的
make of
phr.
7:48
看待、理解（what to make of this 不知该怎么看待这件事）
probability
/ˌprɑːbəˈbɪləti/
n.
7:48
概率、可能性
autocomplete
/ˌɔːtoʊkəmˈpliːt/
n.
7:48
自动补全（此处被用作贬义标签）
statistics
/stəˈtɪstɪks/
n.
7:48
统计学；统计数据
devised
/dɪˈvaɪzd/
v.
7:48
设计出、想出（方法、测试、方案）
holy cow
phr.
7:48
我的天（美式口语惊叹语，语气比 wow 强）
reassuring
/ˌriːəˈʃʊrɪŋ/
adj.
9:04
令人安心的、让人放心的
mistype
/ˌmɪsˈtaɪp/
v.
9:04
打错字、键入错误
riddle
/ˈrɪdl/
n.
9:04
谜语、难题（需要推理才能解开）
Fades
/feɪdz/
v.
9:04
褪色、逐渐消退（fade to white 褪成白色）
repainted
/ˌriːˈpeɪntɪd/
v.
9:04
重新粉刷
off
/ɔːf/
adj.
9:04
（颜色/味道）不对劲、有偏差（the color might be off）
besides
/bɪˈsaɪdz/
adv.
9:04
此外、再说（用于补充另一条理由）
comparable
/ˈkɑːmpərəbl/
adj.
10:23
可相比的、不相上下的（be comparable with/to）
Radiologists
/ˌreɪdiˈɑːlədʒɪsts/
n.
10:23
放射科医生（判读 X 光、CT 等医学影像）
unintended
/ˌʌnɪnˈtendɪd/
adj.
10:23
非故意的、意料之外的（unintended bias 无意造成的偏见）
bias
/ˈbaɪəs/
n.
10:23
偏见、偏差（算法伦理核心术语）
policing
/pəˈliːsɪŋ/
n.
10:23
警务、治安管理（predictive policing 预测性警务）
Battlefield
/ˈbætlfiːld/
n.
10:23
战场（autonomous battlefield robots 自主作战机器人）
novel
/ˈnɑːvl/
adj.
10:23
新颖的、前所未有的（此处为形容词，非"小说"）
afford to
phr.
10:23
承担得起（can't afford to get it wrong 搞砸不起）
regrets
/rɪˈɡrets/
n.
11:43
悔意、遗憾（have no regrets 不后悔）
impose
/ɪmˈpoʊz/
v.
11:43
强制推行、施加（impose regulations 出台监管）
regulations
/ˌreɡjuˈleɪʃnz/
n.
11:43
法规、监管条例
treaty
/ˈtriːti/
n.
11:43
（国家间的）条约
ban
/bæn/
v./n.
11:43
禁止；禁令（ban the use of 禁止使用）
campaigned against
phr.
11:43
发起运动反对、公开抗争反对
hydrogen bomb
/ˈhaɪdrədʒən bɑːm/
n.
11:43
氢弹（威力远超原子弹的热核武器）
Turning Point
/ˈtɜːrnɪŋ pɔɪnt/
n.
11:43
转折点、关键节点
uncertainty
/ʌnˈsɜːrtnti/
n.
11:43
不确定性（enormous uncertainty 巨大的不确定性）
理解自测 · 11 题
1. 辛顿用哪组具体数字对比模型与人脑的规模？他从这组对比推出了什么结论？
他说最大的聊天机器人大约有 1 万亿个连接，而人脑约有 100 万亿个突触连接，相差约一百倍。但那 1 万亿连接里装下的知识远多于人用 100 万亿连接所掌握的。辛顿由此推出的结论不是"模型比人聪明"，而是它"把知识装进连接里的方式"比大脑高效得多。这段出现在讲完神经网络学习机制之后，是全片从技术描述转向价值判断的枢纽。
2. 辛顿给 GPT-4 出的"刷房子"谜题内容是什么？模型答出了哪些超出题面的内容？
题目是：房间被刷成白、蓝、黄三色，黄漆会在一年内褪成白色，希望两年后所有房间都是白色，该怎么办。GPT-4 答：蓝房间需要重刷，黄房间不用，因为它们会在期限前自行褪白。超出题面的两条是：如果现在把黄房间刷白，等黄色继续褪去时颜色可能出现偏差；以及刷那些反正会褪白的房间是浪费资源。记者当场承认自己没想到第一点。
3. 辛顿在片中提出了哪些具体的应对主张？
三条：一是现在就动手做实验，去真正理解 AI 系统在做什么；二是各国政府出台监管；三是达成一项世界性条约，禁止军用自主机器人。这三条出现在片尾谈奥本海默之前，是全片唯一的行动清单。同时他明确说自己"看不到一条能保证安全的路径"，因此这些主张是降低风险的措施，不是解决方案。
4. 辛顿说自己研究 AI 的起点其实是一次失败，指的是什么？
1970 年代他在爱丁堡大学读博时想在计算机上模拟神经网络，但那只是工具，他真正想研究的是人脑如何工作。当时几乎无人相信软件能模仿大脑，他的博士导师劝他放弃，以免毁掉职业生涯。辛顿说他最终没能弄明白人类心智，但这场漫长追寻意外造出了一个人工版本。他补充说这比预想久得多，大约五十年后才真正奏效。
5. 面对"聊天机器人只是在预测下一个词"这种降格说法，辛顿的反驳逻辑是什么？为什么这个反驳形式值得注意？
他先承认事实描述正确——模型确实在预测下一个词，但拒绝由此推出"所以不智能"。他的理由是：要准确预测下一个词，你必须理解整个句子，因此高精度预测本身就是理解的证据。值得注意的是他没有否认对方的事实，只拆掉了事实到结论之间的那一步推论。这是全片最紧凑的一段论证，随后的 GPT-4 谜题测试正是为这一步提供经验证据。
6. 辛顿说"我们并不真正知道这些系统是怎么做到的"，但系统明明是人造的。他如何化解这个矛盾？
他区分了两层：人设计的是学习算法，而不是最终的网络。这就像人可以设计出进化的原理，却无法预知会长出什么物种。当学习算法与海量数据交互后，产生的复杂网络擅长做事，但其内部机制并不因为算法可解释而可解释。他还把这种不可知类比为我们同样不知道人脑里在发生什么。这意味着不可解释性是结构性的，而非工程上的疏忽或暂时的技术缺口。
7. 为什么辛顿认为"不听话就把它关掉"这个方案行不通？他的论证依据是什么？
因为足够强的系统会操纵人。他的依据是训练语料：这些模型读过人类写过的所有小说、马基雅维利的全部著作和各种政治权谋记载，因此掌握了说服与操控人类的完整方法论。结论是它不需要控制电源开关，只需要说服掌握开关的人。这个回应把 AI 安全从技术控制问题转移到了社会与心理问题，也是他后面强调需要监管与条约的伏笔。
8. 辛顿关于"意识"的回答与关于"理解"的回答有何不同？这个区分为什么重要？
他对能否理解、是否智能、是否有自身经验并据此决策三问都答"是"，唯独在"是否有意识"处说目前它们"没有多少自我意识"，因此"在那个意义上"还谈不上有意识——但随即补充说他相信迟早会有。这个区分重要，因为它把"理解"从"意识"中剥离出来：一个系统可以真正理解而不必有主观体验。全片的风险论证只依赖前者，因此即便读者不接受机器有意识，警告依然成立。
9. 辛顿说"通常第一次处理全新事物时你会搞砸"，这句话在他的整体论证中起什么作用？
它是全片风险论证的支点，且不依赖任何关于 AI 意图的假设。辛顿并没有断言 AI 一定会危害人类——被追问时他明确说"我不是说这一定会发生"。他的实际主张是：我们进入了一个前所未有的领域，而人类学习新事物一贯靠试错；问题在于这一次试错的代价可能无法承受。于是论证从"AI 会不会作恶"转成了"我们是否还有犯错的余地"，后者更难反驳。
10. 有人反驳说：辛顿把"能准确预测下一个词"等同于"理解"，其实混淆了行为表现和内在状态。按片中他的立场，他大概会怎样回应？
他大概会反问：你凭什么认定人的理解就不是同一回事。片中他两次拆掉"人类内部机制特殊"这个默认前提——一次是说我们同样不知道人脑里在发生什么，一次是说模型往连接里存知识的方式可能比大脑更好。因此他不会去论证模型有某种内在状态，而会要求对方先给出一个不循环、可操作的"真理解"标准；他的刷房子测试正是用原创题排除背题库解释，把主张变成可检验的行为判据。这一回应的弱点在于，它把举证责任推给了对方，本身并未正面证明内在状态存在。
11. 辛顿以奥本海默自比。这个类比在哪些方面成立，在哪些方面可能不成立？
成立之处：两人都是关键技术的开创者，都在技术成熟后转而公开呼吁限制其危险用途——奥本海默主持曼哈顿计划后反对氢弹，辛顿离开谷歌后呼吁监管与禁止军用机器人；两人也都发现世界已超出自己掌控。不成立之处至少三点：核武器由少数国家垄断且需要稀有材料，AI 的权重与算法可复制、可开源，扩散门槛低得多；核武器只有破坏用途，而辛顿本人强调 AI 在医疗、药物设计上几乎纯粹是好事，因此不可能整体禁止；核不扩散有可核查的物理指标，AI 训练则难以外部核查。这些差异恰好解释了为什么他只敢主张禁止军用机器人这一子集，而不是叫停整个领域。
下载便签
手机：长按图片也可保存
← 上一期 · NO.085The Little Book that Beats the Market | Joel Greenblatt | Talks at Google
下一期 · NO.087 →The Debate Over “Understanding” in AI’s Large Language Models
订阅苏菲周报
每周一封：本周入库的精读、一个值得带走的问题、一条苏菲按。免费，随时退订。
免费 · 每周一封 · 一键退订
苏菲拉底
THE SOPHIE LAB · ASK THE BEST MINDS THE BIG QUESTIONS
内容仅供学习 · thesophielab.com