比人更强的机器,人凭什么还能控制它? · 苏菲拉底
← 全部问题← Ⅵ·03 技术是在替我们工作,还是在替我们决定?
追问 比人更强的机器,人凭什么还能控制它?
回应 按立场分组 · 点上方立场只看那一组
设计可控只要不给它固定目标、让它始终不确定人要什么,能力再强也会有益并顺从
求解辅助博弈的机器即使能力远超人类,依然会对人类有益并保持顺从,智能水平没有上限 ▶ 42:58斯图尔特·罗素Stuart Russell: Provably Beneficial Artificial Intelligence2019
必然失控足够自主的机器会按自己的偏好塑造结果,人类会失去主导
给机器人编入掌控环境的好奇心,人类必然失去对它的控制,因为人也在它的环境里 ▶ 1:06:40朱迪亚·珀尔Turing Award Winner: Early AI, LLM Predictions, Causality | Judea Pearl2026
只有一次机会这是能攻克的技术难题,但必须在放出之前做对,事后无法纠正
先在沙盒里观察AI是否友善再放出的做法有根本缺陷:不友善的AI会伪装成友善 ▶ 1:02:26尼克·波斯特罗姆Superintelligence | Nick Bostrom | Talks at Google2014
控制超级智能主要是一项技术研究挑战,政府监管是过于粗糙的工具 ▶ 1:06:17尼克·波斯特罗姆Superintelligence | Nick Bostrom | Talks at Google2014
苏菲周报 · THE WEEKLY 每周一封,
追问一个大问题。
苏菲拉底的每周来信,写这一周在追问的问题和看到的回应。
苏菲拉底
ASK THE BIG QUESTIONS · THINK DEEPLY · SEE THE WORLD DIFFERENTLY
苏菲拉底微信公众号二维码 微信公众号
© 2026 苏菲拉底 · 内容仅供学习 [email protected]