苏菲拉底
问题
讲者
谈话
信源
笔记
分享这个追问
← 全部问题
← Ⅵ·03 技术是在替我们工作,还是在替我们决定?
追问
比人更强的机器,人凭什么还能控制它?
Ⅵ·03 技术是在替我们工作,还是在替我们决定?
设计可控
1 条
只要不给它固定目标、让它始终不确定人要什么,能力再强也会有益并顺从
必然失控
1 条
足够自主的机器会按自己的偏好塑造结果,人类会失去主导
只有一次机会
2 条
这是能攻克的技术难题,但必须在放出之前做对,事后无法纠正
可能相关
机器该不该被允许犯错?
AI 会读文献提假设后,研究生还剩什么可做?
AI 做事时人还需要在场吗?
智能体现在能独立干活吗?
把开战决定交给 AI,威慑会更可信还是更危险?
面对技术冲击,人该学什么?
用了工具之后,人的能力会怎么变?
计算机能让人想得更好吗?
看这一大问题的全部 →
回应
按立场分组 · 点上方立场只看那一组
设计可控
只要不给它固定目标、让它始终不确定人要什么,能力再强也会有益并顺从
求解辅助博弈的机器即使能力远超人类,依然会对人类有益并保持顺从,智能水平没有上限
▶ 42:58
斯图尔特·罗素
Stuart Russell: Provably Beneficial Artificial Intelligence
2019
必然失控
足够自主的机器会按自己的偏好塑造结果,人类会失去主导
给机器人编入掌控环境的好奇心,人类必然失去对它的控制,因为人也在它的环境里
▶ 1:06:40
朱迪亚·珀尔
Turing Award Winner: Early AI, LLM Predictions, Causality | Judea Pearl
2026
只有一次机会
这是能攻克的技术难题,但必须在放出之前做对,事后无法纠正
先在沙盒里观察AI是否友善再放出的做法有根本缺陷:不友善的AI会伪装成友善
▶ 1:02:26
尼克·波斯特罗姆
Superintelligence | Nick Bostrom | Talks at Google
2014
控制超级智能主要是一项技术研究挑战,政府监管是过于粗糙的工具
▶ 1:06:17
尼克·波斯特罗姆
Superintelligence | Nick Bostrom | Talks at Google
2014
分享
↑
苏菲周报 · THE WEEKLY
每周一封,
追问一个大问题。
苏菲拉底的每周来信,写这一周在追问的问题和看到的回应。
订阅 →
苏菲拉底
ASK THE BIG QUESTIONS · THINK DEEPLY · SEE THE WORLD DIFFERENTLY
问题
讲者
谈话
信源
理念
周报
微信公众号
© 2026 苏菲拉底 · 内容仅供学习
[email protected]