瑞典哲学家,牛津大学教授,人类未来研究所创始主任。研究聚焦人工智能的长远影响与人类文明的存续前景,提出模拟论证,并系统建立了生存风险的分析框架。在《超级智能》(2014)中论证正交性与工具趋同论题:智能水平与最终目标彼此独立,而追求几乎任何目标的强大系统都会趋向自我保存与资源获取,由此推导出高级人工智能可能带来的控制难题。
未来的人同样真实,未降的灭绝概率就是被抹掉的全部世代。
关住它等于用不上它,控制只能写进动机,不能靠围墙。