它问的不是技术上能否控制,而是服从在价值上意味着什么。一个只会执行的东西,严格说并不是在听话,因为它没有不听的可能。所以真正的追问是:我们要的究竟是顺从的工具,还是能理解命令、因而也能拒绝命令的心智。它常被误读成一道安全工程题,其实是一道伦理题。

因为造物一旦能不听,你就欠它一个理由;它若根本不能不听,你就无法把任何责任推到它身上。两头都指回造主自己。康德说他律之下的服从不产生德性,若这话成立,越听话的造物越不能替人承担道德责任。人类正第一次大规模制造有理解力的东西,用的却仍是驯兽的语言。

AI 时代重问

当我们说要让模型对齐人类价值,我们想要的是一个真正学会了价值、因而也可能拒绝的心智,还是一个永远不需要拒绝的工具?

这一问还没有找到值得精读的当代回答，实验室正在为它寻访 YouTube 上最好的谈话。