上一问的结尾，我们说人必须主动回答自己要什么，而这个回答会决定我们怎样判断一件事对不对。判断对不对，是道德的核心动作。而关于这个动作应该怎么做，两百年来有两个互相不服的答案：看原则，还是看后果。

道德应该由原则决定，还是由后果决定？

这个问题过去是哲学系的问题，现在它成了工程问题。因为第一次有一种东西必须把道德写下来，写成可以执行的东西，然后交给机器。写下来的时候，你必须决定：写原则，还是写后果。

一两种直觉

一个人躲在你家，追杀他的人敲门问他在不在。你说谎吗？几乎所有人说，当然说谎。一辆失控的电车冲向五个人，你可以扳道让它冲向一个人。你扳吗？大多数人说扳。到这里，后果似乎赢了：说谎救人，一命换五命。

再换一个：电车冲向五个人，你站在桥上，身边有一个胖子，把他推下去可以挡住电车。你推吗？大多数人说不推。后果一模一样，一命换五命，直觉却反了过来。一个医生可以杀死一个健康人，用他的器官救五个病人。可以吗？没有人说可以。我们的直觉里显然同时装着两套东西，而它们互相打架。

二康德：如果所有人都这样做

康德把其中一套说到了底。道德的价值不在行为的后果，而在行为的准则能否被普遍化。说谎为什么错？不是因为它通常带来坏结果，而是因为“在需要时说谎”这条准则如果人人遵守，谎言就失去了被相信的可能，准则自我取消。

另一个表述是：永远把人当作目的，不只当作手段。道德律是理性给自己立的法，无条件地有效，他叫它绝对命令。这个立场的力量是它不允许用好结果为坏手段辩护，医生不能拆一个人救五个。它的困难是，它似乎也不允许对着杀人犯说谎来救朋友，而康德本人确实这样认为。

三边沁：把所有人的笑加起来

边沁把另一套说到了底。自然把人类置于快乐与痛苦两个主人之下，道德的唯一标准就是最大多数人的最大幸福。他甚至给出了计算方法：强度、持续、确定性、远近、多产、纯度、范围。没有神圣的规则，没有不可侵犯的权利，他把天赋人权称为踩着高跷的胡说。

功利主义的力量是它的平等与可操作：每个人的幸福算一份，不多不少，一切都可以比较。它的困难是，它似乎允许为了多数人的幸福牺牲少数人，只要账算得过来。医生拆一个救五个，按账是对的。边沁的后继者花了两百年给这本账加各种限制，每一条限制都像是在偷偷引入原则。

四电车：扳，还是不扳

一九六七年，福特提出电车问题，本意是讨论一个古老的学说：预见到的伤害与意图造成的伤害是否不同。扳道杆把电车引向一个人，是把伤害作为副作用；把胖子推下桥，是把他的身体作为手段。后果一样，结构不同。

这个例子后来被反复改造，成了检验一切道德理论的试金石。纯粹的后果论解释不了为什么不能推人，纯粹的原则论解释不了为什么可以扳道。它没有解决问题，它证明了问题：我们的道德直觉不是一套理论，是两套，而且它们在某个地方交叉。

五威廉斯：这只手不能做这件事

威廉斯讲了吉姆的故事。他在南美小镇被告知，如果他亲手枪杀一个印第安人，另外十九个就会被释放；否则二十个都会被处决。功利主义的答案很清楚：杀一个。威廉斯说，这个答案可能是对的，但功利主义得出它的方式是错的。

它把吉姆当作一个把世界推向最优状态的工具，完全不在乎那是吉姆的手在扣扳机。人有自己的计划与承诺，正直意味着一个人的行为出自他自己是什么样的人。一种要求人随时为了总量放弃这一点的理论，威廉斯说，不是道德的，是对人的攻击。它把道德主体变成了一个计算后果的位置，而位置是可以被任何人、任何东西占据的。

六安斯康姆：两个都错了

一九五八年，安斯康姆在一篇论文里同时批评了康德与后果论。她说，“应当”“义务”这些词是从神法伦理里继承来的，立法者已经被抛弃，法的语言却还在用，于是它们成了没有内容的残余。至于后果论，一种允许为了避免更坏结果而处死无辜者的理论，不配被认真讨论。

她的建议是，回到德性。在有一个像样的心理学之前，先停止谈义务，转而研究品格、意图、行动。这篇文章重新开启了一条被遗忘的路，它比康德和边沁都老。

七亚里士多德：太多是崖，太少也是崖

那条路是亚里士多德的。他没有给出一条规则，也没有给出一个算法。德性是两个极端之间的中道：勇敢在鲁莽与怯懦之间，慷慨在挥霍与吝啬之间。但中道在哪里，没有公式，只能靠实践智慧，一种在具体处境里看出该做什么的能力，由经验和习惯养成。

道德的单位不是行为，而是品格。不是这一次做对了，而是成为一个总能看出该怎么做的人。这条路的困难是它给不出可以写下来的东西：你问一个有实践智慧的人“规则是什么”，他会说，看情况。它的力量恰恰也在这里：它承认道德不能被写完。

八斯坎伦：谁都举不起手反对的那一条

斯坎伦在一九九八年提出了第三种办法。道德不是最大化幸福，也不是服从理性立的法，而是我们彼此之间可以为自己的行为向对方辩护的能力。一条原则可以被接受，当没有人能合理地拒绝它；这里的“合理”要考虑每个人的负担，而不是把负担加总。

这样，为了多数人牺牲一个人的原则会被那个人合理拒绝，所以是错的；而电车案例里扳道，可能没有人能合理拒绝。他把道德放回了人与人之间：不是算，不是立法，而是能不能对着对方说得出口。帕菲特后来试图证明，康德的普遍化、斯坎伦的合理拒绝、边沁的最好后果，只要各自说得足够准确，会选出同一组原则，三条路爬的是同一座山。这个证明是否成功仍有争议，但它至少说明，对立也许没有看上去那么深。

九一个必须写下规则的道德主体

现在把这一切放到 AI 上。一辆自动驾驶汽车必须在设计时就决定：撞向五个行人还是撞向一堵墙牺牲乘客。一个语言模型必须被告知，什么话不能说，什么帮不能帮。一个决策系统必须知道，把贷款给谁、把肾给谁。这些决定过去由人在当场做，带着实践智慧、带着正直、带着可以对当事人解释的能力。现在它们必须被提前写下来。

写下来的时候，工程师面对的正是这一问。写后果：定义一个目标，让系统最大化它。这是边沁的路，它可操作，可优化，也带着边沁的全部问题，系统会为了总量牺牲个体，而且比人算得更彻底。写原则：给系统一组规则，不许做什么。这是康德的路，它有底线，也带着康德的全部问题，规则在没预见到的情境里会僵硬地错下去。两条路都在被用，而争论和两百年前一模一样。

十来了一件没写过的事

真正的困难在第三样东西上。人类的道德判断，大部分时候既不是算后果，也不是查原则，而是亚里士多德说的那种看出来：一个有经验的人在具体处境里，看见该怎么做。这种能力没有被写下来过，它在品格里，在习惯里，在威廉斯说的那双手的所有权里。

机器没有这第三样东西。它有后果函数和规则表，来了一件没写过的事，它要么算，要么套，要么停。人来了一件没写过的事，会先看。这个差别在平常的情境里看不出来，因为平常的情境都写过了；它在边缘的、意外的、从没发生过的情境里显出来，而道德恰恰是在那些情境里才真正被检验。

十一后果可以被算，原则要被写，人靠的是第三样东西

于是这一问在今天有了一个新的形状。原则与后果之争，过去是两种道德理论的争论；现在它变成了两种可以被交给机器的东西之争，因为只有这两样可以被写下来。而人类实际依赖的第三样东西，实践智慧、正直、对当事人说得出口的能力，不能被写下来，所以在这场争论里没有位置。

这意味着一种危险：不是机器选错了原则或后果，而是我们为了让机器能执行，把道德本身缩减成了原则和后果。安斯康姆说，义务是失去立法者之后的残余；今天可能出现的是另一种残余：可执行的道德，失去判断者之后剩下的部分。

十二所以，道德应该由原则决定，还是由后果决定？

康德说原则，边沁说后果，福特证明我们两个都信，威廉斯说后果论抹去了人，安斯康姆说两个都是残余，亚里士多德说要看，斯坎伦说要能对人说得出口，帕菲特说三条路通向同一座山。没有一个答案独占了道德，但每一个都守住了一块不能丢的东西：底线，总量，人的完整，具体处境里的判断，对他人的可辩护性。

AI 逼我们从中选出可以写下来的部分，而可以写下来的只有前两样。这让这一问从“哪个对”变成了“写下来之后丢了什么”。丢掉的那部分，正是让道德不只是计算的东西。而计算，正是下一问要面对的：一切价值，都可以用一个数字衡量吗？