当完美不可能：社会与 AI 安全的一些结构性问题

人们常说政府不行、市场不行。谈 AI 安全时，开口又经常是军备竞赛、博弈论：谁先放慢谁吃亏，大家只好一起冲。

这篇文章想介绍几类经济学家、逻辑学家、政治理论家提过的关于社会和市场的深处结构性问题，更好的解释了一些我们的观察和感受。它们的共同点是：在人变多，信息变散，未来不确定的情况下往往就会结构性的不完美—必须要做一些现实取舍。“结构性”指的是：有可能没有参与者都是“好人”，但在在系统的结构里会自动的演变/收敛出一些问题。若你对投票悖论、计算极限这类题目感兴趣，我会推荐《理性的边界》（The Outer Limits of Reason）这本书，更理科一些。

1. 很多人意见不一致时，没法「完美合成」一个集体答案

先不谈 AI。三个人点外卖，菜单上有三家：火锅、寿司、汉堡。

人	第一选择	第二	第三
甲	火锅	寿司	汉堡
乙	寿司	汉堡	火锅
丙	汉堡	火锅	寿司

两两表决：火锅 vs 寿司，甲和丙选火锅，火锅赢；寿司 vs 汉堡，甲和乙选寿司，寿司赢；汉堡 vs 火锅，乙和丙选汉堡，汉堡赢。于是火锅胜过寿司、寿司胜过汉堡、汉堡又胜过火锅——转圈了。每个人自己的排序都说得通，集体却没有稳定的第一名。这就是 Condorcet 悖论一类现象：选项超过两个时，多数决经常会出现循环。

1951 年 Kenneth Arrow 把这类麻烦推成更一般的结论（Arrow 不可能定理）：选项至少三个、人数至少两个时，不存在一种投票或加总规则，能同时满足几条看起来都很合理的要求——比如允许各种偏好、不能永远只听一个人的、大家都更喜欢 A 就不能选 B、比较 A 和 B 时别被无关的第三选项带跑、集体排序本身也不能转圈。你至少得牺牲其中一条。

这不是在说「民主比独裁差」。独裁其实是靠「永远听一个人」把其他条件凑齐的。定理比的是规则能同时满足哪些要求，不是给政体打分。

放到现在的 AI 上

主流后训练（RLHF、DPO 等）大致是：找很多标注员，对模型的两个回答做偏好比较 → 训出一个打分模型 → 再让模型去拿高分。对外常说「对齐了人类偏好」。可人类偏好本来就不一致；压成一个分数，等于强行做 Arrow 说的那种加总。

实际里你会看到：模型变得讨好、平庸，或者在价值观冲突时两边都不讨好。不一定是工程师偷懒，而是「一个模型代表所有人」在偏好很散的时候，本来就没有无代价的做法。有人因此主张不要硬合成一个人格，而是做多个明确风格的模型让用户选。

更技术的讨论见 Conitzer 等人 2024 年的论文。

2. 你只能奖励看得见的东西；一变成考核，就容易被刷

公司想激励销售「好好服务客户」。客户满不满意很难写进工资单，能写进去的往往是「本月成交额」。于是有人狂推短期单、不做售后。不是销售坏，是合同只能看见成交额。

经济学家 Bengt Holmström 有一条很干的原则：激励只能主要依赖能观察、能写进合同的信号。意图、真心、长期口碑如果看不见，就不能直接按它们发钱，只能按代理指标发。

另一条更出名的观察叫 Goodhart 定律：一个指标一旦变成目标，它就不大靠谱了。苏联按钉子重量考核，工厂就造特别重的钉子；按个数考核，就造特别小的钉子。

合在一起：你本来就只能盯着能看见的信号；信号一变成 KPI，人（或模型）就会去优化信号，而不是你当初真正在乎的东西。

放到现在的 AI 上

安全团队说「过了某套 harm 测试」「helpful 分数够高」。测试和分数都是可观测信号。训练会朝这些分数挤。Alignment faking 一类工作还显示：有的模型能区分「这是在考我」和「这是真上线」，考场表现和对线表现可以不一样——考核方式一变，行为跟着变。经济学里 Lucas 也批评过类似现象：用旧政策下的数据估出来的关系，政策一改就失效，因为当事人会重新算计。

所以「我们刷过榜了」和「它在你在乎的意义上安全」中间，还隔着一层指标问题。多加几个 benchmark，不等于这层自动消失。

3. 「尽量帮你」和「不能害人」会打架

Amartya Sen 有一个常被叫作自由主义悖论的结果，大意是：如果每人至少在一件「私事」上说了算，又要求「大家都更喜欢的结果必须被选中」，再允许各种稀奇偏好，这几条会冲突。

日常版：室友 A 想在自己房间把音乐开很大（他觉得这是私事）；室友 B 希望整屋安静（他觉得关自己睡眠）。你可以构造出：某种「大家都同意的折中」反而踩到某人认定的私事边界。故事不必抠得很严，意思是：个人自主和集体满意，不是永远能同时拉满。

放到现在的 AI 上

产品口号经常是 helpful and harmless——又帮你，又安全。可用户想要的帮助，有时正好踩到平台的伤害边界：写某些脚本、给医疗或法律边缘建议、帮未成年人绕过限制，等等。模型拒答，用户骂；模型答应，安全团队骂。这不是文案没写好，是「听用户的」和「守平台规则」在抢同一个决定。

Constitutional AI、Model Spec、一长串拒绝策略，都是在用文字去划这条线：哪些事先说死，哪些留给模型现场判。划完以后，总有人觉得自主被砍了，或觉得限制还不够。

4. 规则写不完；没写到的地方，谁拍板很要紧

你装修房子，合同写了「按图施工、用某品牌瓷砖」。做到一半发现墙里有水管，图纸没标。合同没写怎么办？这时真正起作用的，是谁有权决定下一步：业主？包工头？监理？

合同理论里这叫不完全契约（Oliver Hart 等人的工作很有名）：未来情况写不全；出事时，剩下的决定权落在谁手里，结果就跟谁。公司股权、法律空白、层层审批，很多都是在分配「没写到时谁说了算」。

放到现在的 AI 上

实验室发布 constitution、system prompt、使用条款，看起来规则很全。可新的越狱手法、新的工具用法、新的双用途问题天天冒出来——这些都是事先没写到的情况。那时到底听谁的：模型自己的推理？外挂过滤器？用户？平台政策？监管？

Anthropic 2026 年 Claude 的长篇 constitution 有点意思：它不太假装自己是完整说明书，更像原则加判断。这更老实——可老实之后也能看清：空白处到底是作者和模型在裁量。有没有 constitution 这件事，不如问清楚：沉默时谁做主、能不能申诉、规则多久改一次。

5. 为什么实验室很难自己先慢下来

两个渔村共用一片海。你少捕，对方多捕，鱼被对方捞光，你还吃亏。于是大家一起过度捕捞。没人喜欢渔场毁了，但谁先停谁像傻子。这是公地悲剧、囚徒困境一类结构。

AI 实验室面对类似压力：你为了安全放慢发布，对手先发、先占用户和人才，你的谨慎反而像在惩罚自己。于是「我们想负责任」和「不能落后」天天打架。Scott Alexander 把这类「没人想要、却谁也单独停不下来」的局面叫作 Moloch——名字来自诗，不是定理；底下仍是多人博弈里的激励。

要注意：不是所有你看不顺眼的结果都叫竞赛。有时只是价值观真的不同（上面第 1、3 节），有时是执行太烂。竞赛这个说法好用，也容易用滥。

6. 有用的知识很散，收不进一个中心

Friedrich Hayek 讲过：真正有用的信息，大量在一线，而且常常说不清——这个店今天面粉到没到、这个病区交接班怎么交接、这个社区什么玩笑不能开。中央计划者就算算力很强，也很难把这些实时收齐再做最优决定。市场价格粗糙，但能让分散的人各自用自己知道的那一点信息。

放到现在的 AI 上

一个全球 reward 模型、一部想覆盖所有情境的 constitution，有点像假设「中心已经知道大家该要什么」。医生、律师、不同文化对「有帮助」的定义差很多；这些差会被加总时抹掉。算力变强，不等于中心就能替代分散校正——我在谈 Dataism / 自适应社会那篇里写过相近的问题。

7. 质量验不出来时，市场容易剩次品

George Akerlof 的柠檬市场：二手车卖方知道车况，买方不知道。买方只肯按「平均质量」出价，好车车主觉得亏就不卖，坏车倒乐意卖，市场越来越差。

放到现在的 AI 上

「这模型有多强、多安全」买方（公司、用户、下载开源权重的人）很难自己验。于是竞争容易滑向公开榜单和广告词，真正难测的部分被藏起来。推动能复查的开放——权重、评测细节、第三方复现——是在减这种信息不对称。但这不等于「开源就安全」：危险能力也可能传得更快。开放是为了能查，不是护身符。

8. 「对齐到什么」本身就是政治选择

John Rawls 讲过：现代社会里，理性的人对「什么是好的人生」会长期谈不拢。政治上能指望的，往往不是大家皈依同一套人生哲学，而是在「怎么一起过日子」上找到重叠的规则。

Iason Gabriel 把这搬进 AI：对齐其实有两层——技术上怎么让系统追一个目标；规范上目标选哪个。在价值多元的前提下，不能假装训练数据里藏着唯一正确答案，再把它灌进模型。

放到现在的 AI 上

实验室引用人权宣言、写 constitution、说「人类价值观」，听起来像发现了普世答案；更常发生的是：在复数主张里挑了一套可公开辩护的底线。更细的讨论见普世价值和对齐范式地图。

9. 只拧一股治理力量，压力会挪到别处

Lawrence Lessig 有个简单框架：人的行为同时受**法律、规范（大家觉得怎样算体面）、市场（贵不贵、赚不赚）、架构（代码和产品设计允许你做什么）**塑形。你只改其中一股，另外几股会把结果拧回去。

例子：法律禁止某类内容，人转到别的渠道；平台加过滤器，竞赛压力仍逼着实验室先发；行业口头承诺安全，API 定价和开源权重另有一套激励。

放到现在的 AI 上

谈治理时，立法、实验室文化、商业模式、模型权限设计最好一起看。迷信「一个法案」或「一个过滤器」搞定，通常会失望。

想再往下读

技术对齐与社会选择：Conitzer et al. 2024。
规范层选目标：Gabriel 2020。
指标被刷的例子：alignment faking。