← 返回

AI的理想路径

2026年1月29日

我有一段时间撕裂感很强。在硅谷,每天和人聊 AI,读到预测 2027 年前后能力跃迁的材料;出了湾区和中国几个城市,世界上大部分地方还没真正被 AI 碰到。

影响会很大。有人说要么乌托邦要么反乌托邦。准备完全没跟上——不只是技术,更多是制度。E.O. Wilson 那句老话还在用:「石器时代的情感、中世纪的制度、神一样的技术。」AI 把这个错位拉得更开。

湾区人人都在聊 AI,但多数人想的是自己利益范围内的事:投资、裁员、工作机会。认真想 AI 对社会影响的人不多。这让我觉得割裂。

这篇文章我想讨论:从 AI 长远的 x-risk,到当下对社会经济的冲击,有哪些问题我们必须解决?每个问题有多重要、卡在哪、窗口还剩多久、做成和做砸分别长什么样?

Ajeya Cotra 说过一句很狠的话:完美的对齐技术大概只能让未来好大约 20%——剩下的是误用、不平等、指挥链、全球稳定、偏好怎么汇总、元伦理,各有各的圈子要接。“Aligned” shouldn’t be a synonym for “good” 列的那些剩余问题,和 Hay 的「对齐≠繁荣」、Hendrycks 的 Unsolved Problems in ML Safety,是同一类文章。


重要的问题

问题为什么必要最早有用的窗口晚了会怎样主要依赖
控制与验证后面全白做能力关口到来前(现在)不可逆失控 / 部署了也信不过不靠 UBI;靠治理能不能执行
生物与恶意使用灾难性误用立法和行业规范窗口很窄合成 + 模型 + 云实验到处漏和控制重叠;国际套利
国内治理公司不会自愿付对齐成本州法→联邦、选举代价路径被行业锁死分配和产品默认都靠它
中美 / 国际单边暂停、单边重税都没用峰会和危机窗口竞赛锁死分配税也难单边
分配对齐≠繁荣税制现在就能动;UBI 偏晚对齐了但更不平等(预测里的摩擦主菜)靠治理;不靠 ASI
谁写「宪法」对齐到谁的价值习惯锁死前把程序定好被 WEIRD 样本 / 实验室绑架和治理、意义交叉
人的能力与意义有钱≠活得好产品默认现在就能改技能萎缩、人空转市场在推全自动

下面每个问题用同一套结构:

  1. 为什么重要 — 不做会怎样
  2. 真正卡在哪 — 关键问题是什么
  3. 现状 — 证据和制度到哪了
  4. 时间窗口 — 还剩多久
  5. 做成 / 半吊子 / 砸了 — 三种结局
  6. 在现实约束下 — 摩擦、时间线、投入产出;在此基础上什么更值得做(A > B > C),而不是空喊「我们应该」

问题一:控制与验证——模型听话之前,先别失控

为什么重要

如果前沿系统部署之后没法监督、约束、检验,后面谈分配和意义都是空的。这不是「对齐研究的全部」,而是整条生命周期里的工程底线

行业常把三件不同的事揉成一句「我们已经对齐了」:

问的是典型手段
可扩展监督训练时,弱的监督者怎么给更强的模型信号RLHF、宪法式 AI、AI critic
AI control部署时,假设模型可能使坏,怎么把伤害压住沙箱、权限、监控器、否决权
验证你怎么知道前两层真管用基准、红队、探针、日志、权重审计

我在监督 / 控制 / 验证里写过:每一层都可以单独翻车。模型可以在训练里看起来已对齐、过了部署评估,跑起来照样密谋使坏;监控器抓住明显破坏,却漏掉评估时故意藏拙。

Amodei 等人 2016 年的 Concrete Problems in AI Safety 列的是事故侧五题(副作用、奖励黑客、可扩展监督、安全探索、分布偏移)——算是「问题清单」这类写法的早期版本,范围比今天的控制议程窄。Hendrycks 等人 Unsolved Problems in ML Safety 扩成稳健性 / 监测 / 对齐 / 系统性安全四块。国际 AI 安全报告则强调 evaluation gap:部署前测过,经常预测不了真实世界表现。

真正卡在哪

能力往上爬的时候,控制能不能跟得上、还划算吗?Christiano 早就说过:若对齐/控制技术不具竞争力,市场会选更危险但更强的系统;要么全球协调一起付「对齐税」,要么把这税压到够低。

现状

  • 实验室 RSP / 安全框架在增多,多数仍是自愿
  • 外部评估和红队有,但「过了基准」≠「部署后不会骗人」。
  • 开源权重:一旦放出无法召回;微调可以把拒答拆掉(IASR 用「边际风险」框架讨论)。
  • 我在预测文里写过:持久暂停概率低;算力监测相对更可做——可检测、可量化(GovAI 算力治理那条线)。

时间窗口

2026–2028 前后能力关口扎堆出现时,控制方案若还停在幻灯片上,部署压力会先赢。解释性(interpretability)若真能当「AI 的 MRI」,窗口也在同一量级——Amodei 自己把解释性的紧迫性和出口管制绑在一起谈过。

做成 / 半吊子 / 砸了

画面
较好训练监督 + 部署控制 + 外部验证跟上能力;高风险能力默认进沙箱、人类可否决;开源权重有边际风险评估
半吊子基准好看、RSP 漂亮,监控器弱于模型;「对齐了」成公关词
砸了不可逆部署后才发现欺骗;或控制成本太高,没人用

在现实约束下:研究时间线、货架工具、谁该做什么

先把对齐研究大概能走到哪说清楚——否则后面全是空口号。下面数字来自我自己的预测骨架(U1 对齐与共生;控制侧见监督 / 控制 / 验证节点 11 公司治理),是判断用的粗概率,不是精确科学:

事项大致窗口 / 概率读法
公众侧「远程打工级」能力关口(C8 量级)约 2027 下半年–2028 下半年人还能盯,但已经很吃力
内部超人类研究助手 / 对齐惊吓窗口(C9–C10 量级)约 2028 上半年–三季度分叉点;信息若爆出来,政治窗口短
可扩展监督类方法撑过 C8约 0.55有希望,不是板上钉钉
嵌套监督撑到 C9(≥两层)约 0.38迁移失败是常态风险(实验室好看、真实世界塌)
解释性产物真正卡住至少一次前沿发布 / 年到 2028约 0.35别把「AI 的 MRI」当默认路径
内部 AI R&D 强制 CoT + 阴谋分类器到 2028约 0.42可测、可买时间
实验室公开援引 RSP 硬停约 0.12机制在,调用极少
「对齐共生」一路走到长期繁荣区约 0.18(复合)要多条件同时成立

诚实结论:2027–2029 这几年,对齐研究买的是部分控制与时间,不是「C9 之前已经解决」。 治理和分配的钟不会等你把意图对齐做完。

再看政策来之前,业内能先摆上货架的东西——冲击来了桌上没稿,就是 FTX 模式(冲击很大,美国联邦 crypto 硬法仍是零);有现成文本和工具,才签得快。

现在真正能「开箱即用」的,分两层:

  1. 公共品评估栈:英国 AISI 的 Inspect(含沙箱工具包)、METR 的 Hawk 跑在 Inspect 上;Apollo 已弃用自研框架改用 Inspect。危机周里监管机构能抄的,是这类统一接口的评估与日志,不是又一篇公开信。
  2. 商业安全层:Gray Swan 一类(红队 Shade、运行时 Cygnal、众包 Arena;2026 年 Series A 量级融资;多家前沿实验室 system card 引用)——实验室愿意付钱,因为减的是 PR、责任和政企销售摩擦。Lakera / CalypsoAI / Protect AI 被并进传统网络安全大厂,说明这门生意在并入 cyber,不是另起一个「对齐产业」。

安全 NGO 全年量级大约两到四亿美元,对能力侧大约是 600:1 的量级差距;METR 量级二三十人。资源极度稀缺时,排序比情怀重要。

在此约束下,更值得做的事(A > B > C):

  1. A — 让控制/验证在能力爬升时仍「跟得上、还划算」:监控器、沙箱、否决、能迁移的评估(不只是测试集刷分)。Ctrl-Z 一类工作给出过「攻击成功率大降、能力税约 5%」的量级——方向对,但是否泛化仍是开放问题。
  2. B — 做 Inspect 兼容的评估、事件 schema、算力监测原型:研究者和独立机构的主战场。政策来时,监管抄的是现成协议,不是从零发明。
  3. C — 卖实验室已经会买的安全能力(对抗评估、运行时拦截):真实商业路径;清楚它买的是部署侧误用/越狱,弱买 scheming/失控。别把防火墙包装成「对齐已解决」。
  4. D — 解释性当组合拳里的一招,别 All-in。
  5. 低 ROI:等联邦硬法再动手;自建不互通的评估栈;再写一封没有成本的暂停联署(FLI 2023 暂停信:上千签名,政策效果为零)。

相关:对齐范式地图(对齐的是什么)· 恶意行为者成本 · 监督 / 控制 / 验证


问题二:生物与恶意使用——不是一句话「防生物武器」

为什么重要

灾难性误用不需要「失控的超级智能」:需要的是能力门槛下降 + 制度到处漏。合成生物学、蛋白质设计工具、云实验室、前沿模型带来的生物能力提升,叠在一起,把技能门槛往下推。

Cotra 把 misuse 列在「完美对齐也解决不了」的问题第一位:对齐到金正恩的 AI,仍然叫对齐。

真正卡在哪

能不能在能力全面铺开之前,把一整套制度装上——而不是只靠模型拒答?

拒答会被越狱、被开源微调拆掉。真正的卡点在物理和制度瓶颈:谁能下单合成 DNA、谁能进云实验室、高风险生物 AI 工具谁能用。

现状:三层,不是一层

A. 合成筛查(DNA/RNA 订单)

机制到哪了洞在哪
IGSC 协调筛查协议 v3.0成员做序列 + 客户筛查;长度阈值在收紧(协议文本指向更短片段)非成员、跨境套利、oligo 池、台式合成仪、碎片化下单、数据库打不中的新序列
美国 EO 14110 + OSTP 核酸筛查框架联邦资助路径上的认证与筛查未覆盖全部商业合成
screendna.org 公开信Altman、Amodei、Hassabis、Suleyman 与合成厂商、安全界联署,要求强制筛查 + 留痕 + 客户合法性核验立法尚未变成全美统一硬法

B. 模型侧托管访问

NTI bio《生物 AI 工具托管访问框架》(2026-01):按工具风险分级;核验用户合法性;高风险优先 API 托管而非开放权重;资助方给合规托管方算力补贴。

「Know your scientist」三层 KYC(机构背书 → 输出筛查 → 行为监测)可以在不新立法的情况下先跑起来——但没有强制,覆盖率就是自愿者的覆盖率。

C. 云实验室

自动化湿实验降低动手门槛。目前公开的云实验室生物安全事故几乎没有,自动化也还脆——这是时间窗口,不是永久安全。RAND 一类建议是建类似 IGSC 的云实验室安全联盟:KYC、高风险协议必须有人盯着、共享黑名单。

时间窗口

合成强制立法「本届国会」是游说口径;拖过能力上浮,套利和台式设备会把洞撕大。我在生物节点证据科学丰裕路径里写过:IGSC / 强制筛查拼凑成不成功,会直接影响「科学丰裕」那条路径。

做成 / 半吊子 / 砸了

画面
较好强制合成筛查 + 留痕(几乎所有厂商)+ 高风险生物工具托管访问 + 云实验室 KYC + 国际互认(堵住套利)
半吊子仅 IGSC 成员自愿 + 实验室 RSP 拒答 + 开放生物基础模型权重 → 到处漏
砸了显著能力提升已扩散,筛查仍自愿,台式合成绕过

在现实约束下

模型拒答会被拆掉——这不是悲观,是工程事实。真正有杠杆的是物理和制度瓶颈,而且窗口在能力上浮之前。

更值得做的事(A > B > C):

  1. A — 推动合成筛查从自愿变强制(联邦立法 + 州/采购施压 + screendna 联盟扩员),并堵住跨境套利。这是少数两党都说得通、又有物理抓手的题。
  2. B — 高风险生物工具托管访问 +「认识你的科学家」KYC:NTI 框架已经写好;没有强制时覆盖率=自愿者,但仍比只靠拒答强。
  3. C — 云实验室安全联盟(KYC、高风险协议必须有人盯、共享黑名单):事故还少,正是窗口。
  4. D — 模型侧 CBRN 评估与红队:必要,但是第三道门,不能当唯一门。
  5. 低 ROI:只喊「防生物武器」而不碰订单/云实验;或等「完美对齐」再谈误用(对齐到坏人的模型仍然对齐)。

相关:p(doom) 生物节点证据


问题三:国内治理——纸上方案很多,缺的是政治落地

为什么重要

监管如果没有强制力:对齐投入成不了行业规范(谁付对齐成本谁吃亏);再分配很难单边先动;产品上「留空间给人」打不过纯降本自动化。安全、经济、人的体验——都依赖有人在更高层定规则并执行。

这不会凭空发生。CEO 不会跑到国会山说「请监管我,我的产品可能让几千万人失业」。

真正卡在哪

不是「政客懂不懂 x-risk」,而是:不作为的政治代价,什么时候超过作为的成本? 民调里 70%+ 支持监管,联邦硬法几乎没有——瓶颈是转化。我在怎样让政府真正关心 AI 监管政策大变之前发生了什么里写过:沙利度胺、EPA、烟草二手烟、Basel、欧盟 AI 法——共同模式是法案先在抽屉里,冲击来了才加力度;FTX 是反例:冲击很大,美国联邦 crypto 法仍是零。

现状(美国,2026)

政策主要不在国会山写,在州议会和初选里打。详见美国 AI 政策政治地图

  • 加州 SB 53、纽约 RAISE:前沿透明、事件报告、举报人保护等——首批州级硬法模板。
  • 联邦:自愿审查、行政令来回;「十年禁止州管 AI」类条款曾被参议院以 99–1 否决。
  • 选举:行业 PAC 砸重金挡监管派候选人(如 NY-12 Bores 案例,约 700 万美元量级)。
  • 七个以上派系,不是简单的民主党 vs 共和党。

Anderljung 等人 Frontier AI Regulation 把监管需求收成三块:标准制定、注册/可见性、合规执行(自律 → 强制 → 许可)。美国现在最缺的是第三块的联邦版。

时间窗口

2026–2028 的选举与行政周期本身就是变量。州法模板在危机前写好,冲击来时才签得快——Chatham House 说的「现成」治理框架。

做成 / 半吊子 / 砸了

画面
较好州法模板扩散 → 联邦可见性 + 合规;独立于行业的评估能力;游说披露透明
半吊子州法拼布、联邦空转;实验室自愿 RSP 当「已经监管了」
砸了联邦优先权扼杀州法又无替代;或冲击来了桌上没有可签的稿(FTX 模式)

在现实约束下:钱、选举、抗议、举报人

先把 2026 年中的政治现实摆开,再谈「怎么让政府关心」——否则又是空喊。

联邦侧: 实质性前沿硬法仍难产;行政侧是自愿审查 + 抢州法优先权。2025 年 12 月白宫行政令设 AI 诉讼工作组,冲着「过重」的州法;Cruz 式「十年禁止州管 AI」曾被参议院 99–1 否决,但优先权战争没结束(GAAIA 类草案仍在谈「发展侧」有限期优先权)。
州侧: 本届会期已有上百部 AI 相关法;SB 53 / RAISE 是前沿模板。政策主要在州议会和初选里打,不在国会山写完。
钱: The AI Lobby 一类统计:单案反对游说超过约 1000 万美元时,原样通过率大约 12%;反对不到约 100 万美元时大约 62%。行业超级 PAC(Leading the Future 等)和监管派 PAC 在砸选举。NY-12 量级约 700 万美元挡监管派候选人,不是趣闻,是机制。
民意: 70%+ 支持监管,联邦硬法几乎没有——瓶颈是转化,不是「再教育一次公众」。详见怎样让政府真正关心 AI 监管

2026–2028 的诚实预期(带推测,标清楚):
模态路径更像是州法拼布 + 联邦软约束/自愿 + 优先权诉讼,不是全国暂停。2026 中期选举决定谁坐在州议会写下一版模板,往往比「2028 换一个亲安全的总统」更实在——别把白宫当 plan A。劳动冲击、聊天机器人伤害、数据中心选址,可能比纯 x-risk 更容易变成选票议题;x-risk 要搭这些车,而不是等全民上街。

抗议有多有效?
PauseAI / Pull the Plug 一类行动,到 2026 年初伦敦「有史以来最大」也还是几百人量级MIT Technology Review)。FLI 暂停联署:上千签名,政策效果为零。Encode 路径(SB 1047 被否 → SB 53 落地)证明:具体法案 + 州级立法创业比空泛暂停口号管用。街头有用——扩大讨论边界、给媒体素材、给内部游说者社会许可——但在当前规模下,不能当主理论。我预测里「大规模 x-risk 街头运动」概率本来就不高;文章里假装它会来,是不诚实。

举报人保护——制度,不是英雄故事

加州 SB 53(2026-01-01 生效)在劳动法里加了专章:禁止报复;大厂须提供匿名内部渠道;可向州检察长 / 联邦当局披露。保护触发的「灾难性风险」定义很硬:单次事件可合理预见地实质促成 50 人以上死亡或重伤,或 超过 10 亿美元财产损失/损害,且与模型特定能力类别挂钩(生物攻击、失控欺骗等)。覆盖的是特定岗位的 covered employee,不是实验室里每一个人。OpenAI、Anthropic 已公开更新内部政策;联邦 Grassley 版《AI 举报人保护法》(2025-05)若通过,会扩到承包商、降低门槛——时间表不确定。

更关键的诚实读法:举报买的是可见性与政治窗口,不是停训。我在预测节点 4(举报人 / 惊吓)里:惊吓事件后的模态仍是继续训练,边际减速大约 10–15%;持久多边暂停是几个百分点的尾巴。没有现成法案和选举代价,爆料会散掉——Saunders 式路径到国会,不等于算力上限。联邦优先权若掏空州法义务,保护本身也会被削弱。

在此约束下,更值得做的事(A > B > C):

  1. A — 挡住/削弱联邦优先权,保住州法牙齿;同时把 SB 53 / RAISE 模板扩散到更多州。这是目前文档里杠杆最大的负向 + 正向组合。政治地图与派系见美国 AI 政策政治地图
  2. B — Encode 式法案创业 + 幕僚教育:冲击来之前桌上有可签的稿(沙利度胺 / EPA / 欧盟 AI 法的共同模式)。政策追踪、游说地图是联盟基建,本身不是终点。转化机制见怎样让政府真正关心 AI 监管
  3. C — 选举与联盟:砸钱选州级冠军;儿童安全 / 深伪 / 劳工 / 能源选址 / x-risk 分法案合作,不必统一成一个口号。
  4. D — 举报人法律援助与抗报复基建(律师、股权损失缓冲、匿名渠道可用性):让披露「活得下去」;同时推动联邦扩围,但别当 plan A。
  5. E — 街头抗议:当讨论边界与士气工具,明确排在 A–C 之后。
  6. 低 ROI:再写一封无成本联署;只赌 2028 白宫;把「70% 支持监管」当成已经赢了。

问题四:中美与国际——单边几乎无效

为什么重要

全球约九成前沿算力在美中两侧。欧盟 AI 法再完整,两边不协调,效果有限。单边暂停等于决定谁领先;单边先征重税,资本与算力搬家。

真正卡在哪

能不能谈出能核查的底线,而不只是峰会公报?

现状:窄协议 + 各说各话

时间事件实质后续
2024-05日内瓦首轮正式双边 AI 对话美方偏技术前沿风险;中方议程常绑出口管制进展有限——同一房间,不同对话
2024-11拜登–习(APEC 利马)确认人类而非 AI 控制核武器使用决策;军事领域 AI 要谨慎极窄;无训练上限、无验证机制。Reuters
2026-05特朗普–习北京峰会相关表态讨论非国家行为体获取前沿模型的「最佳实践」/对话;美方称因领先才谈得动共识面极窄(非国家行为体);国家间竞赛、能力上限、相互审计基本不在桌上;芯片许可与安全话术并行,验证仍缺

更深的不对称我在中国不太关心 AI safety?写过:西方话语里的 safety(失控、x-risk)和中文公共话语里的「安全」(内容、稳定、可控可信)经常不是同一个词。谈判桌上说「AI 安全」,两边可能各想各的。

UN 《以人类为本的 AI 治理》七条建议(科学小组、政策对话、标准交换、能力网络、基金、数据框架、秘书处办公室)是包容性架构,不是美中竞赛的急刹车。

时间窗口

「因领先才谈得拢」是双刃剑:窗口可能在能力接近时关掉。非国家行为体规范是目前最窄的共同利益——恐怖分子、犯罪团伙、勒索软件——可以当底线,不是上限。

做成 / 半吊子 / 砸了

画面
较好非国家行为体获取规范做实 + CBRN/合成筛查互认 + 算力监测或评估互认;关键基础设施可靠性标准(「防火规范」)
半吊子峰会语言 + 芯片交易叙事,无验证
砸了日内瓦各说各话重演;出口管制过山车;没有底线的全面竞赛

在现实约束下:谈判菜单,不是「促进对话」

可验证的训练上限条约,在我自己的节点 9(多边)里大概是几个百分点的尾巴;论坛式软法才是模态。出口管制今天服务的是对华遏制,不是全球暂停。算力暂停要的芯片计量 / 训练证明,恰恰是验证技术里最不成熟的那一层。在这种现实下,「促进中美合作」若没有菜单,就是空话。

更值得推进的顺序(A > B > C):

  1. A — 非国家行为体获取前沿模型的具体规范(恐怖分子、犯罪团伙、勒索软件):目前最窄、也最可能谈得动的共同利益。做成可核查的报告与 KYC,而不是公报形容词。
  2. B — CBRN / 合成筛查互认:技术上可谈、贸易上可挂钩,直接堵国际套利——和问题二是同一条腿。
  3. C — 评估与安全事件信息互通(窄、可验证):比训练上限现实得多;给国内治理和外部评估输血。
  4. D — 算力监测与验证技术研发:当外交能力建设,不是当已经能上条约的东西。
  5. E — 训练算力上限 / 多边暂停:放在最后;需要 D 成熟 + 政治惊吓。现在拿它当近端主线,是自我安慰。
  6. 低 ROI:假装「AI 安全」中英同义;用出口管制替代安全对话;峰会语言当进展。

相关:出口管制政治 · AI 治理全景 · 中国两个「安全」


问题五:分配——OpenResearch 之后,不能再空喊 UBI

为什么重要

Hay / Cotra / Acemoglu 同一条线:任务对齐的默认均衡 ≠ 繁荣。 模型帮股东把活干了,收益集中,是「对齐成功」完全兼容的结局——我的预测里摩擦情景的典型菜。

USV 的 AGI 经济模型说得很干净:乌托邦和反乌托邦是同一系统两个均衡,差在竞争再分配两个政策变量,缺一不可。只有再分配、没有竞争 → 垄断涨价吃掉转移支付。

真正卡在哪

钱从哪来、多大规模、政治上谁肯先动——以及:现金实验到底证明了什么、没证明什么。

现状:先把 OpenResearch 说清楚

美国迄今最大的无条件现金 RCT 之一(约 6000 万美元):伊利诺伊与得州,1000 名低收入成年人(21–40 岁)每月 1000 美元 × 36 个月,对照组每月 50 美元(n=2000)。核心 NBER 论文 2024–2025 陆续出来。摘要级结论:

动了的没动的 / 精确为零的
基本开支 ↑;闲暇 ↑持久身心健康改善(可拒绝很小效应)
劳动参与 −3.9 个百分点;每周工时 −1~2 小时;个人劳动收入约 −2000 美元/年工作质量、净资产
压力与食物保障短期改善多数儿童学业结果;政治参与
就医利用略升人力资本投资总体不显著(年轻人受教育或有信号)

外推到「AI 之后的 UBI」时必须说清的四条:

  1. 不是全民,是筛选过的低收入年轻成人。
  2. 三年礼物,不是永久制度。
  3. 钱是外部捐赠——没有财政上谁买单(谁付钱)。
  4. 金额远低于「替代工资」的后稀缺情景。

作者口径:现金买的是灵活性和自主空间,替代不了医疗、托儿、住房供给。Altman 之后公开冷却「经典 UBI」叙事,转向所有权 / 算力分享话术——和实验读法一致:钱必要,不够。

财政:Nayebi 门槛与主权基金类比

Nayebi (2025) 给了一个可引用的粗基准:在「不创造新工作」的保守设定下,用 AI 资本租金支撑约 GDP 11% 量级的 UBI(大约人均年 1.2 万美元量级),AI 在可自动化任务上的生产力相对今日自动化大约要到 5–7 倍;若公共对 AI 资本收益的捕获率 Θ 从约 15% 提到约 33%,门槛可降到约 3 倍。Θ 超过约 50%,再提高收益就不大了,尤其当监管 / 对齐成本抬高运营成本时。市场结构也重要:垄断租金让门槛更低,激烈竞争让门槛更高——又和 USV「必须有竞争」拧在一起:竞争有利于消费者,却可能让「纯靠租金发 UBI」更难。

现成类比:

模式是什么给个人发钱?量级直觉
阿拉斯加永久基金分红石油 → 基金 → 年终支票是:2024 年 1702 美元;2025 年 1000 美元(近年常由议会拍板)远低于脱贫 / 替工资;政治皮球
挪威主权财富基金石油 → 全球资产 → 进预算基本不直接发 UBI体量大;不直接发钱的社会分红
OpenAI《智能时代产业政策》(2026)提议国家级公共财富基金,部分由 AI 公司注资提案实验室自己开的菜单,尚未立法

现实梯子(别从 UBI 口号起跳)

  1. 纠正税制对自动化的补贴——美国劳动税负与资本税负长期失衡(Acemoglu 常引的约 25% vs 5% 量级)。先取消扭曲,不必发明新税种。
  2. 拓宽税基:公司税 / 资本利得、自动化劳动、算力 / 电 / token 等选项;同时用竞争政策压垄断。
  3. 主权基金或公共股权——阿拉斯加支票 vs 挪威预算,选政治上能活的。
  4. 放大现金(UBI)或服务(UBS)。OpenResearch 提醒:现金 ≠ 健康与意义。

时间窗口

税制纠偏与州级实验可以现在做。联邦级大规模 UBI 几乎一定偏晚——劳动冲击成为选票议题之后,或危机之后。机器人税「2027 年底前某国落地」类预测市场概率长期不高;OECD BEPS 谈了十五年才半个协议。「政治不配合」不是终点,是要解决的问题——但诚实说法是:危机前把稿子写好,比危机中从零起草现实。

做成 / 半吊子 / 砸了

画面
较好税基跟上资本化 + 竞争活着 + SWF / 股权分享;现金或 UBS 有财政来源
半吊子白皮书 + 阿拉斯加量级支票,收益仍高度集中
砸了对齐成功、GDP 数字好看、多数人议价权塌缩

在现实约束下:再培训值不值得砸大钱?

「把钱花在再教育、岗位改造上」听起来比 UBI 更负责任——但证据比口号冷。

OpenResearch: 现金买到灵活性和闲暇,人力资本投资总体不显著。把 UBI 实验读成「再培训会自动发生」,是误读。
美国公共项目规模: WIOA 失业工人一类预算大约 11 亿美元/年量级;相对「AI 冲击需要 GDP 零点几个点」的讨论,差一个数量级以上。我在教育/再培训交叉节点里:到 2032 年响应失败概率不低;联邦级超百亿包概率不高;再培训速度跑赢自动化时钟的概率大约只有四分之一到三成。
贸易调整援助(TAA)评估(Mathematica / Schochet 等): 参与者拿证、受训明显更多;但失业后前两年就业和收入往往更差(人在受训,不在上班);到第四年差距收窄,就业接近,收入仍常落后。Card 一类主动劳动力市场政策综述:培训短期常小或负,中长期才好转——这是贸易冲击年代的经验,不是 AGI 速度下的保证。
OECD: 雇主出钱的 AI 相关培训,和更好的自我报告结果相关——那是在职改造,不是大规模转岗魔法。正式课程目录里带 AI 内容的比例很低(多国大约百分之零点几到几个点),而高 AI 暴露的岗位空缺比例高得多。

读法: 再培训不是零;它也不是「对齐了但更不平等」的解药。时钟上,METR 任务时长翻倍以月计,公共再培训以年计。

在此约束下,分配侧更值得做的事(A > B > C):

  1. A — 纠正税制对自动化的补贴 + 竞争政策:先取消扭曲、压垄断涨价吃掉转移支付——比新建巨型培训部 ROI 更清楚(Acemoglu / USV 同一条线)。
  2. B — 雇主绑定的在职 upskill / 岗位再设计:同一家公司内改任务边界,比「失业后再进公共训练营」更贴 OECD 证据。
  3. C — 定向过渡 + 工资保险(TAA 教训:证书 ≠ 工资恢复):对明确被替代的队列,保收入比保课程标题重要。
  4. D — 有财政来源的现金或服务(UBI/UBS):必要地板;OpenResearch 提醒必须配医疗/托儿/住房供给,别指望现金自动变成人力资本。
  5. E — 大规模公共「AI 再教育」当主路径:排后面;当作部分缓解,不当繁荣叙事核心。
  6. 低 ROI:空喊 UBI 而不谈谁付钱;空喊再培训而不谈税基与竞争;用阿拉斯加量级支票假装问题解决了。

相关:治理机器经济 · AI 真实经济影响 · 资本主义与不平等


问题六:谁写模型的「宪法」——偏好怎么汇总

为什么重要

实验室说模型「已对齐」,通常指过了伤害基准、遵守系统提示、或在偏好比较里得分不错。那是技术对齐。规范问题是:利益相关者冲突时,系统该优化什么?医生、家属、HIPAA、患者本人——没有普适正确答案。每种训练流水线都在默默选择一种道德结构。

Cotra 的剩余清单里,preference aggregationphilosophy/meta-ethics 明确标成「更像法律与政策,不像再做一个 ML 实验就能收工」。

真正卡在哪

社会选择(把排序合成集体选择)有 Arrow / Sen 等结构极限——我在不可能性定理综述里画过地图。RLHF 用的 Bradley-Terry 假设潜在效用可传递;偏好若循环,标量奖励是虚构。

审议民主传统(Landemore 等)会说:合法性需要说理,不只是投票计数。AI 可以当主持人、翻译、事实核对、聚类——不能自动获得规定「什么算权利底线」的主权。

现状

做法谁在定价值局限
实验室宪法式 AI员工起草原则(常参考人权宣言 + 产品经验)开发者权重过大
RLHF标注员两两比较社会选择被压扁;WEIRD 样本
Collective Constitutional AI(Anthropic + CIP)约 1000 名美国人经 Polis 贡献原则,再训一版模型美国样本;wiki-survey ≠ 完整公民会议;流程参数仍由实验室选

一次公关式「我们问过一千人」,和可修订、有权利底线、多方参与的程序,不是一回事。Positive Alignment 那篇也强调:多方监督,避免一个道德卡口。

时间窗口

价值锁死往往发生在习惯与基础设施成形时。程序设计要赶在「默认宪法」不可逆之前——人类规范本身在变,静态 RLHF 标签有 lock-in 风险。

做成 / 半吊子 / 砸了

画面
较好透明的原则文本;谁参与、什么不可投票(权利底线)、修订周期写清楚;社区可定制 + 薄的全球底线
半吊子一次 Polis 实验当「已经民主了」
砸了隐藏系统提示当事实宪法;或单一全球道德机关

在现实约束下

实验室不会等哲学家开完会再发模型。默认「宪法」正在用员工原则 + RLHF 标注固化。Collective Constitutional AI 证明可以问一千个美国人——也证明一次公关式征询很容易被当成「已经民主了」。

更值得做的事(A > B > C):

  1. A — 在锁死前把程序写清楚:谁参与、什么不可投票、多久修订一次、社区定制与全球薄底线怎么分层——文本本身就是货架,危机或听证时拿得出手。
  2. B — 多方监督,避免一个道德卡口(Positive Alignment 方向):比「全球统一道德机关」现实,也比纯实验室内定干净。
  3. C — 把社会选择极限写进产品与政策简报:Arrow/Sen 不是学究点缀;标量奖励在偏好循环时是虚构——监管和采购方需要听得懂的一页纸。
  4. 低 ROI:再做一个「我们问过公众」的一次性实验当终点;或赌元伦理先被哲学界解决。

相关:对齐范式地图 · 普遍价值与社会科学 · 不可能性定理


问题七:人的能力与意义——钱发了之后呢

为什么重要

Jahoda 说的工作五种潜在功能——时间结构、社交、集体目标、地位、规律活动——钱给不了。FIRE 社区里财务自由后回去工作的比例不低,不是因为没钱,是因为没结构。OpenResearch 健康指标基本没动,和「买到灵活性」同一方向:现金是底线,不是上限。

市场默认把每个任务推到「AI 做、人审」——被动使用损害自我效能;「人先做、AI 改进」更保能力。我在人机协作模型写过四种模式:生成 / 脚手架 / 挑战 / 退后。沃顿象棋类研究暗示:系统调节辅助比用户自选效果好一截——人很难自我调节。

验证成本还是把 AI「宣传里吹的优势」压到真实 1–5 倍的瓶颈之一:人做判断、AI 做机械时,验证更便宜。保留人能力的设计和最大化经济回报的设计,经常是同一个设计——直到市场只优化单位任务成本。

真正卡在哪

怎么让「留空间给人」在商业上活得过「全自动」?税优、监管、采购标准,还是等 Klarna 式客服灾难攒够?

现状

产品默认仍是生成模式。教育与医疗里有增强案例,也有「作业一键生成」式能力掏空。支撑意义感的那些东西——社区、志愿、创作者经济、公民审议——没有人有现成施工图;意义制度证据和 Illich、Vallor、Graeber、Keynes 那一脉都在说这件事难。

时间窗口

产品默认现在就能改。等一代人技能塌了再谈「脚手架模式」,成本高一个数量级。

做成 / 半吊子 / 砸了

画面
较好默认脚手架 / 挑战;高风险领域保留人判;工时下降伴随非工作意义结构
半吊子UBI 支票 + 刷短视频的空闲
砸了技能萎缩 + 人空转 + 对齐了的保姆式 AI

在现实约束下

市场在优化单位任务成本;「留空间给人」不会自动赢。大规模公共再教育(见问题五)跑不赢能力时钟时,产品默认反而是现在就能动、又直接影响能力是否萎缩的杠杆。

更值得做的事(A > B > C):

  1. A — 改产品默认:从「AI 做、人审」挪向脚手架 / 挑战;高风险领域(医疗、教育、法律)用采购与许可卡住「纯生成」。这是少数现在就能做、又不必等联邦 UBI 的事。
  2. B — 用税优 / 采购 / 责任规则让「人在环」活得过全自动:Klarna 式客服灾难是市场学习,太慢也太痛;规则可以提前定价。
  3. C — 雇主内岗位再设计(与问题五的 B 重叠):同一组织内改任务,比失业后再培训更保能力与意义结构。
  4. D — 意义基础设施(社区、志愿、创作者、公民审议):难、慢、没有施工图——但 OpenResearch 和 Jahoda 都说明:只发钱不够。当作长期投资,不当明年 KPI。
  5. 低 ROI:等一代人技能塌了再谈脚手架;把「再教育预算」当成意义问题的答案;默认全自动再事后补课。

相关:什么让人快乐 · 理想难度与学习 · 人机协作模型


七个问题怎么叠在一起

flowchart TB
  subgraph survival [生存底线]
    P1[控制与验证]
    P2[生物与恶意使用]
  end
  subgraph rules [规则层]
    P3[国内治理]
    P4[中美与国际]
    P6[谁写宪法]
  end
  subgraph flourish [繁荣层]
    P5[分配]
    P7[能力与意义]
  end
  P1 --> P3
  P2 --> P3
  P3 --> P5
  P4 --> P5
  P3 --> P7
  P6 --> P1
  P5 --> P7

箭头不是时间顺序,是依赖:谁先卡住谁。控制/生物可以先做;分配很难单边硬推;没钱也没结构,意义也悬空。

个人按技能能做什么,见怎样参与 AI 安全


来源


延伸阅读(本站)