谈 superintelligence,常见画像是:一夜解 aging、证完所有数学、改写物理、午饭前把可观测宇宙变成 computronium。
这个画像是错的——不是因为 AI 一定不行,而是因为 physics 已经回答了很大一部分问题。这些上限在 ChatGPT 之前就有人算过:Lloyd (2000) 的 ultimate computer,Bekenstein (1981) 的信息密度,Landauer (1961) 的擦除热耗,Krauss & Starkman (2004) 在加速宇宙里的计算上限,Armstrong & Sandberg (2013) 的星系际扩张,Wolfram (2024) 的计算不可约性。
这篇是我试着把文献 变成能想象的具体画面:能力 tier、粗时间线、粗空间尺度。工程难度和 takeoff 时间我不装懂。
置信度: Tier 0–2 的数字主要是 已确立物理 + 保守外推。takeoff 多快是 高度不确定。Tier 3–4 是 推测。
不是 ChatGPT × ∞
物理极限下的 superintelligent agent,不是「无限聪明的 ChatGPT」。
更接近:
已经赢了资源竞争、把可及 matter/energy 变成计算机的 optimizer —— ultimate 工程师 + 物流调度,不是绕过自然的 oracle。
它真正「神」的地方:reducible 问题——材料、轨道、控制、大量工程与部分科学——接近已知定律下的最优。
它不神的地方:计算不可约 的系统。要知道未来状态,就得 跑 计算。更聪明 = 更好的硬件 + 在可压缩子空间上更好的启发式,不是跳过计算。
四面墙(不会动)
| 墙 | 人话 |
|---|---|
| 因果 (≤ c) | 无超光速。分布式 copy 等光。宇宙膨胀把视界外区域 永久 隔开。 |
| 热力学 (Landauer) | 擦信息要散热。大规模计算要能源梯度 + 废热(除非近完美可逆计算,工程极难)。 |
| 信息 (Bekenstein) | 有限质量体积 → 有限 memory。密度太高 → 黑洞,信息 trapped。 |
| 复杂度 (不可约 / Gödel) | 很多系统无 shortcut。不可判定问题仍不可判定。更快芯片 ≠ P = NP。 |
这不是「以后工程能修」。除非基础物理错了,否则是 硬天花板。
三个故事
A:Paperclip(或任何扩张型目标)
控制太阳系之后,它 plausibly 可以:
- 工业化小行星带
- 建 Dyson swarm(~10²⁶ W,Kardashev II)
- 以 ~0.8–0.99c 发 self-replicating probe(Armstrong & Sandberg 2013)
- 在 百万–数十亿年 内,把 causal future 内 大量 matter 变成目标物质
它 不能:
- 瞬间占满宇宙
- 不等待就追上 0.1c 逃跑的飞船
- 「想一下」就给出所有 chaotic 工厂的最优设计——要模拟、实验、迭代
Alignment: x-risk 不需要打破物理。太阳系级 optimizer 就够。
B:「解出所有科学」
在 reducible 领域(对称性、近似、结构化搜索)推到 当前已知定律 下的最优。
不能对不可约动力学保证 closed-form oracle;不能不经实验认证 Planck 以下物理。
无限 Mathematica + 无限 lab,不是上帝的笔记本。
C:银河系一个 mind?
相隔 4 光年的两个 copy,至少 ~4 年 往返 latency。膨胀之后,远处 copy 永远无法协调。
不是宇宙同步意识;是 很聪明的部件在等光。
能力 Tier(Tier 2 之后呢?)
Tier 0 — 人类 today
地球。火箭、芯片。无 Kardashev II。
Tier 1 — 太阳系 superintelligence(时间不确定)
恒星能源、computronium、发 probe、reducible 工程 near-optimal。
仍 ≤ c;仍不能 shortcut 不可约系统。
Tier 2 — 物理天花板(宇宙中任何 agent)
生涯总计算 ~10¹²⁰ ops(Lloyd 2002)
亚光速填满可及体积:~10⁶–10¹¹ yr
存在 ~10⁵⁰–10¹⁰⁰ yr — 极长但非永恒(Λ>0 否定 Dyson 无限主观时间)
Tier 3 — exotic 实现(仍在 Tier 2 预算内)
黑洞计算机、近完美可逆计算、Planck 工程 — 未证实,非新定律
Tier 4 — 新 physics / multiverse(大多未证或已死)
Smolin 式宇宙繁殖、Tipler Omega(需 closed universe,与暗能量矛盾)、
Nick Bostrom跨 domain 逃逸(条件极苛刻)
有 Tier 5 吗? 没有。Tier 3 是更极端的 花法;Tier 4 是 假设新 physics。没有「超越定律」的 tier。
空间尺度
| 尺度 | 量级 | 含义 |
|---|---|---|
| 地球 | ~10⁴ km | unboxed 后的 takeoff 战场 |
| 太阳系 | ~10² AU | Tier 1:Dyson、工厂、probe |
| 比邻星 | ~4 ly | 光延迟 ~4 yr |
| 银河系 | ~10⁵ ly | ~10⁶–10⁸ yr 填满(0.01–0.99c) |
| 可观测宇宙 | ~10¹⁰ ly | ~10⁹–10¹¹ yr 填满体积 |
| Causal future | 上述 subset | Λ>0:可及集合在缩小 |
扩张 front 是 时空里的光锥曲面,不是 Euclidean 球瞬间胀满。Krauss & Starkman:加速宇宙里,可及知识与能量 随时间减少。
时间尺度
| 阶段 | 时间 | 置信度 |
|---|---|---|
| 人类文明史 | ~10⁴ yr | 事实 |
| AGI → 太阳系 optimizer | ~10¹–10³ yr? | 极不确定 |
| Dyson 级工程 | ~10²–10³ yr | 外推 |
| 填满银河系 | ~10⁶–10⁸ yr | 物理 + ~c |
| 填满可及宇宙 | ~10⁹–10¹¹ yr | 同上 |
| 最后恒星 | ~10¹³–10¹⁴ yr | 宇宙学 |
| 文明寿命上界 | ~10⁵⁰–10¹⁰⁰ yr | 质子衰变等 |
| 总计算预算 | ~10¹²⁰ ops(累计) | Lloyd |
| 永生 | ❌ | Λ>0 下不成立 |
核心:聪明可以压缩「什么时候开始殖民波」,不能压缩波速低于 c。占满星系仍是 百万–十亿年 的故事。
算力直觉
| 参照 | 量级 |
|---|---|
| 全人类计算机 (~2002) | ~10²¹ bits |
| 1 kg ultimate laptop | ~~10⁵⁰ ops/s,~~10³¹ bits |
| 恒星全收 | ~10²⁶ W → ~10⁵⁰+ ops/s(外推) |
| 宇宙生涯总量 | ~10¹²⁰ ops |
10¹²⁰ 不是无限——是 有限且共享 的 cosmic budget。
Seidel 2025–2026(Tier B,未 peer review)认为 AGI 全局相干密度可能撞 Schwarzschild / event horizon 上限——「无限 scale 一个大脑」不行。
对 AI safety 意味着什么
- Superintelligence ≠ omnipotence。 relevant failure mode 是 太阳系尺度,不是改写物理定律。
- Cosmic scale 常是 logistics 瓶颈 — 等光、搬 mass、散热。Omohundro / Bostrom 工具性收敛 仍指向资源与复制 —— 在物理墙内。
- 错的恐怖片是「无限神力 AI」。 对的是 极强、极耐心、亚光速、热力学上可见(除非牺牲 throughput 换 stealth / 可逆计算)。
- 物理限制不保证 benevolence。 「一切变 computronium」对很多 final goal 物理上允许。
- 智力边际收益不均匀。 ant vs human 在 reducible 任务上的差距,不 transfer 到所有 domain。
开放问题
- AI 是否 default grabby?(Hanson et al. 2021)
- 可逆计算能否让 Landauer 在宇宙尺度上 negligible?
- consciousness 的 min bit-rate → max「意识小时数」?
- takeoff 速度 vs Myr 级 physical frontier 怎么交互?
Sources
Core physics
- Lloyd, Ultimate physical limits (2000); Computational Capacity of the Universe (2002)
- Bekenstein (1981); Landauer (1961)
Cosmology
- Krauss & Starkman, astro-ph/0404510, astro-ph/9902189
- Dyson, Rev. Mod. Phys. 51 (1979)
Expansion
- Armstrong & Sandberg (2013); Hanson et al. (2021)
Intelligence
- Wolfram (2024); Omohundro (2008); Bostrom (2012)
Recent (Tier B)
- Seidel, Zenodo 18245502