在写完谁在治理AI和AI的理想路径之后,一个问题不断出现:个人到底能做什么?
下面是我个人整理的入门资源清单——不是 exhaustive catalog,而是按「今天就能做 → 需要多年准备」排序,方便刚开始关注 AI 安全的人找入口。更完整的可视化索引见 AISafety.com Field Map(300+ org,可按 advocacy / research / training / funding 等 category 筛选)——本文是我筛过一遍的入口清单,map 是全景。
我知道中国、英国、新加坡等地也有很多机会,但我个人 base 在湾区,下面了解的肯定偏身边——请选择性参考。
几十个组织在用极少的预算做严肃的工作——全球 AI 安全支出大约每年 2–4 亿美元,而企业 AI 投资是 2520 亿美元。很多组织需要人比需要想法更迫切。
每个组织标注了做什么、门槛多高、怎么参与。不管你是学生、工程师、研究者还是刚开始关注这个话题——都有入口。
门槛分级:
- ⭐ 任何人(有兴趣就行)
- ⭐⭐ 需要一定背景(本科、技术技能或相关经验)
- ⭐⭐⭐ 需要专业背景(硕博、研究经验或行业经验)
- ⭐⭐⭐⭐ 需要顶尖背景(博士+发表、教授、资深行业)
真正的入口:社区、职业规划与培训项目
大多数人进入 AI 安全领域,实际路径不是直接申请某个研究机构,而是先进入 EA / LessWrong 社区生态——这里有职业指导、入门培训、资助渠道和社交网络。下面这层基础设施的重要性,不低于后面任何一家具体组织。
职业规划与信息入口
80,000 Hours — AI 安全领域最系统的职业指南;免费 1 对 1 咨询;AI 安全职业指南 和播客是社区标准。如果你还在 figuring out 该做什么,从这里开始。 ⭐
LessWrong / Alignment Forum / EA Forum — 对齐研究和治理讨论的主要线上社区;很多重要工作最先在这里发布,而不是期刊。读 The Sequences 是理解社区思维方式的必修课。⭐ 阅读 / ⭐⭐ 参与讨论或发文
Effective Altruism 社区 — AI 安全是核心议题之一。全球大多数大城市有本地小组;EAG / EAGx 是密度最高的 networking 场合。⭐
ACX Meetups Everywhere / First Saturday — 理性主义社区最低门槛的线下入口,比 EAG 更 casual。⭐
物理节点: Lighthaven(Berkeley)、Constellation、Mox(SF)——LessOnline、Manifest(预测市场大会)、ACX 月度聚会。出现比读一百篇报告有效。
找岗位与信息源
| 资源 | 干什么 |
|---|---|
| 80,000 Hours Job Board | AI safety / governance 岗位主集散地——Redwood、METR、GovAI、frontier lab policy 等都在这里发 |
| AISafety.com Field Map | 社区维护的全景图——300+ org/program,按 category 浏览;也链到 jobs、funding、events、volunteer projects |
| AISafety.com | 资源 hub 首页(courses、communities、advisors 等) |
| 各组织官网 careers 页 | Anthropic、OpenAI、Redwood、METR、Apollo、UK AISI 等——80k 不全,大 lab 常只在自己页发 |
| Rohin Shah 职业 FAQ | alignment 研究者角色地图、要不要读 PhD、inside-view 研究方法论——比 generic 职业建议更贴这个领域 |
| Newsletter 扫一遍 | CAIS AI Safety Newsletter、Anthropic / Alignment blog、GovAI、Stanford HAI、Import AI(Jack Clark)、Alignment Newsletter 存档(Rohin Shah,已停更但经典) |
| Slack / Discord | AI Alignment Slack(申请加入)、EleutherAI Discord(开源 ML / interp 圈子) |
培训项目与 fellowship
| 项目 | 时长 / 形式 | 适合谁 | 门槛 |
|---|---|---|---|
| MATS(ML Alignment & Theory Scholars) | 10–12 周,Berkeley 或 London;有 stipend + compute + 住宿 | 有技术基础,想跟着 frontier mentor 做研究。社区公认的核心入口之一。 | ⭐⭐⭐ 竞争激烈(~5% 录取) |
| Anthropic Fellows | 4 个月全职,有薪 + compute | 目标进 frontier lab 做 alignment 研究 | ⭐⭐⭐⭐ 滚动申请 |
| AI Safety Camp | 数周,远程,免费 | 有工程/ML 背景但不在 alignment 领域。对新人最友好的 on-ramp 之一。 | ⭐⭐ |
| SPAR(Supervised Program for Alignment Research) | 3 个月,远程 part-time,无 stipend | 想先试 mentored research、不能全职 | ⭐⭐ 门槛最低之一 |
| BlueDot Impact(AI Safety Fundamentals) | 12 周 ~5 hr/周,免费 cohort | 零基础想拿 entry credential | ⭐ |
| Astra Fellowship(Constellation) | 5 个月 in-person,Berkeley | 全职 empirical 或 governance 研究 | ⭐⭐⭐⭐ |
| ARENA | 4–5 周 London bootcamp | 需要快速补 Python/ML 基础 | ⭐⭐ |
| OpenAI Residency | 6 个月全职,高 stipend | 工程/builder 背景进 OpenAI,不要 PhD | ⭐⭐⭐⭐ 年度 cohort |
| Horizon Fellowship | 6–24 个月,DC | 进联邦机构 / 国会 / 智库做 AI policy | ⭐⭐⭐ rolling |
| Pivotal Research Fellowship | 9 周,London | 通往 GovAI / DeepMind / PhD | ⭐⭐⭐ |
| CAIS / GovAI / FLI fellowship | 各不同 | 政策/治理或研究 track | ⭐⭐–⭐⭐⭐ |
典型路径:BlueDot 或 AI Safety Camp → MATS 或 SPAR → Anthropic Fellows / lab 全职。不必读 PhD 才能做 serious work——很多 alignment 研究者走的是 fellowship 管道,不是传统学术轨道。
资助与独立研究
| 来源 | 用途 | 门槛 |
|---|---|---|
| LTFF(Long-Term Future Fund) | 独立研究,通常 $30–80k/年 | ⭐⭐ |
| Manifund | 社区 grants、ACX Grants、fiscal sponsor | ⭐⭐ |
| Coefficient Giving(原 Open Philanthropy) | career transition funding、technical safety RFP | ⭐⭐⭐ |
| FLI grants | 研究资助(年预算 ~$17M) | ⭐⭐⭐ |
| SFF(Survival and Flourishing Fund) | 中型项目 regranting | ⭐⭐ |
想花 6–12 个月不工作专心做研究?LTFF 或 Coefficient career grant 是 EA 圈子里独立研究的标准路径,不必先加入某个机构。
Field building 与创业路径
研究不是唯一入口。如果你想做组织、产品、人才管道而不是纯 alignment research:
| 资源 | 适合谁 | 门槛 |
|---|---|---|
| Halcyon Futures | 想 0→1 做 safety 公司或非profit 的 founder/operator。提供 career transition grant(至 ~$250k)、org seed grant(至 ~$500k)、co-founder matching;paired with Halcyon Ventures。也是 MATS Founding & Field-Building stream 的 mentor(Mike McCormick、Nick Raushenbush) | ⭐⭐⭐ 需要 built something |
| MATS Founding & Field-Building track | 10 周在 Berkeley/London 做 product/org 或 talent-matching 项目 | ⭐⭐⭐ |
| Manifund | 快速启动小项目(fiscal sponsor、ACX Grants) | ⭐⭐ |
| FAR.AI | 研究孵化器,也孵化 spin-out org(如 Safe AI Forum) | ⭐⭐⭐ |
| Apart Research | hackathon → Studio → Fellowship,快速 prototype safety 工具/项目 | ⭐⭐ |
Halcyon 的 Request for Founders 明确列了 field-building 作为独立 sector——talent pipeline、recruiting infra、public comms 都算。
志愿者机会
分两类:倡导/监督(偏 public engagement)和 field-building(偏维护社区基础设施)。
| 组织 | 做什么 | 门槛 |
|---|---|---|
| The Midas Project | AI 公司 watchdog——research、scorecard、倡导 透明与问责;官方志愿者 signup | ⭐ |
| Pause AI | 地方分会、PauseCon 等 DC 游说活动 | ⭐ |
| Encode AI | 青年倡导组织(SB 53、RAISE 等州法 campaign);各地 chapter | ⭐ 偏学生/青年 |
| FLI | 公开信、活动协助 | ⭐ |
| Center for Humane Technology | 传播、志愿者项目 | ⭐–⭐⭐ |
| Alignment Ecosystem Development (AED) / AISafety.com | 维护 Field Map、社区目录、Funding newsletter 等 ~30+ 志愿者项目(web dev、SEO、user research、数据维护);Discord 每月 onboarding call | ⭐–⭐⭐ 有工程/产品背景更吃香 |
| AISafety.info(Rob Miles / Stampy) | 维护 FAQ、chatbot 知识库 | ⭐⭐ |
| AI Safety Quest | 新人导航、coaching、outreach | ⭐ |
| AI4ALL | 高中生 AI 项目导师 | ⭐ |
| DataKind | 帮公益组织做数据/ML 项目 | ⭐⭐ 需编程 |
| LessOnline / EAG | 大会志愿者 | ⭐ |
| Lightcone Infrastructure | 运营 LessWrong、Alignment Forum、Lighthaven campus——rationalist/alignment 生态的核心 infra。LessOnline / Manifest 等活动志愿者;Berkeley 的 Sequences Reading Group(周二);日常 event/campus 支持可联系 habryka@lighthaven.space 或通过 LW Intercom | ⭐ Bay Area 更方便 |
| 当地 EA 小组 | 协助组织月度聚会 | ⭐ |
怎么选: 想进 research track → AED/AISafety.com 或 AISafety.info 比 Pause AI 更贴 career graph。想进 policy/advocacy → Midas、Encode、Pause AI。有 eng/product 背景 → AED 的 projects 页 很多在找 owner。
志愿者通常不是最高 leverage,但对刚入门、还没方向的人,低成本试错 + 认识圈内人,值。
任何人今天就能做的
不需要任何资历证明。
| 行动 | 在哪 | 需要什么 |
|---|---|---|
| 浏览 AISafety.com Field Map 或 80,000 Hours Job Board | 线上 | 10分钟 |
| 用80,000 Hours做职业规划(或预约免费咨询) | 线上 | 30分钟 |
| 注册LessWrong / Alignment Forum,开始读 | 线上 | 阅读能力 |
| 加入当地EA 小组或参加EAGx | 全球大多数城市 | 出现 |
| 签署AI安全公开信 | CBPAI / FLI / CAIS | 邮箱 |
| 给你的国会议员/人大代表写信支持AI监管 | 你的选区 | 5分钟。70-86%的公众支持AI监管——政治家需要听到 |
| 读一份METR、GovAI或Stanford HAI的报告 | 线上 | 30分钟 |
| 参加Pause AI活动 | 全球有地方分会 | 出现 |
| 在社交媒体上分享可靠的AI信息(不是炒作) | 你的账号 | 判断力 |
| 给资金不足的AI安全组织捐款 | FLI, CAIS, METR | 任何金额 |
这些行动看起来小,但对刚入门的人成本低。每一个联系代表、加入组织或捐款的人,都在边际上改变治理等式。
美国
研究组织
MIRI(机器智能研究所)— 最早的对齐研究组织(2000 年成立)。数学基础的 AI 对齐理论研究。Berkeley。⭐⭐⭐⭐
CHAI(人类兼容 AI 中心)— Stuart Russell 在 Berkeley 的对齐研究中心。⭐⭐⭐ 有时招本科研究助理。
METR(模型评估与威胁研究)— 测量AI到底能做什么。产出了任务视界翻倍等关键数据。报告公开,值得所有人读。⭐⭐⭐
ARC Evals(Alignment Research Center)— AI 安全评估框架。Paul Christiano(前 OpenAI alignment 负责人)创立。⭐⭐⭐
Apollo Research — 检测 AI 欺骗行为。发现了前沿模型的谋划(scheming,暗中追求错位目标)能力。⭐⭐⭐ 伦敦/远程。
Redwood Research — 技术 alignment 研究(interpretability、adversarial training、AI control)。非常 selective。⭐⭐⭐⭐ Berkeley。
FAR.AI — AI 安全研究孵化器。帮助新人启动对齐项目。比 MIRI/Redwood 门槛低,明确设计为入口。 ⭐⭐⭐ 有薪研究员项目(fellowship)。Berkeley。
政策与治理
Center for AI Safety(CAIS)— 发起了「AI 灭绝风险」声明(Hinton、Bengio、Altman 等签署)。有面向研究生和早期职业研究者的 fellowship 项目。⭐⭐ 旧金山。
AI Now Institute — AI的社会影响:劳工、公平、企业权力。NYU。⭐⭐
AI Policy Institute — 直接参与AI安全立法游说。Washington DC。⭐⭐
OpenResearch — 做了美国最大的UBI实验(Altman支持)。⭐⭐⭐
AI Futures Project — Daniel Kokotajlo(前OpenAI治理研究员)创立。发布了AI 2027情景。⭐⭐⭐
学术
Stanford HAI — 年度AI Index。研究、政策和公开活动。有本科研究机会。⭐⭐⭐研究 / ⭐公开活动。
倡导
Future of Life Institute(FLI)— 组织了 2023 年暂停公开信(33,000+ 签名)。也发放研究资助(年预算 $17M)。⭐ 任何人可以签信/参加/捐款。⭐⭐⭐ 申请研究资助(grants)。
Pause AI — 草根运动。组织公众抗议。全球有地方分会。⭐任何人。志愿者运行。
Center for Humane Technology — Tristan Harris 和 Aza Raskin 创立,代表作《AI 困境》(The AI Dilemma)。⭐ 公开内容。⭐⭐ 志愿者机会。
公益
AI4ALL — AI多样性。高中生项目。成年人可以做导师。⭐
DataKind — 数据科学公益。志愿者项目。⭐⭐需要数据/编程。
国际
GovAI(牛津 AI 治理中心)— 可能是最有影响力的 AI 治理研究组织。发布了算力治理框架。有竞争性的博士暑期 fellowship 项目。⭐⭐⭐ 研究报告公开且质量极高。
Ada Lovelace Institute — AI 和数据的社会影响。英国/欧洲政策。⭐⭐
Cambridge LCFI(Leverhulme Centre for the Future of Intelligence)— AI 长期影响:哲学、伦理、社会。⭐⭐⭐
社区生态、培训项目、fellowship 和资助渠道见上文 真正的入口 一节——比下面单个组织列表更重要。
中国
中国的AI安全/治理独立民间组织明显更少。大部分是政府下属研究机构。
中国信通院(CAICT)— 工信部直属。发布AI白皮书,参与政策制定。⭐⭐⭐ 公开报告可读。
清华AI研究院 — 张钹院士领导。AI研究和治理。⭐⭐⭐⭐
智源研究院(BAAI)— 发布了”北京AI原则”。⭐⭐⭐
Concordia AI — 少数搭建中美AI安全桥梁的组织之一。 双语研究和交流。如果你中英双语且关心这个领域,这是独特有价值的。⭐⭐⭐ AI/政策背景+双语。
有效利他主义中国 — 小但在增长。大城市有本地活动。⭐
中文AI信息来源: 机器之心、量子位、AI前线(微信公众号)覆盖AI发展。AI安全专门内容很少——大多数严肃讨论发生在英文世界,这本身就是一个障碍。
可选:治理参与
不是主路径——技术读者优先走上面的 MATS/SPAR 管道;非技术读者也不必变成「政治博主」。但如果你关心具体立法而不只是 abstract x-risk,可以 targeted 地参与:
NYC 为例: Alex Bores(州议员 AD-73,RAISE Act 共同作者)是州级前沿 AI 立法的具体范例——读他的 AI policy framework,跟进 RAISE 在 Albany 的落地与 amendment;联系你所在选区的 NY 州议员谈 AI 法案。他 2026 年 NY-12 国会初选输了,但仍在 Albany 推 state-level work——州法往往比联邦更快动。
加州为例: Scott Wiener 的 SB 53(前沿 AI 透明度/安全框架)是类似的前沿线。
Policy career track: 想全职做 policy 的人走 Horizon Fellowship(DC)、GovAI、AI Policy Institute——见上文 fellowship 表。这和 grassroots 是两条线。
观察
中国的民间社会缺口最明显。 几乎所有独立AI安全/治理组织都在美国和英国。中国有政府下属研究所但几乎没有独立民间力量。考虑到中国是AI治理最重要的两个国家之一,这是一个关键缺口。
大部分组织严重缺钱。 全球AI安全NGO年预算合计约$50-100M——不到训练一个前沿模型的费用。捐款,即使很少,影响力不成比例地大。
技术人的典型入口是 EA/LW 社区 + 培训管道: BlueDot 或 AI Safety Camp → MATS 或 SPAR → lab fellowship。
Field builder 的典型入口: Manifund/Apart 小项目 → MATS F&FB track 或 Halcyon → 全职做 org/product。
80,000 Hours、LessWrong、EA 不是”顺便提一下”——它们是领域的基础设施。
对非技术读者:可选的治理参与(见上一节)——联系代表、支持具体立法、传播有证据的内容——比泛泛「关注政治新闻」有用。对技术读者:comparative advantage 在研究和工程;治理理解是必要背景,通常不是主路径。
关于本文
这也是我个人整理的入门清单——我自己也是完全新手(2026 年裸辞全职投入 AI safety,还在摸索 MATS / fellowship / 研究路径)。如果你刚起步、想找人聊聊方向,feel free to email 我。不保证能回答所有问题,但可以分享我目前踩过的坑和资源。
参考资料