← 返回

个人整理:刚开始参与AI安全的资源

2026年2月1日

在写完谁在治理AIAI的理想路径之后,一个问题不断出现:个人到底能做什么?

下面是我个人整理的入门资源清单——不是 exhaustive catalog,而是按「今天就能做 → 需要多年准备」排序,方便刚开始关注 AI 安全的人找入口。更完整的可视化索引见 AISafety.com Field Map(300+ org,可按 advocacy / research / training / funding 等 category 筛选)——本文是我筛过一遍的入口清单,map 是全景。

我知道中国、英国、新加坡等地也有很多机会,但我个人 base 在湾区,下面了解的肯定偏身边——请选择性参考。

几十个组织在用极少的预算做严肃的工作——全球 AI 安全支出大约每年 2–4 亿美元,而企业 AI 投资是 2520 亿美元。很多组织需要人比需要想法更迫切。

每个组织标注了做什么、门槛多高、怎么参与。不管你是学生、工程师、研究者还是刚开始关注这个话题——都有入口。

门槛分级:

  • ⭐ 任何人(有兴趣就行)
  • ⭐⭐ 需要一定背景(本科、技术技能或相关经验)
  • ⭐⭐⭐ 需要专业背景(硕博、研究经验或行业经验)
  • ⭐⭐⭐⭐ 需要顶尖背景(博士+发表、教授、资深行业)

真正的入口:社区、职业规划与培训项目

大多数人进入 AI 安全领域,实际路径不是直接申请某个研究机构,而是先进入 EA / LessWrong 社区生态——这里有职业指导、入门培训、资助渠道和社交网络。下面这层基础设施的重要性,不低于后面任何一家具体组织。

职业规划与信息入口

80,000 Hours — AI 安全领域最系统的职业指南;免费 1 对 1 咨询AI 安全职业指南 和播客是社区标准。如果你还在 figuring out 该做什么,从这里开始。

LessWrong / Alignment Forum / EA Forum — 对齐研究和治理讨论的主要线上社区;很多重要工作最先在这里发布,而不是期刊。读 The Sequences 是理解社区思维方式的必修课。⭐ 阅读 / ⭐⭐ 参与讨论或发文

Effective Altruism 社区 — AI 安全是核心议题之一。全球大多数大城市有本地小组EAG / EAGx 是密度最高的 networking 场合。⭐

ACX Meetups Everywhere / First Saturday — 理性主义社区最低门槛的线下入口,比 EAG 更 casual。⭐

物理节点: Lighthaven(Berkeley)、ConstellationMox(SF)——LessOnlineManifest(预测市场大会)、ACX 月度聚会。出现比读一百篇报告有效。

找岗位与信息源

资源干什么
80,000 Hours Job BoardAI safety / governance 岗位主集散地——Redwood、METR、GovAI、frontier lab policy 等都在这里发
AISafety.com Field Map社区维护的全景图——300+ org/program,按 category 浏览;也链到 jobs、funding、events、volunteer projects
AISafety.com资源 hub 首页(courses、communities、advisors 等)
各组织官网 careers 页Anthropic、OpenAI、Redwood、METR、Apollo、UK AISI 等——80k 不全,大 lab 常只在自己页发
Rohin Shah 职业 FAQalignment 研究者角色地图、要不要读 PhD、inside-view 研究方法论——比 generic 职业建议更贴这个领域
Newsletter 扫一遍CAIS AI Safety Newsletter、Anthropic / Alignment blog、GovAI、Stanford HAI、Import AI(Jack Clark)、Alignment Newsletter 存档(Rohin Shah,已停更但经典)
Slack / DiscordAI Alignment Slack(申请加入)、EleutherAI Discord(开源 ML / interp 圈子)

培训项目与 fellowship

项目时长 / 形式适合谁门槛
MATS(ML Alignment & Theory Scholars)10–12 周,Berkeley 或 London;有 stipend + compute + 住宿有技术基础,想跟着 frontier mentor 做研究。社区公认的核心入口之一。⭐⭐⭐ 竞争激烈(~5% 录取)
Anthropic Fellows4 个月全职,有薪 + compute目标进 frontier lab 做 alignment 研究⭐⭐⭐⭐ 滚动申请
AI Safety Camp数周,远程,免费有工程/ML 背景但不在 alignment 领域。对新人最友好的 on-ramp 之一。⭐⭐
SPAR(Supervised Program for Alignment Research)3 个月,远程 part-time,无 stipend想先试 mentored research、不能全职⭐⭐ 门槛最低之一
BlueDot Impact(AI Safety Fundamentals)12 周 ~5 hr/周,免费 cohort零基础想拿 entry credential
Astra Fellowship(Constellation)5 个月 in-person,Berkeley全职 empirical 或 governance 研究⭐⭐⭐⭐
ARENA4–5 周 London bootcamp需要快速补 Python/ML 基础⭐⭐
OpenAI Residency6 个月全职,高 stipend工程/builder 背景进 OpenAI,不要 PhD⭐⭐⭐⭐ 年度 cohort
Horizon Fellowship6–24 个月,DC进联邦机构 / 国会 / 智库做 AI policy⭐⭐⭐ rolling
Pivotal Research Fellowship9 周,London通往 GovAI / DeepMind / PhD⭐⭐⭐
CAIS / GovAI / FLI fellowship各不同政策/治理或研究 track⭐⭐–⭐⭐⭐

典型路径:BlueDot 或 AI Safety Camp → MATS 或 SPAR → Anthropic Fellows / lab 全职。不必读 PhD 才能做 serious work——很多 alignment 研究者走的是 fellowship 管道,不是传统学术轨道。

资助与独立研究

来源用途门槛
LTFF(Long-Term Future Fund)独立研究,通常 $30–80k/年⭐⭐
Manifund社区 grants、ACX Grants、fiscal sponsor⭐⭐
Coefficient Giving(原 Open Philanthropy)career transition funding、technical safety RFP⭐⭐⭐
FLI grants研究资助(年预算 ~$17M)⭐⭐⭐
SFF(Survival and Flourishing Fund)中型项目 regranting⭐⭐

想花 6–12 个月不工作专心做研究?LTFF 或 Coefficient career grant 是 EA 圈子里独立研究的标准路径,不必先加入某个机构。

Field building 与创业路径

研究不是唯一入口。如果你想做组织、产品、人才管道而不是纯 alignment research:

资源适合谁门槛
Halcyon Futures想 0→1 做 safety 公司或非profit 的 founder/operator。提供 career transition grant(至 ~$250k)、org seed grant(至 ~$500k)、co-founder matching;paired with Halcyon Ventures。也是 MATS Founding & Field-Building stream 的 mentor(Mike McCormick、Nick Raushenbush)⭐⭐⭐ 需要 built something
MATS Founding & Field-Building track10 周在 Berkeley/London 做 product/org 或 talent-matching 项目⭐⭐⭐
Manifund快速启动小项目(fiscal sponsor、ACX Grants)⭐⭐
FAR.AI研究孵化器,也孵化 spin-out org(如 Safe AI Forum)⭐⭐⭐
Apart Researchhackathon → Studio → Fellowship,快速 prototype safety 工具/项目⭐⭐

Halcyon 的 Request for Founders 明确列了 field-building 作为独立 sector——talent pipeline、recruiting infra、public comms 都算。

志愿者机会

分两类:倡导/监督(偏 public engagement)和 field-building(偏维护社区基础设施)。

组织做什么门槛
The Midas ProjectAI 公司 watchdog——research、scorecard、倡导 透明与问责;官方志愿者 signup
Pause AI地方分会、PauseCon 等 DC 游说活动
Encode AI青年倡导组织(SB 53、RAISE 等州法 campaign);各地 chapter⭐ 偏学生/青年
FLI公开信、活动协助
Center for Humane Technology传播、志愿者项目⭐–⭐⭐
Alignment Ecosystem Development (AED) / AISafety.com维护 Field Map、社区目录、Funding newsletter 等 ~30+ 志愿者项目(web dev、SEO、user research、数据维护);Discord 每月 onboarding call⭐–⭐⭐ 有工程/产品背景更吃香
AISafety.info(Rob Miles / Stampy)维护 FAQ、chatbot 知识库⭐⭐
AI Safety Quest新人导航、coaching、outreach
AI4ALL高中生 AI 项目导师
DataKind帮公益组织做数据/ML 项目⭐⭐ 需编程
LessOnline / EAG大会志愿者
Lightcone Infrastructure运营 LessWrong、Alignment Forum、Lighthaven campus——rationalist/alignment 生态的核心 infra。LessOnline / Manifest 等活动志愿者;Berkeley 的 Sequences Reading Group(周二);日常 event/campus 支持可联系 habryka@lighthaven.space 或通过 LW Intercom⭐ Bay Area 更方便
当地 EA 小组协助组织月度聚会

怎么选: 想进 research track → AED/AISafety.com 或 AISafety.info 比 Pause AI 更贴 career graph。想进 policy/advocacy → Midas、Encode、Pause AI。有 eng/product 背景 → AED 的 projects 页 很多在找 owner。

志愿者通常不是最高 leverage,但对刚入门、还没方向的人,低成本试错 + 认识圈内人,值。

任何人今天就能做的

不需要任何资历证明。

行动在哪需要什么
浏览 AISafety.com Field Map80,000 Hours Job Board线上10分钟
80,000 Hours做职业规划(或预约免费咨询线上30分钟
注册LessWrong / Alignment Forum,开始读线上阅读能力
加入当地EA 小组或参加EAGx全球大多数城市出现
签署AI安全公开信CBPAI / FLI / CAIS邮箱
给你的国会议员/人大代表写信支持AI监管你的选区5分钟。70-86%的公众支持AI监管——政治家需要听到
读一份METRGovAIStanford HAI的报告线上30分钟
参加Pause AI活动全球有地方分会出现
在社交媒体上分享可靠的AI信息(不是炒作)你的账号判断力
给资金不足的AI安全组织捐款FLI, CAIS, METR任何金额

这些行动看起来小,但对刚入门的人成本低。每一个联系代表、加入组织或捐款的人,都在边际上改变治理等式。


美国

研究组织

MIRI(机器智能研究所)— 最早的对齐研究组织(2000 年成立)。数学基础的 AI 对齐理论研究。Berkeley。⭐⭐⭐⭐

CHAI(人类兼容 AI 中心)— Stuart Russell 在 Berkeley 的对齐研究中心。⭐⭐⭐ 有时招本科研究助理。

METR(模型评估与威胁研究)— 测量AI到底能做什么。产出了任务视界翻倍等关键数据。报告公开,值得所有人读。⭐⭐⭐

ARC Evals(Alignment Research Center)— AI 安全评估框架。Paul Christiano(前 OpenAI alignment 负责人)创立。⭐⭐⭐

Apollo Research — 检测 AI 欺骗行为。发现了前沿模型的谋划(scheming,暗中追求错位目标)能力。⭐⭐⭐ 伦敦/远程。

Redwood Research — 技术 alignment 研究(interpretability、adversarial training、AI control)。非常 selective。⭐⭐⭐⭐ Berkeley。

FAR.AI — AI 安全研究孵化器。帮助新人启动对齐项目。比 MIRI/Redwood 门槛低,明确设计为入口。 ⭐⭐⭐ 有薪研究员项目(fellowship)。Berkeley。

政策与治理

Center for AI Safety(CAIS)— 发起了「AI 灭绝风险」声明(Hinton、Bengio、Altman 等签署)。有面向研究生和早期职业研究者的 fellowship 项目。⭐⭐ 旧金山。

AI Now Institute — AI的社会影响:劳工、公平、企业权力。NYU。⭐⭐

AI Policy Institute — 直接参与AI安全立法游说。Washington DC。⭐⭐

OpenResearch — 做了美国最大的UBI实验(Altman支持)。⭐⭐⭐

AI Futures Project — Daniel Kokotajlo(前OpenAI治理研究员)创立。发布了AI 2027情景。⭐⭐⭐

学术

Stanford HAI — 年度AI Index。研究、政策和公开活动。有本科研究机会。⭐⭐⭐研究 / ⭐公开活动。

倡导

Future of Life Institute(FLI)— 组织了 2023 年暂停公开信(33,000+ 签名)。也发放研究资助(年预算 $17M)。⭐ 任何人可以签信/参加/捐款。⭐⭐⭐ 申请研究资助(grants)。

Pause AI — 草根运动。组织公众抗议。全球有地方分会。⭐任何人。志愿者运行。

Center for Humane Technology — Tristan Harris 和 Aza Raskin 创立,代表作《AI 困境》(The AI Dilemma)。⭐ 公开内容。⭐⭐ 志愿者机会。

公益

AI4ALL — AI多样性。高中生项目。成年人可以做导师。⭐

DataKind — 数据科学公益。志愿者项目。⭐⭐需要数据/编程。


国际

GovAI(牛津 AI 治理中心)— 可能是最有影响力的 AI 治理研究组织。发布了算力治理框架。有竞争性的博士暑期 fellowship 项目。⭐⭐⭐ 研究报告公开且质量极高。

Ada Lovelace Institute — AI 和数据的社会影响。英国/欧洲政策。⭐⭐

Cambridge LCFI(Leverhulme Centre for the Future of Intelligence)— AI 长期影响:哲学、伦理、社会。⭐⭐⭐

社区生态、培训项目、fellowship 和资助渠道见上文 真正的入口 一节——比下面单个组织列表更重要。


中国

中国的AI安全/治理独立民间组织明显更少。大部分是政府下属研究机构。

中国信通院(CAICT)— 工信部直属。发布AI白皮书,参与政策制定。⭐⭐⭐ 公开报告可读。

清华AI研究院 — 张钹院士领导。AI研究和治理。⭐⭐⭐⭐

智源研究院(BAAI)— 发布了”北京AI原则”。⭐⭐⭐

Concordia AI少数搭建中美AI安全桥梁的组织之一。 双语研究和交流。如果你中英双语且关心这个领域,这是独特有价值的。⭐⭐⭐ AI/政策背景+双语。

有效利他主义中国 — 小但在增长。大城市有本地活动。⭐

中文AI信息来源: 机器之心、量子位、AI前线(微信公众号)覆盖AI发展。AI安全专门内容很少——大多数严肃讨论发生在英文世界,这本身就是一个障碍。


可选:治理参与

不是主路径——技术读者优先走上面的 MATS/SPAR 管道;非技术读者也不必变成「政治博主」。但如果你关心具体立法而不只是 abstract x-risk,可以 targeted 地参与:

NYC 为例: Alex Bores(州议员 AD-73,RAISE Act 共同作者)是州级前沿 AI 立法的具体范例——读他的 AI policy framework,跟进 RAISE 在 Albany 的落地与 amendment;联系你所在选区的 NY 州议员谈 AI 法案。他 2026 年 NY-12 国会初选输了,但仍在 Albany 推 state-level work——州法往往比联邦更快动

加州为例: Scott Wiener 的 SB 53(前沿 AI 透明度/安全框架)是类似的前沿线。

Policy career track: 想全职做 policy 的人走 Horizon Fellowship(DC)、GovAI、AI Policy Institute——见上文 fellowship 表。这和 grassroots 是两条线。


观察

中国的民间社会缺口最明显。 几乎所有独立AI安全/治理组织都在美国和英国。中国有政府下属研究所但几乎没有独立民间力量。考虑到中国是AI治理最重要的两个国家之一,这是一个关键缺口。

大部分组织严重缺钱。 全球AI安全NGO年预算合计约$50-100M——不到训练一个前沿模型的费用。捐款,即使很少,影响力不成比例地大。

技术人的典型入口是 EA/LW 社区 + 培训管道: BlueDot 或 AI Safety Camp → MATS 或 SPAR → lab fellowship。

Field builder 的典型入口: Manifund/Apart 小项目 → MATS F&FB track 或 Halcyon → 全职做 org/product。

80,000 Hours、LessWrong、EA 不是”顺便提一下”——它们是领域的基础设施。

对非技术读者:可选的治理参与(见上一节)——联系代表、支持具体立法、传播有证据的内容——比泛泛「关注政治新闻」有用。对技术读者:comparative advantage 在研究和工程;治理理解是必要背景,通常不是主路径。


关于本文

这也是我个人整理的入门清单——我自己也是完全新手(2026 年裸辞全职投入 AI safety,还在摸索 MATS / fellowship / 研究路径)。如果你刚起步、想找人聊聊方向,feel free to email 我。不保证能回答所有问题,但可以分享我目前踩过的坑和资源。


参考资料