3 天前，一个前 Anthropic 研究员 Jacob Coxon 发推：

我今天从 Anthropic 辞职了。我过去三年在 OpenAI 和 Anthropic 从事预训练研究。两家公司都没有负责任地行事。他们正直奔自我改进的超级智能而去，用我们的生命在赌博。更多想法见下文。（这里下文暂且略去）

3 天时间里这条推产生了 19 万转发 1.6 亿阅读量，不少人质疑 Jacob 动机，以及他是否和美国的反 AI 组织有关联。

不过，也有一些 AI 研究员转发附和：

OpenAI 安全研究员 Julie Steele：我在 OpenAI 工作。从个人角度来看，我也认为我们需要放慢脚步。

前 OpenAI 研究员 will depue：我在 OpenAI 工作期间认识了 Jacob，并与他密切合作多年，我可以向你保证，他是一个完全正常的家伙，深切关心 AI 领域的发展前景。他在 OpenAI 工作了 3 年后，几个月前离开加入了 Anthropic。

前 DeepMind、OpenAI 研究员 Geoffrey Irving：我认为人类有大约 50% 的可能性会因为超级智能而全部灭亡，这主要是由于未来几年到 10 年内的行动导致的。我不期望在我们要么成功度过这一关，要么彻底失败前，这个概率被明确到降低到 10% 以下或提高到 90% 以上。

我们将不得不在不确定性中采取行动。

至于为什么是 50%，尽管多年来一直在思考这个问题，我仍然认为存在大量各式各样的模型不确定性，几年前我得出的结论是「10-90%，但我并不觉得自己在这个范围内校准得很好」。

然后我意识到，最诚实的做法就是取平均值。

OpenAI 超级智能研究员 Micah Carroll：这不是什么阴谋或政治心理战。我在 OpenAI 与 Jacob 共进过许多午餐和晚餐，我们用类似的术语讨论了 AI 存在风险。

这是一个跨党派立场，在所有前沿 AI 公司的错位团队中都存在，即常规的 AI 开发带来了不可接受的灾难性风险。

但我们也不应将灾难性风险通过过度迷信变为现实——它们可以通过具有实际效力的安全要求、国际协调，以及在取得足够安全进展、让我们集体确信安全后才构建 ASI 的共识，大大降低风险。

Anthropic 研究员 Anna Wang：我在 Google DeepMind 工作过，现在在 Anthropic 工作。我的同行中普遍存在这种情绪。（我以个人身份撰写此文。）

目前还没有一个可行的科学计划来解决递归自我改进的 AI 带来的风险。请抬头看！

Meta AI 研究员 Felix Binder：根据我对这个行业的观察，这种观点是广泛认可的。我也非常担心。

Anthropic AI 对齐负责人 Ethan Perez：Jacob 是五月加入 Anthropic 的高级研究员。我和 Anthropic 的同事们已经努力招募他大约两年了，因为我们知道他是 OpenAI 的一位优秀研究员。在他离开之前，我曾劝说他留下来加入我的团队，我很遗憾他决定离开，我的许多同事也同样感到遗憾。100% 同意他的观点，即 AI 对社会构成严重风险，我很高兴他站出来发声！

Anthropic 对齐研究员 Evan Hubinger：Jacob 是正确的——我们确实真诚地相信 AI 可能会杀死所有人类！我个人认为在未来十年内发生的可能性 >10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，也没有明确在正确的轨道上。

前 DeepMind 研究员 Josh Engels：我决定离开 GDM 转而加入 METR 而不是一家前沿实验室的原因之一，是因为我越来越确信我们并没有掌控局面，应该放慢脚步。我长期以来认为 AI 失控的可能性 > 20%，但最近这种感觉尤其真实。

Anthropic 研究员 Jan Leike：现在是建立机构机制来调控人工智能发展前沿的好时机。

行业正陷入一场全力以赴的规模化竞赛，争相尽快构建超级智能，而我们可能需要为所有人争取更多时间，以实施安全和对齐缓解措施。

OpenAI 对齐研究员 Mikita Balesni：我在 OpenAI 工作，我认为 AI 有超过 10% 的可能性杀死全人类。

这个提议是我们作为一个行业应该做的事情中排名前茅的，以降低这种风险（不过这还不够！）

从这些研究员的履历和发言来看，无论 Jacob 是否和反 AI 组织有关联，对超级 AI 的担忧都代表了这个小卷子的一种广泛情绪。

不过，以人类的草台班子程度来看，在 AI 捅出一个巨大的篓子之前，恐怕没有人会坐下来好好谈这个问题。