著名主持人皮尔·摩根写道，他以前采访斯蒂芬·霍金教授时，霍金曾说过人类面临的最大威胁是如果人工智能学会自我设计。

今天，一名Anthropic的AI研究员雅各布·考克森（Jacob Coxon ）辞职，他透露两家AI巨头正向“自我改进超级智能”加速，安全风险引发内部担忧。

据他的帖子显示，过去三年间，他亲身参与了两家顶尖AI公司的前沿模型研究，但如今越来越担心整个行业的发展方向，认为OpenAI和Anthropic都没有以足够负责任的方式推进人工智能技术。

在他看来，未来的AI系统很可能迅速具备超越人类的能力，不仅能够完成复杂的知识和科研任务，还可能攻击计算机系统、在短时间内改变整个行业，并逐渐获得现实世界中的权力和资源。

更值得关注的是，考克森声称，真正参与AI研发的许多研究人员其实比公众想象得更加担忧。一些AI从业者私下认真忧虑：如果超级智能在未来几年迅速出现，人工智能甚至可能造成整个人类文明的灾难性后果。

但在考克森看来，问题恰恰在于，AI公司即使意识到风险，也很难主动踩下刹车。原因是行业已经形成激烈的竞争格局。一家公司担心自己放慢研发速度后，竞争对手仍然继续推进，于是便不得不加速追赶。最终，各家公司都可能陷入“如果我不做，别人也会做”的循环。

因此将矛头指向目前的AI竞赛机制。他认为，如果超级智能真的可能对人类社会产生根本性影响，那么是否继续向这一方向推进，就不应该只是少数私人企业内部通过会议和公司内部通讯渠道作出的决定。他呼吁主要AI实验室加强协调，建立有关AI研发速度的协议，在无法解决关键安全问题之前，甚至应该考虑暂时限制进一步提升最前沿模型的能力。

考克森同时强调，自己并不是反对人工智能技术，而是反对在尚未充分解决安全和“AI对齐”问题的情况下，一味追求更强大的模型。他尤其担忧一种趋势：研究人员试图一边快速提高AI能力，一边“加速解决”超级智能的安全问题，但目前人类究竟能否真正控制这种系统，仍存在巨大未知。

事件之所以引发关注，还因为Anthropic内部的安全研究人员随后公开回应。Anthropic对齐科学负责人Evan Hubinger表示，他本人同样认为AI存在严重的灭绝风险，并曾公开给出未来十年AI导致人类灭绝概率超过10%的个人判断，同时承认目前仍没有解决超级智能对齐问题的可靠方案。

考克森的辞职再次引发一个需要认真对待的问题，当人工智能能力以越来越快的速度增长，而研发企业又被商业竞争和技术竞赛推动着不断加速时，人类究竟有没有能力在真正失控之前踩下刹车？