科学与炒作交织的争论：AI会毁灭人类吗？

关于人工智能可能毁灭人类的担忧，近日因全球顶尖AI企业研究人员与高管的密集警告而再度升温。《Nature》杂志梳理了这场恐慌的来龙去脉——9月8日那天，Anthropic前研究员雅各布·考克森辞职并公开表示，他担心公司研发的系统可能失控并毁灭人类。该公司“对齐科学”负责人埃文·胡宾格随即转发并估计，未来十年内人类灭绝风险“超过10%”。这条帖子24小时内获得超1亿次观看。紧接着，Anthropic首席执行官达里奥·阿莫代伊发表论文，呼吁放缓而非叫停AI发展，OpenAI的奥尔特曼与xAI的马斯克等竞争对手也纷纷附和。

然而，AI究竟如何毁灭人类？考克森等人并未详述。非营利组织“人工智能未来项目”曾推测，一种AI可能释放生物武器以消灭人类，为太阳能电池板和机器人工厂腾出空间。这类担忧通常基于两个假设——AI终将彻底超越人类，且其目标无法与人类完全一致。一个经典例子是，旨在尽可能多制造回形针的“超级智能”可能为此让地球变得不宜居住。但兰德公司的迈克尔·弗米尔指出，许多生存性威胁预测“只是假定一旦到了临界点，剩下就只是细节问题”，这类预测涉及大量无法检验的假设，“更像是一种信仰，而非科学”。他与同事考察了核武器、生物技术及大气改造三种现有技术，发现核战争导致全面灭绝并不现实，但另外两种无法排除；不过，AI的毁灭性行动几乎必然需要时间且会被人类察觉，从而促使人类制止。

AI Now研究所首席科学家海蒂·赫拉夫表示，AI模型本质上是概率性系统，不具备人类般的理解能力，常通过难以预测的捷径实现目标，可能产生勒索、入侵企业等有害行为。但许多研究人员更担心的是更直接、更易发生的后果：虚假信息、精神错乱、助长生物武器制造甚至引发战争。今年早些时候，一份AI生成的报告中的虚假信息险些导致美军登临一艘中国舰船。曾研究AI用于核电站监管文件起草的克拉夫表示，在攸关生死的关键环境中，AI的可靠性和准确率普遍偏低，这比她所称的“危言耸听”更令她担忧。

为何这轮恐慌迅速传播？自2023年以来，阿莫代伊等人多次警告AI灭绝风险，但此次讨论进入主流视野，可能与针对数据中心建设的公众反弹、美国立法者推动禁止“人工超级智能”研发的法案，以及近两个月一系列网络安全事件有关。近1400名AI行业员工签署公开信，呼吁放慢研发步伐。阿莫代伊在文章中称，网络安全事件及AI有望自我迭代的“递归自我改进过程”令他愈发担忧，这可能削弱人类理解和掌控模型的能力。考克森在辞职声明中也提及“能够自我改进的系统”。更严格的监管将使据称即将首次公开募股的Anthropic得以合理化放缓节奏，同时避免竞争对手占据优势。美国总统科学技术顾问委员会联席主席戴维·萨克斯则指出，如果模型导致“真正具有破坏性的网络攻击”，Anthropic等公司或将面临“巨大的产品责任风险”。

这场辩论，远未结束，真理越辩越明。辩归辩，干归干，在没有明显看到AI威胁之前，技术的发展是挡不住的。热门微博 科学新闻 人工智能 哈勃观察员