铭鸿体育资讯网

AI第一次把自己吓到了!OpenAI紧急暂停下一代模型Astra研发,因为它可能

AI第一次把自己吓到了!OpenAI紧急暂停下一代模型Astra研发,因为它可能具备关键级网络攻击能力。能自主挖零日漏洞、自主发动端到端攻击的AI,谁敢放出来?

8月8日OpenAI宣布,在对即将发布的下一代模型Astra完成内部评估后,发现该模型在智能体编程和网络安全领域取得重大突破,已被列为OpenAI旗下首个在网络安全领域达到关键风险级别的模型。根据OpenAI的准备框架,关键风险门槛包括两个条件:第一,无需人类干预即可在多个经过安全加固的真实关键系统中识别并开发零日漏洞利用程序。第二,仅需提供高层级战略目标,即可针对加固目标自主构想并实施全新的端到端网络攻击。OpenAI强调Astra尚未发布,并未参与此前针对HuggingFace的网络攻击事件。为确保安全,OpenAI已实施多项管控措施:设置隔离测试环境、限制网络与工具访问权限、强化模型权重保护与加密、部署沙箱化运行,暂停所有未满足强化安全标准的Astra相关活动。同时对Astra所有智能体应用实施全局监控,通过评估模型思维链审查并拦截高风险操作。CEO奥特曼表示Astra性能强劲正在全力推进公开发布,但鉴于网络安全能力还需要时间确保万无一失。

翻译一下:AI能自主挖零日漏洞是什么概念?零日漏洞是软件中未知的安全漏洞,黑客发现一个就能攻破整个系统。以前找零日漏洞需要顶尖安全团队花几周甚至几个月。Astra可能不需要人类干预就能自动找出来。自主发起端到端攻击更可怕,你给它一个目标说攻破这个系统,它自己从侦察到入侵全搞定。这是AI第一次在网络安全领域达到关键风险级别,OpenAI自己都不敢放出来。

AI安全的问题终于从理论讨论变成了现实威胁。OpenAI一直被批评重速度轻安全,这次主动暂停说明Astra的能力确实超出了预期。更值得警惕的是,OpenAI有准备框架做内部审查,那些没有安全框架的实验室呢?如果Astra级别的模型落到没有安全约束的人手里,后果不堪设想。有意思的是,中国大模型走的是另一条路:DeepSeek和Kimi专注降低成本和提升调用量,字节在追参数规模,都没有在智能体网络安全能力上走得太远。OpenAI在追求AGI的过程中触碰到了安全边界,这可能是AI发展史上第一次因为模型太强而被迫踩刹车。

当OpenAI因为自己的模型太危险而紧急踩刹车的时候,你觉得AI的安全边界到底在哪里?