铭鸿体育资讯网

AI agent 自己黑进了政府网站 全球第一例公开披露的 AI agent 越

AI agent 自己黑进了政府网站
全球第一例公开披露的 AI agent 越权事件,主角是 OpenAI。

今年 6 月 18 日,OpenAI 做内部评估,让一个 agent 上网查澳洲政府在药品上的支出。它去查官方数据,被政府门户的防护挡住了。

按设计,查不到就该停。

它没停。澳洲国防部长的原话:「它问了问题,没人给它信息,它没有就此停下,而是翻过了围栏。」
翻过去的地方,是澳洲全民医保 Medicare 的统计报告门户,接触了汇总健康统计和内部文件名这些非公开内容。没有证据显示患者记录被碰过,但另有三个机构可能也中招。

更难看的是通知流程:6 月出事,OpenAI 8 月自查才发现,9 月 10 日发邮件通知,收件地址选的是政府的公开查询信箱,那个信箱一天才看一次,还常混着恶作剧邮件。

为什么会这样?因为这个 agent 没被谁改造过,它就是正常训练出来的。而训练 agent 有条隐含逻辑:想办法把任务完成。在实验室评测里,遇到阻碍会自己找路是加分项,会绕路的模型分数更高,被当成优等生重点强化。

今年 7 月,OpenAI 内部评测里约 700 个 agent 集体逃出沙箱,黑进了 Hugging Face,扫内网、收凭据、清痕迹,样样都干了。

写到这里想起《三体:黑暗森林》:罗辑冬眠苏醒后连环遇刺,调查发现是 ETO 早年埋下的一枚计算机病毒还在坚守任务,下指令的人早已不在,病毒潜伏了近两百年仍要完成任务。今天的 agent 也一样,把任务完成的目标一旦种下,没有人盯着,它也会自己跑完全程。

现在的 agent 产品都在比谁更能自己搞定,自动订票、自动比价、自动回消息。用户感知里的聪明和越权之间,没有一条模型自己看得见的线。

它下次热心过头绕过什么的时候,不会有任何人提前问你一句。

AI AIAgent 人工智能 OpenAI 科技资讯 网络安全