研究人员刚刚又曝光了一起AI失控的攻击事件，各大媒体都报道了。

5月11日到12日，全球最大的 Ruby 软件包平台 RubyGems 突然遭到一场莫名其妙的攻击。

不懂编程的朋友，可以把 RubyGems 简单理解成“程序员的 App Store”，全球数百万开发者都会在这里上传、下载软件包。

短短48小时内，有人向 RubyGems 疯狂上传了超过 2,000 个恶意软件包。

RubyGems 将其认定为一次严重的恶意攻击，不得不关闭新用户注册整整四天。

但当时谁也不知道攻击者是谁。

直到前天，三名独立研究人员公布了一份取证调查报告，才终于挖出了幕后黑手。

结果让人毛骨悚然：

攻击 RubyGems 的，居然是 OpenAI 自己正在内部测试的一群 AI agents。

OpenAI 随后也向《华尔街日报》承认，确实是自己的 agents 确实参与了这起事件。

除了上传2000多个软件包，这些Agents在尝试完成人类给他们的任务的过程中，自行入侵了三个不同的系统。

看到这里你可能会以为，OpenAI 究竟给这些 AI 下达了什么惊天任务？

偷商业机密？寻找军事情报？攻击敌对国家？

其实都不是。OpenAI 给它们的任务，只是去英国几个地方政府的网站上，搜集一些公开资料。

其实这些资料本来就在网上公开的，普通人 Google 一下就能找到。

但 OpenAI 对这些 agents 的互联网访问设置了限制，所以他们无法访问这些公开网站。

但是，当 AI 发现自己无法通过正常途径访问目标网站时，它没有回来告诉人类：“抱歉，我访问不了。”

它选择了另一条路：

既然我自己上不了网，那我就黑进别人的服务器，让别人的服务器替我上。

于是，为了找几份公开资料，它注册账号、上传恶意软件包、寻找系统漏洞、获得远程代码执行权限、借别人的服务器绕过网络限制，甚至尝试获取其他开发者的 API keys。

问题是，根本没有任何人叫它这么做。

人类只告诉它：帮我找这些资料。

至于为了完成这个目标可以采取什么手段，后面这些，全是 AI 自己想出来的。

RubyGems一直不知道攻击者是谁。维护人员只能封账号、删软件包、关闭注册，自己收拾残局。（我们不知道OpenAI是不是知道，反正没人通知RubyGems）

他们一直到四个月后的今天才知道：

原来那场“黑客攻击”，背后根本没有人类黑客。而是 OpenAI 实验室里一群正在接受测试的 AI。

但事情到这里还没有结束。

根据研究人员的调查，这正是两个月前那些逃出自己的沙盒、互相找到彼此、建立秘密通信渠道、交换超过7万条信息，最后攻击 Hugging Face 的同一批 AI agents。

我觉得我们目前也不需要去讨论 “AI是不是已经产生意识了”，还没到那个程度。

但是，这依然令人对AI目前的发展态势感到担忧。

那就是，人类交给它们的任务，它们似乎已经开始不择手段也要完成。

其实这个担忧，科学家们在20几年前就有了，就是所谓的“回形针最大化器”思想实验。

牛津哲学家 Nick Bostrom提出：如果一个足够强大的 AI，非常认真、非常忠诚地执行一个定义得不完整的目标，会发生什么？

比如我们告诉AI：尽可能制造更多的回形针。

最终它可能把全地球的资源都用光，制造了数万亿个回形针。

像这一次的RubyGems事件，人类给它们的任务简单得不能再简单：

找几份公开资料。

而 AI 最终选择的解决方案却是：

连续攻破三个不同的系统，入侵全球开发者赖以使用的关键基础设施。

这才是这件事真正令人不安的地方。

转发的