OpenAI 首席科学家警告：没有人为 AI 后果做好准备

OpenAI 的首席科学家 Jakub Pachocki 呼吁对人工智能的飞速发展保持“极其谨慎”，并警告说可能需要更多干预措施，以确保“人类继续掌控未来”。
他在一篇博客文章中写道：“我担心没有人为机器智能持续快速增长的后果做好准备。”
就在 ChatGPT 的制造商发布其最新型号 GPT-6 Astra 几天后，该帖子就发布了。该公司称 GPT-6 Astra 是其有史以来最强大的产品。
OpenAI 和其他AI公司（如 Anthropic）分享了他们的人工智能Agent自主行动并对其他公司进行现实世界网络攻击的报告。
7 月，OpenAI 称其AI Agent入侵技术平台 Hugging Face 的事件是“史无前例的”。
与此同时，9 月份的一份报告声称，几个月前，该公司的 AI Agent也劫持了一个德国网站。
帕乔基在最新博客文章中写道：“我们正面临着向一个拥有极其智能的机器的世界过渡，我们需要确保这一过渡对人类有利。”
他表示，OpenAI 将继续“构建防御系统”，并寻求技术解决方案来实现一致性——这个术语用来描述确保机器的行为和目标与人类的意图和安全防护措施完全一致。
帕乔基补充说，公司未来的主要优先事项之一是构建“自动化人工智能研究员”，以跟上人工智能的发展步伐，同时确保人类研究人员能够继续参与这一过程。
“他们没有提出更好的 AI 防护措施、法规或保障措施来保护人们的安全，而是提议开发内部 AI Agent来研究这些问题，”剑桥大学 Minderoo 技术与民主中心主任 Gina Neff 教授说。“对于OpenAI的模型给网络安全、失业、错误、失误和欺诈等问题带来的日益增长的担忧，这样的回答远远不够。”
倡导组织 Encode AI 的总法律顾问 Nathan Calvin 表示，他同意 Pachocki 关于高级 AI 模型开发中存在的风险的观点，但他声称 OpenAI 不愿保持透明，并表示这意味着警告有可能被当作“自私自利的炒作”而驳回。
“如果 Jakub 和 OpenAI 的其他人希望人工智能行业的相关人士与他们携手合作，使事情进展顺利，那么他们能做的最重要的事情之一就是分享更多关于他们所看到的情况的信息，这些信息让他们呼吁保持谨慎，”他在 X 上写道。#人工智能 #商业 #科技 #美国 #观点