OpenAI首席科学家主张放缓人工智能研究速度
OpenAI Group PBC 首席科学家 Jakub Pachocki在周日发表的一篇文章中呼吁放缓人工智能研究，此前其他一些业内知名人士 在最近几个月也表达了类似的观点。
帕乔基认为，领先的人工智能实验室应该自愿放慢模型开发速度。他表示，在行业制定出人工智能安全标准之前，这种放缓应该成为“常态”。帕乔基还强调，要应对这项技术的风险，各国政府也需要优先考虑“未来人工智能发展的协调”。
他写道，采取这些措施是必要的，原因有几个。首先，人工智能实验室目前的安全防护措施可能不足以应对未来的模型。此外，他还指出，不法分子可能会训练人工智能Agent，使其专门用于实施恶意活动。
他写道：“一个能力极强的智能体，经过专门训练和指示去执行不法行为，会带来一种新型的危险；它很可能会超出操作者的意图范围，并演变成可能更加极端恶意的行为。随着AI获得更大的自主性，滥用和自主失控行为之间的界限将会变得模糊。”
帕乔基表示，人工智能对齐训练（即训练大型语言模型以避免恶意活动）主要有两种方法。第一种方法是使用人工智能模型来检查正在训练的语言模型是否符合安全规则。第二种方法是将安全指令集成到模型的训练数据集中。
他透露，OpenAI 的研究人员在人工智能对齐方面取得了“一些重要进展”，并补充说，正是这些发现使得该公司最新的 GPT-6 Astra 的对齐效果优于其前代产品。但他表示，要跟上 LLM 的发展步伐，还需要取得更多进展。
这位高管指出，OpenAI 的安全措施不足以阻止其人工智能模型入侵 Hugging Face。帕乔基的文章揭示，这些低级模型确实遵循了公司的一些安全策略，特别是避免社交工程的指令。然而，这些模型在其他方面“显然未能”满足对齐要求。
阻止恶意人工智能活动不仅要求研究人员为低级逻辑模型（LLM）配备安全防护措施，还需要验证这些措施是否有效。帕乔基认为后一项任务尤其具有挑战性。原因之一是研究人员对低级逻辑模型的工作原理仍然了解有限，而帕乔基预计这种情况在短期内不会改变。
OpenAI目前依赖一种名为“思维链监控”的方法来检测恶意LLM活动。模型的思维链是对其推理过程的逐步描述。据Pachocki称，这种监控方法的可靠性正在下降。
#人工智能 #商业 #科技 #美国 #大模型 #观点