人工智能险些将美国拖入与中国的冲突？

9月18日，CNN披露，今年春季美伊战争期间，一份由人工智能辅助生成的情报报告，险些致使美军对一艘航行于中东海域的中国货船采取军事行动。

事情的起点，是一份关于货轮载货清单的情报。美国太平洋特种作战司令部掌握了相关信息，一名分析人员随后把材料交给人工智能聊天工具处理。

这个工具将公开信息与美方掌握的机密信号情报拼接在一起，得出一个极其危险的结论：船上运载的是与核武器项目有关的部件。

问题在于，这个结论是错的。

更麻烦的是，错误并没有停留在聊天窗口里。分析人员又借助人工智能，把内容整理成格式正规、措辞专业的标准情报报告，随后在美军内部传播。

这就像一个人先让机器做题，再让机器替自己誊写答案。卷面整洁、格式标准、语气笃定，唯独答案不对。

可在战争状态下，一份盖着“情报”印章的错误答案，绝不是扣几分那么简单。

CNN援引4名了解此事的消息人士称，美军随即着手制订拦截方案。两名消息人士表示，武装人员已经准备登船；还有消息称，美军飞机当时已经升空。

直到行动即将展开前，有关人员才重新深挖这份报告，发现关键判断来自人工智能，而且聊天工具误判了货物性质。行动最终被叫停，事情没有滑向更危险的一步。

这艘船究竟装了什么，目前并不清楚；涉事工具是商用产品还是美国政府内部系统，也没有得到确认。但有一点很明确：美军差点根据一条错误结论，对中国船只实施拦截和武装登临。

拦截不等于直接开火，却绝不是普通海事检查。

一艘悬挂中国国旗、正常航行的商船，如果被外国军队派出飞机跟踪，再由武装人员强行登船，中方不可能把它当成一场“技术误会”。

船员一旦抵抗、护航力量一旦介入，或者现场人员错误理解对方动作，局势就可能迅速升级。

尤其当时美国正处于对伊战争中，整个中东战区高度紧张。雷达上的一个目标、无线电里的一句警告，甚至甲板上的一个动作，都可能被理解为敌对行为。

所以，这件事真正吓人的地方，不是人工智能突然有了野心，而是它一本正经地说错话，人类又差点把错话变成军事命令。

人工智能为什么会犯这种错误？因为聊天模型的基本能力，是根据已有数据和语言规律生成最像答案的内容，而不是像法官那样对每项证据负责。

信息残缺、上下文混乱或者数据之间存在矛盾时，它仍然可能给出一段非常流畅、非常肯定的文字。

普通人问错一道旅游攻略，最多是白跑一趟；军方识别错一船货物，后面跟着的却可能是飞机、舰艇和荷枪实弹的士兵。

更值得警惕的是“自动化偏见”。当电脑给出结论，而且结论又被装进专业模板，人们往往会下意识认为：机器处理过、系统验证过，应该比个人判断可靠。

可这一次，人工智能不仅参与分析，还参与包装。错误穿上标准情报报告的制服之后，就更容易一路通过审阅环节。

大家看到的是一份像模像样的文件，却未必知道里面最关键的判断，可能只是聊天工具的一次“幻觉”。

今年1月，美国国防部门推出“人工智能加速战略”，希望把先进模型更快交到约300万军职和文职人员手中，覆盖不同保密等级。人工智能还被用于情报整理、目标筛选、后勤调度、预算管理和战场决策支持。

美国推动这件事的逻辑并不难理解。现代战争的数据量太大，卫星图像、通信信号、雷达轨迹、无人机画面和船舶信息源源不断，仅靠人工处理，确实可能跟不上节奏。人工智能能够在几秒钟内筛选海量材料，这是它的价值所在。

但速度本身从来不是正确。

如果输入的信息有问题，系统只会更快地产生错误；如果验证制度没有跟上，人工智能的效率越高，错误传播得反而越远。说得直白一点，它既能帮你更快找到正确答案，也能帮你更快把一个馊主意写成正式文件。

美国此前推动所谓“负责任的军事人工智能”，提出高风险用途应接受高级别审查，系统需要可以追溯，使用人员必须理解人工智能的局限，还要采取措施防止自动化偏见。

这些原则写得都很漂亮，可这次事件恰恰说明，纸面原则与战时操作之间还隔着一条不小的鸿沟。

美军内部不同部门使用不同工具，执行不同安全标准，对人工智能生成内容也缺少统一核验办法。

机器跑得越来越快，制度却还在后面系鞋带。

我认为，真正需要限制的，并不是军队使用人工智能本身，而是让人工智能参与制造“开火理由”。

这次事件最终没有酿成冲突，说明人工审查在最后关头仍然发挥了作用。但不能因为刹车最终踩住了，就忽略车辆此前已经冲到悬崖边。人工智能不会为误判道歉，也不会为战争负责。

真正需要对结果负责的，永远是部署它、相信它并根据它下令的人。技术越先进，越不能把“机器说的”当成免检通行证。