美军太平洋特种作战司令部的分析员把夏威夷的货物清单喂给聊天机器人,直接生成了一份中国船只往中东运核武部件的情报。
这份没有任何人工复核原始数据的假报告,靠着标准格式一路畅通,把美军武装登船队和战机推到了离这艘中国商船只差几分钟的攻击位置。
国防部长赫格塞思今年一月主导分发给三百万官兵的各类人工智能工具,未来究竟采用哪种统一标准来查验真伪,各大部门至今没拿出具体章程。
咱们平时上班,谁没用过几个AI工具帮着写总结、弄表格?这东西一本正经胡说八道的时候多了去了。
但普通人弄错个数据,顶多挨老板一顿骂。
换到美军太平洋特种作战司令部,这位分析员图省事,让机器把开源信息和机密信号搅合在一起,还顺手排版成措辞专业的标准格式直接下发,这性质就全变了。
这种荒唐事为什么能一路绿灯推到前线?
说白了,就是大机构里那种致命的“唯格式论”。
你设身处地替那些在前线拿报告的美军军官想想,手里捧着一份格式挑不出毛病、字里行间透着专业、还挂着机密情报做背书的文件,谁敢不去执行?
就像你接到一份盖着红印章的正式文件,第一反应绝对是照办,而不是跑去查这玩意是不是机器随便生成的。
格式越规矩,越能把人的常识和警惕心给蒙蔽掉。
这事可是发生在今年春天。
那会儿美国正跟伊朗在中东交着手。
在这么个一点就炸的节骨眼上,美军战机升了空,登船队各就各位,差点就要对一艘挂着中国旗帜的商船硬来。
万一这几分钟没刹住车,船上的中国船员绝不可能束手就擒,周边海域的中国海军更不可能装瞎。
两头同时起冲突,这笔往下掉人命的账,那些坐在办公室里敲键盘的人根本没往心里去。
其实机器犯错和人犯错,在这个层面上没区别,最后来兜底的都是命。
1988年那艘文森斯号导弹巡洋舰在波斯湾认错雷达信号,把伊朗客机当成战斗机打下来,海底下可是实打实躺着290条人命。
更早的1964年北部湾事件,国会听信了军舰遭到北越鱼雷艇攻击的说法,直接把越战规模拉满,事后解密才发现第二次交火压根不存在。
以前是雷达和肉眼看不准,现在是聊天机器人乱算,出错的工具换了,但只要验证流程被冲垮,那个引发大灾难的逻辑是一模一样的。
9月18号CNN甩出独家消息、四个知情人士出来交底的时候,点出了最要命的病根:美军各大部门用的工具五花八门,根本没有一套硬性的验证标准。
一边是没规矩,另一边却是硬分摊。
今年一月份那个所谓的加速战略,非要把人工智能推到三百万官兵手里,结果就是把出昏招的速度给提上去了。
这次纯粹是运气好,有人在最后关头多看了一眼底层情报,把一场差点打起来的仗按了暂停键。
但前线那些拿命干活的岗位,接下来要靠什么流程来挡住机器批量生成的假指令,下一份伪造得更完美的作战报告会不会直接跳过人工复核发给登船队,CNN报道里提到的那些系统和部门,到现在连个兜底的防线都没建起来。
