AI聊天机器人幻觉情报险致美军对华动武，行动最后时刻被叫停
CNN报道称，今年春天，美军一次针对中国船只的武装行动在战机已经升空后紧急中止，因为驱动行动的情报被查明是AI聊天机器人生成的幻觉。
AI解读：这次事件最直接的信息是：人工智能生成的假情报不仅没被识别，还按正常流程一路传到作战指挥链，差点变成真实军事行动。据CNN报道，行动在最后时刻被叫停，避免了与中国可能发生的冲突。
问题出在一个很具体的环节：特种作战司令部的一名分析员让AI聊天机器人把公开来源数据和机密信号情报合成，机器人认错了船只的货物清单。分析员又用AI把错误结论排版成正式摘要，于是假信息穿上了“官方报告”的外衣。
这说明军事AI的风险不只是模型答错，而是错误可以在人类审核缺位的情况下向上传播。对于负责目标定位、情报分析或作战规划的人来说，这类错误有生死后果。
GovAI研究学者、美国陆军退伍军官Jake Steckler对TechCrunch表示，军人需要理解大语言模型固有的不确定性，但这次事件是增加AI安全措施的理由，不是回避AI的理由。他还警告，把采用速度放在一切之上，会削弱军人对系统的信任，反而拖慢推广。
据CNN周五报道，今年春天，美国官员发现，一次针对中国船只的武装行动所依据的情报，竟是由一个AI聊天机器人生成的幻觉。当时美军战机已经在空中，行动在最后时刻被叫停，避免了可能与中国发生的冲突。
这份情报报告在美伊战争期间流传，称该船正在运输用于核武器计划的部件。但这一情报是假的。
假情报源自美国特种作战司令部的一名分析员。该分析员查询了一个AI聊天机器人，要求其将公开来源数据与机密信号情报进行合成。聊天机器人错误识别了该船的货物清单。随后，分析员再次使用该工具，把这些错误发现格式化成一份看起来正式的摘要，该摘要随后在指挥渠道中流传。
这一事件发生之际，美国军方正在竞相整合AI，以加快决策速度并保持对中国的优势。五角大楼曾将AI描述为在加快杀伤链方面带来显著优势，使指挥官能在正确时间做出反应。但让AI具有吸引力的同一种速度，也可能在人类监督不足时让幻觉蔓延。
GovAI研究学者、美国陆军退伍军官Jake Steckler在给TechCrunch的书面回复中表示：“军人理解大语言模型固有的不确定性很重要。但对于任何可能导致使用武力的决策，比如目标定位、情报分析或作战规划，这一点尤其关键。这些决策关乎生死。”
Steckler还表示，这一事件应被视为增加AI安全措施的呼吁，而不是回避AI的理由。他说：“在正确的场景下并配以正确的安全措施，这些工具可以有用。但把采用速度置于一切之上，很可能导致事件发生，只会让军人对这些系统失去信任，最终只会拖慢采用。”