Claude 被用于导弹软件,Anthropic 没有说明何时发现
Anthropic 披露 Claude 曾被用于制导火箭、无人机集群和电子战软件。公司封禁了相关账号,却没有说明异常活动持续多久,也没有交代发现时项目已经进行到哪一步。
报告披露了哪些使用
Anthropic 9 月 10 日发布了一份威胁情报报告。报告称,一批位于也门北部的使用者曾让 Claude Code 编写制导、导航和控制软件,项目涉及制导火箭和弹道导弹。一次实地测试结束后,测试数据在几小时内又被交给 Claude 分析。
同一份报告还写到另外几项工作:俄罗斯境内的使用者用 Claude 开发无人机集群软件,代码经过模拟测试,并被装到实体电路板上;一名位于中国的使用者开发了约 16 个电子战和防空压制软件模块。Anthropic 表示,它已经封禁了能够关联到这些项目的账号。
这些内容出自公司的调查,外界目前无法独立核实。Anthropic 也特意说明,报告选择的是少见、突出或者此前没有披露过的案例,不能据此判断此类使用在全部用户中占多大比例。
报告把过去的风险推演变成了具体案例。通用 AI 已经被带进武器软件的开发过程,有人拿它反复改代码、看测试结果、继续调试。这类使用会留下源代码和测试成果,造成的后果与一段危险回答有很大区别。
两份材料不能混在一起读
Anthropic 同一天还发表了一组能力评测。研究人员让模型在模拟环境中编写无人机软件,任务包括跟踪移动目标、投放模拟载荷,以及在 GPS 受到干扰时继续飞行。部分前沿模型能够在较简单和中等难度的条件下完成任务,环境变复杂后,表现会明显下降。
评测有不少限制。摄像画面和物理环境经过简化,模型拿到的初始目标信息也比真实战场更清楚。测试没有计算 AI 究竟给使用者增加了多少能力,更没有证明模型可以独立完成一套可部署的武器系统。Anthropic 在论文中承认了这些问题。
两份材料各有边界。威胁报告说明有人已经把 Claude 用在相关项目中,却没有完整评价软件质量。实验结果能显示模型在特定条件下写代码的水平,不能证明一套武器系统已经可以交给模型独立完成。读这组材料时,需要分清“已经有人使用”和“已经具备完整能力”。
封号发生时,代码可能已经写完了
Anthropic 对“处置”的解释是封禁所有能够关联到相关活动的账号。对于网络诈骗或者批量骚扰,封号通常能直接打断正在进行的操作。软件开发留下的东西更多:源代码、测试记录、设计文档和已经烧录到硬件上的程序,不会随着账号消失。
报告里的几个案例已经走过了早期咨询阶段。制导火箭做过实地测试,无人机软件装上了实体电路板,电子战项目形成了一套包含多个模块的软件。平台最终停止了服务,却没有公开说明异常活动持续了多久,也没有交代系统在哪个阶段发出警报。
这会影响人们对安全措施的判断。一次拦截发生在首次询问时,和发生在数周开发之后,意义相差很大。Anthropic 称公司后来增加了识别武器开发请求的分类器,同时承认军民两用的工程问题很难准确区分。这样的改进有必要,但它带有明显的事后补课性质。
这份报告也在替 Anthropic 说明自己
Anthropic 公布了项目类型、使用方式和部分处置结果,也承认自家的产品曾经参与这些工作。外界因此能够看到,一家模型公司在后台发现了什么,又采取了什么行动。此类信息过去很少进入公开报告。
报告仍然是一家公司对自身平台的描述。案例由 Anthropic 选择,调查材料没有交给独立机构审阅,外界看不到同期一共发现多少相似账号,也无法知道漏掉了多少。配套研究还把封闭模型的在线审核与开放权重模型的风险放在一起讨论,这与 Anthropic 一贯支持加强前沿模型管制的立场相符。
这份报告可以用来确认相关使用已经出现,模型公司也掌握了一部分过程记录。至于现有防护是否可靠、类似账号究竟有多少,报告没有提供足够证据。
AI 公司需要交代干预发生在哪一步
当模型被当作远程软件工程师使用时,平台知道的事情往往比普通软件供应商更多。它能够看到账号、对话和工具调用,也能判断同一项工作是否连续进行了多天。既然公司选择保留这些记录并据此封禁用户,外界有理由要求更清楚的处置说明。
下一份报告应该公布更有用的信息:从首次异常请求到封号用了多长时间,哪类行为触发了人工调查,平台发现时相关代码是否已经进入实物测试,调查结果交给了哪些机构。涉及调查方法和个人身份的内容可以隐去,处置时间和项目阶段没有必要全部含糊带过。
这份报告公开了一部分此前只在平台内部处理的信息。模型公司提供工具,同时决定哪些工程项目可以继续调用工具。这个决定带有实际后果。仅仅宣布“账号已被封禁”,公众仍然无法判断平台是否及时采取了行动。
后续披露 · 可核查的问题
接下来怎么看
Anthropic 下一次披露类似案例时,处置时间比案例数量更有参考价值。首次异常请求、人工调查和封号之间的间隔,可以说明平台在项目早期发现了问题,还是在软件已经进入测试后才采取行动。
还需要核对两项信息:平台发现时相关代码是否已经进入实物测试;调查结果交给了哪些机构。