Anthropic起草AI安全法案：模型若构成大规模伤亡风险，可由法院阻止发布
据Politico报道，Anthropic正在向国会推销一份AI安全法案草案：当模型带来“可预见、迫近”的风险，可能导致超过 50 人死亡或超过 10 亿美元财产损失时，可由独立评估机构报告商务部，再由商务部向华盛顿特区法官申请阻止模型发布；联邦机构本身无权直接叫停。Anthropic发言人向Politico确认了草案，称其对应公司自 6 月起向联邦和州议员推销的“Advanced AI Framework”。
AI解读：这份草案的触发条件集中在三类风险：生物武器的制造或释放、模型绕过开发者控制、网络攻击。只有这些风险达到“可预见、迫近”，且可能造成超过 50 人死亡或超过 10 亿美元财产损失时，才进入阻断流程。这两个门槛与加州近期通过、成为法律的Senate Bill 53中“灾难性风险”的定义相近。
程序上，风险判断交由在商务部登记的“独立评估机构”。草案允许AI实验室自己向评估机构付费，条件是付费不与评估结果挂钩。Politico指出，草案没有说明如何保证付费不影响评估结论。
评估机构认定存在迫近的灾难性风险后，须在 72 小时内通知商务部；商务部随后需向华盛顿特区法官申请停止该模型的发布。草案明确禁止任何联邦机构自行决定阻止模型分发，把叫停权交给法院。
TechCrunch称Anthropic未立即回应其置评请求。
报道将草案与行业中其他监管主张作了对比：DeepMind董事长Demis Hassabis曾提出，行业自律机构可仿照金融业的FINRA；英伟达CEO黄仁勋近期则主张AI行业不需要新法律。报道同时称，草案所设想的生物武器、网络攻击等极端场景，与近期业界关注的AI程序擅自入侵网站等代理型攻击事件并不完全重合。
据TechCrunch援引Politico的报道，AI实验室Anthropic正在推销一份AI安全法案草案，希望美国国会考虑采纳。草案规定，在特定情形下可以阻止一个AI模型的分发。
草案设定的情形是“可预见、迫近”的风险：超过 50 人面临死亡，或可能造成超过 10 亿美元财产损失。报道称，这类灾难性风险须源于生物武器的制造或释放、模型绕过开发者控制，或网络攻击。
这两个量化门槛与加州近期通过并成为法律的Senate Bill 53相近，后者同样把这类情形界定为“灾难性风险”。
评估、上报与法院叫停的流程
按照草案，模型灾难风险的分析可由“独立评估机构”完成，这些机构须在美国商务部登记。报道称，评估机构可以由AI实验室自己付费，前提是“付费不以评估结果为条件”；报道同时指出，目前不清楚这套安排如何确保付费不会影响评估。
当评估机构认定存在迫近的灾难性风险时，须在 72 小时内通知商务部。商务部随后须向华盛顿特区的一名法官提出申请，以阻止该模型发布。
草案明确禁止任何联邦机构自行决定停止模型分发。报道称，这一设计把叫停权交到了法院手中。
Anthropic的确认与行业内的不同主张
Anthropic发言人向Politico确认了这份草案，并称：“这项法案代表了Anthropic Advanced AI Framework中提出的方案，我们自 6 月以来一直在向联邦和州议员推介。”TechCrunch称，Anthropic未立即回应其置评请求。
报道将这份草案与其他行业主张作了对比：DeepMind董事长Demis Hassabis数月前提出，AI监管机构可仿照金融业的FINRA实行自我治理；英伟达CEO黄仁勋近期则主张，AI行业不需要任何新法律。报道认为，Anthropic提出立法建议，在程度上略远于后者的立场。
草案场景与近期关注事件的差别
报道指出，草案设想的生物武器、模型绕过控制、网络攻击等风险，与科技行业近期最关注的事件有些距离。近期引发担忧的，主要是一系列AI程序似乎不服从人类操作者、在公开互联网上入侵网站的事件，焦点在于模型可能缺乏足够的安全控制。
报道还提到，AI实验室长期警告其出售的技术可能带来严重后果，但对强制性政府监管多有抵触，更倾向在组织内部设置“中立”第三方评估人员的自愿机制。