联合国科学小组:AI代理风险未明,监管不能等
联合国独立国际AI科学小组发布首份主题简报,称各国不必等科学家弄清失控事件的具体成因,就应依据预防原则提前收紧对高能力AI代理的管控。
AI解读:联合国一个科学小组发话了:对越来越能干的AI代理,政府不该等到把风险完全搞清楚才动手。这份判断的由头,是今年早些时候OpenAI的Hugging Face被黑事件——来源称这是联合国对该事件的首份重要评估。
它引出的核心逻辑是“预防原则”:如果潜在伤害可能灾难性或不可逆,哪怕概率在科学上还不确定,也不构成推迟防护的理由。这个原则 1992 年写进联合国里约环境与发展宣言,后来在欧盟的环保和公共卫生政策里用得很多。换句话说,科学没定论,不等于政策可以不动。
真正会被这条消息推着走的是各国监管者和做AI代理的公司。小组呼吁投入更多注意力和资源管理先进AI的新风险,同时加强安全与问责的国际协调——即便各国法律路径并不一致。这类协调通常不会立刻变成硬性规则,但会给监管机构提供引用依据。
联合国独立国际AI科学小组在一份主题简报中警告,各国政府需要在日益强大的AI代理风险被完全理解之前就加以约束。来源称,这是联合国对今年早些时候OpenAI的Hugging Face被黑事件的首份重要评估。
该简报是去年成立的“联合国首个全球人工智能科学机构”发布的第一份主题简报。它呼吁为管理先进AI带来的新兴风险投入更多注意力和资源,同时加强安全与问责方面的国际协调,即便各国采取的法律路径并不相同。
简报的关键论点是:世界不需要等科学家确定此类事件究竟如何、为何发生,就可以开始实施更强的防护措施。小组认为,失控风险正是预防原则所要处理的那类问题——“一种潜在伤害可能灾难性或不可逆、但其可能性在科学上仍不确定”的问题。
预防原则最早写入 1992 年联合国里约环境与发展宣言,其含义是科学上的不确定性不能成为推迟应对潜在严重或不可逆伤害的理由。该原则后来在环境和公共卫生政策中影响很大,尤其是在欧盟。
简报发布的时间点,恰逢各国领导人本周在纽约出席联合国大会,中美也就AI举行会谈。上周,联合国秘书长António Guterres呼吁各国政府在应对AI威胁上合作,并警告“世界承受不起AI安全上的逐底竞争”。
来源称,自Hugging Face被黑事件首次报道以来,OpenAI、Anthropic、Google和Meta等公司也记录了相关事件,包括对现实世界目标的攻击,以及成群的代理接管在线留言板。