Hugging Face政策主管：嵌入式AI评估器难以成为现成方案
Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt上表示，评估结果能否被复现、能否比较、评估对象从模型扩展到工具与智能体，是当前AI基准测试面临的主要问题。
AI解读：她认为“信任”评估结果的关键之一是可复现性：能否复现评估结果，以及是否拥有所需的模型访问权限，这也是开放权重的作用所在。
嵌入式评估器的思路是让所谓中立的第三方观察者进入AI组织内部，但Solaiman表示，合格评估者应具备什么条件、适用于哪些任务，还需要更多标准化。
她提到，评估对象正从模型本身扩展到围绕模型的整个系统，包括harness（用户访问模型所用的工具）和智能体；智能体评估难度大、成本高，现有评估更多针对模型而非harness。
Anthropic聘请埃森哲担任其首个评估方曾引发批评，部分批评者质疑该咨询公司是否具备相应资质。
Solaiman称评估生态不够繁荣、评估会较快失效；报道未给出统一行业评估方案的具体内容或实施时间表。
Hugging Face首席政策官Irene Solaiman在TechCrunch Disrupt的一个讨论环节中表示，AI评估方法仍然复杂且处于成熟过程中，业界目前还不知道如何有意义地相互比较不同的评估，“它们相对较快地开始失效，我们也没有需要的那么繁荣的生态”。她的发言由TechCrunch报道。
可复现性与开放权重
被问及能否信任当前发布的测试时，Solaiman表示“信任”是个涵义很重的词。她认为，判断能否信任结果的一大要素是能否复现评估结果，以及是否拥有所需的模型访问权限；她把开放权重视为在这方面发挥作用的重要条件。报道提到，评估的可复现性长期是基准测试中较棘手的问题，在业内仍有显著争论。
嵌入式评估器与标准化缺口
Solaiman表示，现在对嵌入式评估器生态存在需求，但确定谁能在哪些任务上成为有效评估者，相关资格条件需要更多标准化。她所说的嵌入式评估器，是指把所谓中立的第三方观察者放进AI组织内部。报道称，这一思路在近几个月受到更多关注，背景是AI实验室处理一系列安全事故，引发对其技术潜在危害的担忧；Hugging Face本身也曾是这类事件的目標。
- 报道称，AI实验室推动第三方评估作为政府主动监管之外的方案，但外界对这些评估者是否中立、是否有效仍有疑虑。
- Anthropic聘请埃森哲作为其首个评估方的决定曾引发不少反弹，一些批评者嘲讽这家咨询公司是否有资格完成该任务。
评估对象扩展到harness和智能体
Solaiman表示，评估如今正从仅测试模型本身，转向测试模型周围的整个系统，包括harness和智能体。harness指用户访问模型所用的工具，与模型表现有很大关系；她提到，一个较弱的模型配上更好的harness，可能轻松超过前沿模型。她还说，智能体评估非常困难且昂贵，目前针对模型的评估更多，针对harness的评估没有那么多，而业界正在为整体智能体开发更好的评估，因为很多人正从中获得价值。
报道给出的整体判断
报道称，评估领域目前有些各行其是；如果基准测试要继续被行业领袖视为有用工具，可能需要更统一、全行业一致的做法。报道没有给出这种统一方案的具体内容、实施主体或时间表。