Collinear AI公开CWE-bench v2：100 个真实开源仓库漏洞修复任务，覆盖 91 类CWE
该基准让智能体在真实开源仓库中定位并修复安全弱点，评分由程序化验证器判定。Collinear AI称，11 个已评测模型中Gemini 4 Argon以 67.8% pass@1 领先，但即使是领先者也从未通过全部任务中的 19%。
AI解读：CWE-bench v2由Collinear AI发布，公开了 100 个可运行、可复现的安全漏洞修复任务，任务覆盖 91 种不同的CWE（通用弱点枚举）。
每个任务包含真实开源仓库的检出、一段简短指令和确定性验证器；智能体需要在修复安全弱点的同时不破坏原有功能。
Collinear AI称，评分完全程序化；验证器经过LLM评审小组参与打磨，并设有held-out集用于追踪未公开任务上的进展。
Collinear AI公布的结果显示，11 个被评测模型中Gemini 4 Argon以 67.8% pass@1、81.0% pass@4 居首，Claude Opus 5.5以 67.3% pass@1 紧随其后。
95 个任务至少被一个模型解决，但领先者在每次尝试中都失败的任务占 19%，Collinear AI据此认为长尾问题尚未解决。
公开集、评分器和运行框架均已开源，任务可通过Harbor直接从Hugging Face仓库运行；公开集带访问门控，需先在数据集页面接受访问条件。
Collinear AI发布CWE-bench v2，公开 100 个面向真实开源仓库的安全漏洞修复任务，覆盖 91 种不同CWE。该基准用于测试前沿网络能力：智能体拿到仓库检出和一段简短指令，需在不破坏原有功能的前提下找到并修复安全弱点。
Collinear AI表示，评分完全程序化，结果确定且可复现。该公司称，所有程序化检查都由LLM评审小组协助设计，以兼顾难度与公平；同时保留一套held-out集，用于追踪模型未见过任务上的进展，评测held-out集需联系[email protected]。
任务设计与质量核查
Collinear AI称，每个任务都是自包含的Harbor任务，包含Docker化环境、指令和确定性验证器，数据集附带registry.json，因此可直接从Hugging Face仓库运行整个基准，无需自行克隆。
该公司列出对每个任务的核查项：指令读起来是否像真实指令而非评测设定；每个被评分的行为能否从指令推断；验证器检查的是正确行为而非某一种修复的结构；起始代码是否失败而参考修复通过；原有功能在新修复下是否仍正常；验证器是否会拒绝记忆化的已知上游补丁。Collinear AI称每个任务还经过人工审查，并欢迎对公开集的反馈与贡献。
评测结果与成本
Collinear AI公布的结果显示，11 个被评测模型中Gemini 4 Argon以 67.8% pass@1 和 81.0% pass@4 领先，Claude Opus 5.5为 67.3% pass@1、78.0% pass@4。95 个任务至少被一个模型解决；但领先者在每次尝试中都失败的任务仍占 19%，该公司称长尾远未解决。
成本方面，Collinear AI称DeepSeek V4.1 Flash（1017）、Claude Opus 5.5和Gemini 4 Argon构成帕累托前沿：DeepSeek以每次运行 0.04 美元达到 57.0% pass@1，Opus以 1.83 美元提高约 10 个百分点，Gemini以 3.92 美元略微领先。
获取与运行方式
结果记录在两个位置：CWE-bench数据集页面的排行榜覆盖开放权重模型，实验室和社区通过向模型仓库提交含结果文件的PR添加结果；包含Gemini、Claude、GPT等仅API模型在内的完整对比，见CWE-bench leaderboard Space，新模型通过向该Space提交PR加入。
任务也可通过Harbor运行，示例命令对每个任务执行 4 次尝试，分数为全部 400 次试验的平均奖励。数据集设有访问门控，需先在数据集页面接受访问条件；由于Harbor用git拉取任务，还需将HF token保存到git凭据助手。任务另带rl-environment标签，同一套环境和验证器可为训练防御性智能体提供奖励。