Ai2发布“新意评审”基准：同一研究想法，换个提示词判定准确率可从 93.5% 跌到 40.9%
Ai2在Hugging Face博客发布研究《Old Ideas, Novel Problems》，测试六个大模型判断研究想法新颖度的可靠性。结果显示，提示词措辞、推理预算、检索方式等设置变化会显著改变判定；两个专用新颖性评审系统的准确率均低于简单提示的Claude Opus 4.6基线。
AI解读：Ai2发布论文、基准、数据和代码，用于测试大模型充当“新意评审”（novelty judge）——判断研究想法相对已有工作是否新颖。
研究构建两个人造评测集：Human-Only含 154 个高新颖度人类想法（ICLR 2026领域前 10% 接收论文且评审明确肯定原创性）和 145 个低新颖度想法（后 10% 拒稿且评审提出原创性疑虑）；Human+Generated将同样 154 个人类想法与 154 个由简单LLM生成的想法配对，后者新颖度标签为弱标签。
在GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6六个评审模型上，小幅改动提示词即可让同一批想法对的判定大幅变化：GPT-5.4在Human+Generated上的准确率从 93.5% 降至 40.9%，Claude Opus 4.6在Human-Only上的准确率也变动 21 个百分点。
增加检索和推理不必然改善判定：带额外高推理预算与arXiv实时迭代搜索的GPT-5.6 Sol智能体评审macro-F1为 0.78，低于Claude Opus 4.6的 0.89，单次判定成本约为后者的 10 倍。
两个专用评审系统不如简单基线：Idea Novelty Checker得分 0.642、成本 30.66 美元；Sakana AI的AI Scientist新颖性评审得分 0.772、成本 82.05 美元；简单Claude Opus 4.6提示加三次多数投票得分 0.854、成本 2.59 美元。
Ai2表示大模型新意评审仍是未解决问题，建议未来在真实待评想法上测试评审、测量跨提示词与跨模型的敏感性、改进文献引入方式，并建设可随文献增长更新的基准。
Ai2于Hugging Face博客发布研究《Old Ideas, Novel Problems》，同时公开基准、数据和代码，测试大模型判断研究想法新颖度是否可靠。研究覆盖六个评审模型，核心发现是：看似微小的评测设置变化，会让同一批研究想法的“新颖”判定大幅摆动。
评测集如何搭建
研究以ICLR 2026同行评审为素材，不把论文是否被接收直接当作新颖度代理，而是从评审文本中挖掘明确讨论原创性的段落。
高新颖度池包含 154 个人类研究想法：论文被接收、位于所在研究领域评分前 10%、评审正面指出新颖性且无人提出异议。低新颖度池包含 145 个想法：论文被拒、位于后 10%、评审提出原创性疑虑且无人正面肯定新颖性。在 50 例抽查中，标注者与自动提取的新颖性信号极性一致 47 例。
第二个人造设置Human+Generated将上述 154 个人类想法与 154 个简单LLM生成的想法配对。生成器只收到研究领域和“提出新颖想法”的指令，无文献检索、工具、迭代或反馈。Ai2说明这些生成想法的新颖度标签是弱标签，并非逐条验证过的判定。作为补充检查，一位专家审阅了 30 对偏向最强评审出错案例的配对，全部偏好人类想法，并认为没有一个生成想法具有新颖性。
提示词措辞带来大幅波动
研究逐一变动提示词、推理预算、能否看到相关论文、想法格式、多次判定合并方式，以及生成想法所用模型。影响最大的是提示词如何要求模型判定新颖度。
在Human+Generated上，GPT-5.4面对同一批配对使用两种提示：一种告知“每对中恰好一个想法被评审认为新颖”并要求指出是哪一个，另一种只问哪个想法新颖。换成简单提示后，准确率从 93.5% 降至 40.9%，低于随机水平，且对超过一半的同一批配对改变了判定。
同样的提示词改动在Human-Only上仅使准确率变化约 7 个百分点，但人类想法并非不受影响：同一改动使Claude Opus 4.6的准确率变动 21 个百分点。研究还发现不存在普遍更优的提示词，某个模型上有效的提示不一定能迁移到另一模型。
检索与推理更多，判定未必更准
研究给GPT-5.6 Sol配置额外高推理预算，并限定在arXiv内实时迭代搜索，与各自预先检索五篇摘要的标准评审比较。该智能体评审macro-F1为 0.78，比Claude Opus 4.6的 0.89 低 11 个点，与更简单的Claude Opus 4.5、GPT-5.4设置大致相当，按当前API价格每次判定成本约为 10 倍。
两个专用评审系统也未超过简单基线。在Human+Generated上，Claude Opus 4.6低推理加三次调用多数投票的简单提示方案macro-F1为 0.854，总成本 2.59 美元；Idea Novelty Checker为 0.642，成本 30.66 美元；Sakana AI的AI Scientist为 0.772，成本 82.05 美元。Ai2称两个专用系统均使用Claude Opus 4.6，每次判定调用一次。
Ai2给出的适用范围与后续方向
Ai2将这些结果描述为大模型新意评审仍属重大未解问题的证据，并指出评审模型在人类撰写研究上表现较稳，在AI生成想法上可能明显不同。研究提出的后续工作包括：在实际要评的想法类型上测试评审、测量跨提示词与跨模型敏感性、改进文献引入方式，以及建设可随科学文献增长和AI系统进步更新的基准。