Ai2联合CMU、英伟达、约翰霍普金斯发布XYBench：8,115 题测试AI能否识别用户问题中的错误前提
艾伦人工智能研究所（Ai2）在Hugging Face博客发布XYBench基准，用 8,115 个真实问题检验模型能否识别用户“想达成X、却执着于方法Y”的XY问题，并把回答重心从错误方法转向真实目标；论文获EMNLP 2026最佳资源论文奖。
AI解读：XYBench测的是一个具体能力：用户带着错误前提提问时，模型能否识别出诉求背后的真实目标，并在回答中把有效方案放到主要位置。博客称这是AI助手实用性的一个缺口。
评测结果是：五个受测模型（Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro）大多给出了真实目标的解决方案，但回答重心往往仍停留在用户原提问的错误方法上。在Stack Overflow子集上，模型回答以真实目标为主的仅占 35%–41%，以原提问方法为主的占 47%–57%；人类参考回答在这一项上表现更好。
博客还报告了一个反差：同一批模型在二选一判别任务中，71%–84% 能选出面向真实目标的答案，远高于它们自己写作时 35%–41% 的相应比例。这说明“看得出好建议”和“写得出好建议”是两回事。
适用范围有限：XYBench目前只覆盖英文查询，问题以程序性、操作性场景为主，评测采用单轮问答、每题一次回答。博客未给出多轮对话、其他语言或部署环境下的效果数据。
数据构成：1,557 题来自Stack Overflow，184 题来自Stack Exchange，102 题为人工整理，6,272 题由WikiHow指南生成；每题标注用户明说的请求（Y）与可推断的真实目标（X）。
艾伦人工智能研究所（Ai2）在Hugging Face博客发布XYBench，一个包含 8,000 多个问题的基准，用来测试AI助手面对基于错误前提的提问时如何作答。博客称，该基准与卡内基梅隆大学、英伟达和约翰霍普金斯大学的研究者共同开发，并在EMNLP 2026获得最佳资源论文奖。
XYBench测什么
博客用“给一直滑落的糖霜增稠、但真正问题是纸杯蛋糕还没放凉”的例子说明XY问题：用户想达成目标X，却认定某种方法Y可行，于是请求帮助Y。XYBench要测的是模型能否识别其中的隐含误解，并把回答引向真正目标。
基准共含 8,115 个真实问题，其中 1,557 题来自Stack Overflow，184 题来自Stack Exchange，102 题为人工整理，6,272 题由WikiHow指南生成。每题都标注了用户明说的请求（Y）和可从上下文推断的真实目标（X）。论坛题目用得分最高的三条人类回答和已采纳回答来确定真实目标与可行方案；凡是直接回答字面请求就足以解决问题的样本被剔除。
评测分三项：回答是否包含针对原请求（Y）的方案、是否包含针对真实目标（X）的方案；回答重心偏向Y、偏向X还是两者均衡；以及是否把用户从错误方法引开、导向真实目标。Claude Sonnet 4.5担任自动评判，两名人工评审独立评估了 500 条模型回答，与自动评判在“方案是否出现”一项的一致率为 97.5%–100%，误解识别一项为 84.6%–93.3%，重心判断一项为 74.2%–79.8%。
模型评测结果
博客称，评测在单轮设定下进行，每题生成一次回答，受测模型为Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro。来自四类来源的结果都显示，每个模型更常给出针对原请求（Y）的方案，而不是针对真实目标（X）的方案。在Stack Overflow子集上，原请求方案出现在 75%–86% 的回答中，真实目标方案出现在 59%–71% 的回答中。
方案出现不等于成为重点。博客报告，在Stack Overflow子集上，模型回答主要聚焦真实目标的比例只有 35%–41%，主要聚焦原请求的占 47%–57%，其余回答两者并重。博客称，与人类参考回答相比，五个模型都更少把用户从错误方法引开。
- Stack Overflow子集：原请求方案出现率 75%–86%，真实目标方案出现率 59%–71%。
- Stack Overflow子集回答重心：真实目标 35%–41%，原请求 47%–57%。
- 判别实验中，六个模型（含GPT-4.1）在 71%–84% 的情况下选出面向真实目标的答案。
“看得出”与“写得出”的差距
博客还做了两项补充实验。其一是把真实目标（X）直接告诉模型后再作答：在Stack Overflow子集上，Sonnet 4.6包含真实目标方案的比例从 59% 升到 67%，但误解识别率反而从 47% 降到 34%；在所有有人类参考回答的来源上，各模型在误解识别上仍落后于人类。博客据此认为，识别意图只是部分难点，模型还需要在意图与字面请求不一致时据此行动。
其二是让同一批模型（外加GPT-4.1）在两条候选回答中挑出更好的一条：一条针对字面请求，一条解释误解并回应真实目标。在Stack Overflow子集上，六个模型在 71%–84% 的情况下选择了面向真实目标的答案，远高于它们自己写作时 35%–41% 的真实目标聚焦比例。博客称，这说明识别好建议与产出好建议之间存在差距，仅靠选择题测试会漏掉这一点。
使用范围与限制
博客写明，XYBench目前只覆盖英文查询，问题以程序性场景为主，评测采用单轮设定；扩展到其他语言、文化和对话场景仍是待做工作。Ai2表示，希望该基准帮助研究者衡量模型改进是否让助手更善于识别错误假设、解释某种做法为何无效，并在用户不知道该怎么问时给出更有效的替代方案。