IBM在Hugging Face发布ALTK-Evolve一致性分析器，可将AI智能体的表现差距减半

一致性差距：平均准确率掩盖的问题

标准智能体评估通常报告Mean@k：运行基准k次，平均通过率。但Mean@k不回答用户关心的问题：重复同一请求时，智能体是否仍能成功。为此需要Pass^k，即智能体在全部k次运行中都成功的任务比例。

Pass^k与Pass@k不同：后者是至少一次成功，常用于代码生成；Pass^k则要求每次尝试都成功。Pass^k ≤ Mean@k ≤ Pass@k始终成立。

• 在AppWorld test_normal上，GPT-4.1 ReAct智能体的Mean@5 为 77.4%，但Pass^5 仅为 53.0%。
• 一致性差距（Mean@k减去Pass^k）为 24.4 个百分点，在困难任务上可达 30 个百分点。
• 该差距并非能力问题，而是与能力正交的可靠性维度。

智能体为何翻转：尖锐与平坦的决策分布

每次LLM智能体做决策时，输出由下一个token的概率分布决定。尖锐的分布将大部分质量集中在单个token上，选择稳定；平坦的分布将可比质量分散在几个接近的token上，选择接近随机。

平坦分布容易受到微小扰动的影响，如GPU浮点非结合性、请求批处理等，导致接近的token顺序可能改变。由于轨迹链接数十个决策，每步的小翻转概率累积成运行间的大差异。

• 贪婪解码和固定种子只控制如何从分布中采样，不改变分布本身。
• 在托管端点上，相同提示和温度 0.0 也可能因概率的微小变化而解决接近的平局。
• 实验中ReAct智能体在温度 0.0 下运行，因此方差并非来自普通采样。

诊断与修复：一致性分析器和指南生成

一致性分析器接收一条记录轨迹，通过受控重采样重放每个决策步骤，测量模型输出的变化程度。具体来说，每个决策步骤增加一次模型调用，采样k次完成（默认k=5），基于已记录的上下文重放，不进行新的工具调用或环境交互。

分析器为每个决策步骤生成一致性分数，写入记分卡以标记可能翻转的决策。检测是完全黑盒的，无需logits或模型内部信息。

每个标记的步骤成为候选一致性指南，采用ALTK-Evolve标准格式，融入现有存储和检索流程。指南针对不稳定性，而非失败，因此能捕捉智能体当前正确但下次可能出错的步骤。

• 示例指南：在计数笔记内容中的复选框标记时，使用行锚定正则匹配而非简单子串计数。
• 示例指南：始终验证笔记查询的搜索结果，检查多个匹配并确认正确笔记。
• 这些指南针对跨AppWorld任务中高不确定性的决策点，而非任务特定细节。

评估结果：差距减半且准确率保持

在AppWorld test_normal（168 个任务）上，使用GPT-4.1的ReAct智能体，每任务从一条基线轨迹生成一致性指南，并在 5 次新运行中测试。

聚合Pass^5 从 53.0% 升至 69.0%，Mean@5 从 77.4% 升至 81.0%，一致性差距从 24.4 个百分点缩小至 12.0 个百分点。近三分之一之前不一致的任务变为每次运行都通过。

中等难度任务提升最大：Pass^5 增加 22.9 个百分点（相对提升 44%），困难任务增加 14.3 个百分点（相对提升 45%），简单任务增加 12.2 个百分点。Mean@5 在每个难度级别都保持或提升。

指南具有一定泛化能力：在相同场景的不同相关任务上，Pass^5 仍提升 13.0 个百分点，仅比同任务数字低 3 个百分点。在较弱的gpt-oss-120b模型上，同任务Pass^5 从 10.1% 升至 16.1%（+6.0 个百分点），相似任务泛化提升 8.7 个百分点，甚至超过同任务提升。

• 评估使用 5 次新运行，Mean@5 与Pass^5 在同一尺度上比较。
• 一致性指南在不牺牲平均准确率的前提下提升可靠性。
• 在弱模型上，指南似乎捕捉了可重用的失败模式，而非记忆特定轨迹。

对智能体部署者的建议

IBM Research建议在报告Mean@k的同时报告Pass^k。平均值无法区分可靠智能体和幸运智能体，即使k=3 也能揭示未知的差距。

随着任务难度增加，一致性差距预计会扩大，单一平均值在困难任务上最具误导性。

一致性正交于能力，更强的模型不一定减少一致性差距。诊断无需评分器或实时重放，每个决策步骤额外一次LLM调用即可，适合生产流量。

• 不要首先寻求更大的模型来解决一致性问题。
• 一致性分析器已包含在ALTK-Evolve开源仓库中。
• 技术报告可在arXiv上获取，演示视频时长 2 分钟。