微软与Hugging Face开源ThinkingBox-Training：用数据库终态检查作强化学习奖励
微软与Hugging Face联合发布ThinkingBox-Training训练代码库。团队用数据库最终状态的可执行校验结果作为奖励，对Qwen3.8-27B做 50 步GRPO微调：平均成功率从 51.70% 升至 60.78%，20 次尝试全部通过的任务数从 38 增至 107。
AI解读：读者最需要弄清的是：这套奖励适用于什么场景。ThinkingBox的奖励不评判智能体的具体工具调用路径，只在任务结束后检查后端数据库的最终状态和副作用，正确打 1、错误或有多余改动打 0；绝大多数检查是确定性执行，少数无法从数据库状态判断的窄条件才调用GPT-5 Chat作为判分模型。
据微软与Hugging Face的联合博客，训练池的任务来自ThinkingBox格式、但不在 507 题ThinkingBox-Bench基准内的任务，博客称训练与基准在领域、数据库、策略和多数MCP工具上不重叠；两者仍共用框架、模拟用户机制和部分工具，博客也承认这限制了迁移结论的适用范围。
训练任务的选择依据“离线策略相对难度”：先用基础策略对候选任务重复探测，按Jeffreys后验把任务划分为极少解决、困难、中等、经常解决、几乎总能解决五档，只保留中间三档，以制造GRPO能学习的成败混合样本。参考运行最终训练池为 187 个任务，博客说明这不是公开的样本任务列表。
训练结果由团队自测给出：在 507 题基准上每题跑 20 次，共 10,140 次尝试，pass@1 从 51.70% 升至 60.78%，全部 20 次通过的任务从 38 增至 107；同时pass@20（至少成功一次）从 453 降至 446。博客将这一取舍描述为“更可重复”而非“更全面”。
微软与Hugging Face联合发布ThinkingBox-Training，代码托管在GitHub的microsoft/thinkingbox-training仓库，包含数据筛选、rollout、奖励和Verl集成。博客称，ThinkingBox原本用于评估智能体：给智能体真实后端和工具，结束后比对数据库最终状态与预期结果；团队随后把同类的可执行判定用作训练奖励。
参考运行对Qwen3.8-27B做全参数GRPO微调，共 50 步，使用 24 张H100。博客给出的基准结果：平均成功率（pass@1）从 51.70% 升至 60.78%，20 次尝试全部通过的任务数从 38（7.50%）增至 107（21.10%）；至少成功一次的任务数（pass@20）从 453（89.35%）降至 446（87.97%）。
奖励来自数据库终态，不来自轨迹
博客说明，奖励是任务自身的可执行判定，与智能体走了哪条轨迹无关：episode结束后，沙箱提取后端实际变更，对终态运行任务的确定性检查，任何产生正确终态的轨迹都通过，错误、缺失或多余副作用则失败，奖励为 1 或 0。
少数无法从数据库状态清晰判断的窄要求，会由一个配置的LLM判分器回答二元的rubric问题，再由可执行测试使用该答案。博客称这类判分只占少数，大部分奖励无需调用LLM判分。
- 博客举例：一个差旅降房型任务要求先经经理审批；基础模型在 20 次尝试中有 15 次未经审批就修改预订并退款，微调后在 20 次中均保留预订和支付状态，19 次全部预期记录匹配。
训练池如何选出：离线策略相对难度
博客解释，GRPO需要组内成败混合的样本才能提供优势信号，全部失败或全部成功的组没有可学对比。因此团队在训练前用基础策略对候选任务重复探测，用Jeffreys后验估计成功概率，并按 0.08、0.40、0.60、0.90 四个边界分为五档：极少解决和几乎总能解决的丢弃，困难、中等、经常解决的保留。
这套筛选在训练开始前一次性完成，训练过程中不再重新探测难度。博客称一个任务在不同策略模型下可能落入不同难度档；参考运行的Qwen3.8-27B最终训练池为 187 个任务，公开仓库中的样本任务列表仅用于演示接口，并非该训练池。
适用条件与已知边界
博客列出的运行条件包括：Linux或WSL、Python 3.12与uv、兼容CUDA/NCCL的NVIDIA GPU、本地Qwen3.8-27B检查点，以及供模拟用户和判分器使用的OpenAI兼容端点；验证配置为 3 节点 × 8 张H100，较小配置取决于模型规模、上下文长度和rollout并发。
关于成本，博客给出的美元数字是用于比较的服务指数，不是账单；微调后单次成功尝试的估算成本从 0.177 美元降至 0.139 美元，成本计算不含训练运行和筛选训练数据时的策略探测开销。团队还提示，训练与评估必须用同一套Qwen输出解释代码，否则奖励衡量的会是另一个智能体。