将数据库评分转为 RL 奖励：用 ThinkingBox 后训练智能体

判断

选择后训练方案的团队须决定：是把工程投入放在奖励设计——可执行数据库检查加离线策略相对难度筛选——而非扩大模型规模，因为 ThinkingBox 的增益伴随 pass@20 覆盖少 7 个任务。

依据

Microsoft 与 Hugging Face 的联合文章报告称，Qwen3.8-27B 用 GRPO 微调 50 步，训练池由离线策略相对难度筛选，并以数据库最终状态的可执行检查作为奖励。平均成功率从 51.70% 升至 60.78%（在 507 个任务的 10,140 次尝试中，成功尝试从 5,242 次增至 6,163 次）；在全部二十次尝试中均正确完成的任务从 38 个（7.50%）增至 107 个（21.10%）；pass@20 从 453（89.35%）降至 446（87.97%）。该机制重要，因为难度是策略相对的：每个任务的成功概率仅用基础策略估计一次，且整个运行期间训练池保持固定，因此调整该筛选的人决定了模型能低成本学到什么。在一个酒店预订任务中，基础模型在 20 次尝试中有 15 次跳过必需的经理审批；调优后的模型在全部 20 次中保留了预订和支付状态。