JevAgentHarness 决策模型研究

JevAgentHarness：决策模型、工具选择与 Agent 成本

作者
DeepSeekAgent.io 编辑部
发布
更新

Agent Harness 为什么每一步都要调用大模型？很多中间步骤最终只是一个有限选项：下一步调用哪个工具、使用哪组参数、继续还是停止。JevAgentHarness 研究能否把这些常规决策交给更小的 Decision Model，在它不确定时再回退到大模型。

这不是简单地用小模型替换大模型。论文首先证明，离线选择题准确率不能直接预测完整 Agent 成功率；随后用 Agent 自己的轨迹拟合逐类置信度阈值，并让小模型学习 Agent 犯错之后实际到达的状态。

Harness 中哪些步骤可以被委托

论文把 Agent 运行中的重复选择表示为带类型的 Multiple-Choice Decision。状态包含当前已知信息，选项由 Harness 在这一刻列出。研究覆盖八类决策点，其中包括：

  • 选择下一项工具；
  • 选择或构造工具参数；
  • 没有工具时选择下一项动作；
  • 在多条执行路径、恢复动作或停止条件之间选择。

适合委托的共同点是选项集合明确、结果可以验证、错误成本可控。开放式写作、复杂推理、不可逆权限决策和长程规划仍应由能力更强的模型或显式策略处理。

为什么离线准确率不够

一个 Decision Model 在独立工具选择题上答对，不代表它能控制连续 Agent。前一步的小错误会改变后续状态，模型接下来面对的就不再是测试集里的干净分布。

论文给出一个很有代表性的反差：

  • StartLux-9B 在 BFCL 工具选择上的准确率最高，达到 92.2%；
  • 进入完整 Agent 任务后，它只完成 69.5%；
  • AgentDecision-4B 的 BFCL 准确率较低，为 89.3%，但完整任务成功率达到 91.5%；
  • 逐步决策准确率与任务成功率的排序更接近，Kendall 相关为 0.84。

这说明评测单位必须从单个选择题扩展到完整轨迹。一个会在错误状态下恢复的模型，可能比静态题库分数更高的模型更适合 Harness。

置信度阈值为什么必须按决策拟合

JevAgentHarness 不会让小模型接管所有选择。每类决策都有自己的置信度阈值，阈值来自 Agent 的真实轨迹：

  1. Harness 把当前选择转换成结构化选项；
  2. Decision Model 返回选项与置信度；
  3. 高于该类阈值时采用小模型答案；
  4. 低于阈值时回退给大模型。

如果没有拟合阈值，直接委托工具选择会让成功率下降 19.0 个百分点。原因不是“小模型永远不行”，而是不同决策的错误代价、选项结构与校准难度并不相同。

为什么还要训练 AgentDecision-4B

现有 Decision Model 通常只看过独立、干净的决策样本，没有见过 Agent 因自己上一步错误而进入的状态。论文使用 Jev 的答案作为标签，在 Agent 实际访问的状态上训练 AgentDecision-4B。

在不同于训练数据的任务上，论文报告：

  • AgentDecision-4B 控制工具选择时完成 91.5%；
  • Jev 控制时完成 82.0%。

这说明训练数据不仅要覆盖正确轨迹，也要覆盖偏航、失败恢复和非理想中间状态。对 Agent Runtime 来说，真实 Trajectory 比静态问答更接近部署分布。

成本和速度结果

在与训练任务相近的设置中，论文报告，针对各 Agent 状态训练的 4B 模型使 Agent：

  • 成本降低 81.1%–89.0%；
  • 速度最高提升 2.5 倍；
  • 任务成功率损失不超过 3 个百分点。

这些数字来自论文中的客户服务与家庭环境任务，不能直接外推到所有编程或研究 Agent。它们证明的是一种 Harness 设计空间：大模型不必处理每一个有限选择，前提是委托机制经过轨迹级校准，并始终保留回退路径。

对 DeepSeek Harness 的设计启示

DSH 已经拥有 Profile、Plugin、Sub-agent、工具 Schema 和 Trajectory，可在以下位置尝试分层决策：

  • 根据任务与权限筛选工具候选；
  • 在多个只读检索工具之间路由；
  • 选择重试、回退或请求用户输入；
  • 判断是否需要升级到更高推理档位；
  • 为不同 Sub-agent 选择预算与并发策略。

但权限升级、写入生产数据、删除文件和高价值外部操作不适合只靠低成本模型自动决定。这些步骤需要确定性策略、显式审批或更强模型复核。

一套可实施的分层流程

  1. 从 Trajectory 中标出重复且选项有限的决策点；
  2. 为每一类决策记录正确选项、错误成本和最终任务结果；
  3. 在离线环境拟合逐类阈值，不使用一个全局阈值；
  4. Shadow 运行小模型，只记录建议，不实际执行；
  5. 比较逐步准确率、完整任务成功率、成本与恢复能力；
  6. 先放开低风险只读选择，低置信度继续回退大模型；
  7. 持续收集偏航后的状态，监控分布变化与阈值失准。

这条路线与 ToolBottleneckBench 形成互补：前者研究由谁做选择，后者研究模型实际看见哪些工具以及 Harness 预算怎样改变结果。

研究边界

JevAgentHarness 的成本与速度提升来自特定 Decision Model、轨迹、任务和价格设置。论文中的模型、数据与 Harness 计划公开，但生产系统仍需要重新校准阈值，并验证 Provider 延迟、错误成本、权限边界和状态分布。

参考资料

常见问题

JevAgentHarness 是把主模型换成 4B 模型吗？

不是。小型 Decision Model 只处理经过定义与校准的有限选择；低置信度选择仍回退给大模型。

为什么单步工具选择准确率不能预测完整任务？

连续 Agent 的前一步会改变后续状态。模型在偏航状态中的恢复能力与校准质量，会影响完整任务结果。

DSH 现在已经内置 JevAgentHarness 吗？

没有。本文解读的是独立研究，并把它映射到 DSH 可实现的分层决策位置。