Harness² 递归式 Agent Harness 研究
Harness²:递归式 Agent Harness、任务优化与经验沉淀
- 作者
- DeepSeekAgent.io 编辑部
- 发布
- 更新
Harness² 把 Agent 的改进对象从模型权重转向运行时 Harness:系统提示、工具、Memory、Skill、Sub-agent、脚本、Guardrail 与中间件都可以在任务执行期间被重新组合。模型保持不变,变化的是模型周围的执行系统。
这项研究面对的不是有标准答案的固定 Benchmark,而是开放世界任务:Agent 第一次看到任务时,没有现成验证器告诉它哪次 Harness 修改一定正确。Harness² 因此采用两层递归,一层解决当前任务,另一层把经过验证的经验带到未来任务。
两层递归分别做什么
任务级递归
当前任务通过 Propose–Probe–Compose 完成一次 Harness 修改:
- Propose:针对失败轨迹提出通用候选与领域候选修改;
- Probe:让候选 Harness 分别执行同一任务,保留行为与产物;
- Compose:比较不同执行轨迹,组合更有证据支持的修改。
这里的关键不是让模型评价自己的答案,而是让它观察“同一任务在不同 Harness 下发生了什么”。即使没有标准答案,工具是否成功、文件是否生成、流程是否推进以及错误是否消失,仍然可以提供对比证据。
任务级递归可以横向扩展,也可以纵向扩展。Parallel 模式同时探索多组候选,覆盖更广;Sequential 模式把上一轮的 Harness 与证据带入下一轮,迭代更深。两种模式都会增加执行次数,因此递归预算本身就是成本控制参数。
Harnessing 级递归
第二层不直接处理当前任务,而是从已经采纳的 Harness 和执行证据中提取经验,更新一个持续改进的 Harness。下一次遇到新任务时,编辑器可以利用这些经验,减少重复试错。
这使“记忆”从用户对话摘要扩展为 Harness 设计经验:什么修改在什么条件下有效,哪些方案已经失败,以及采用修改时付出了多少执行成本。
论文报告的结果
论文在 JobBench、LAB 与 WorkBuddy-Bench 三个专业任务集、四组模型与初始 Harness 配置上评估 GLM-5 和 Gemini 3.5 Flash。作者报告,一次 Harness² 递归在所有测试配置中都优于基础 Harness,最高增益分别为:
- WorkBuddy-Bench:11.5 分;
- JobBench:4.5 分;
- LAB:Partial Pass Rate 提高 11.8 个百分点。
继续增加任务级递归预算还能提高部分设置的结果。与此同时,每个候选都需要真实执行,收益必须与模型调用、工具运行、判分和并行资源成本一起衡量。
与 JIT-Agent 的区别
JIT-Agent 也会为当前任务生成和修复 Harness,但 Harness² 把“没有 Ground Truth 时如何判断修改是否有效”放在中心位置。它通过候选之间的行为对比完成 Compose,并增加跨任务的 Harnessing 级经验积累。
可以把两者理解为同一方向上的不同重点:JIT-Agent 强调按任务即时生成 Harness,Harness² 强调证据驱动的递归修改和跨任务复用。
DSH 社区已经做到了哪一步
2026 年 10 月 19 日,DSH 社区公开了一个 Harness² Phase 1 原型。方案把能力拆成两个插件:
harness2-task-recursion负责提出候选、隔离 Probe、Compose 决策与事件账本;harness2-meta-recursion只消费结构化结果,生成可供后续编辑器查询的经验。
原型默认 observeOnly,并把 probe/completed、compose/applied、compose/rejected 与 propose/failed 定义为可审计事件。项目报告完成 34 项测试与两次真实 Headless 会话验证。
它还没有成为 DSH 上游功能。当前 DSH 缺少运行时 applyHarnessPatch 与对子智能体工具范围的完整限制接口,所以原型只能把部分修改降级为下一任务可用的账本记录,不能宣称已经实现论文中的全部在线编辑能力。
在现有 DSH 中如何采用这套思路
不必等待完整自动递归,也可以先建立一条可控流程:
- 固定模型、Profile、插件版本和任务验收条件;
- 每次只修改一个 Harness 组件;
- 在隔离工作区运行基线与候选;
- 保存工具调用、产物、Token、时间和失败原因;
- 只有候选在相同验收条件下胜出时才写入 Agent Preset;
- 为候选数量、最大轮数和费用设置确定上限。
这样做的价值不只是“自动优化”,而是把 Prompt 调参变成有基线、有对照、有证据、可回滚的 Harness 工程。
参考资料
- Harness²: Recursive Agent Harnessing for an Open World
- Google Research Harness² 源码
- Harness² 实验说明
- DSH 社区 Harness² 双插件原型
- JevAgentHarness:决策模型、工具选择与 Agent 成本
常见问题
Harness² 会修改模型权重吗?
不会。论文保持 Backbone 模型权重不变,递归修改的是模型周围的 Harness。
Harness² 是 DeepSeek Harness 官方功能吗?
不是。Harness² 是 Google Research 的研究与开源项目;DSH 社区目前公开的是独立的 Phase 1 原型。
没有标准答案,Compose 如何判断候选好坏?
它比较不同候选在同一任务上的执行行为和产物,利用对比证据组合修改。这个方法减少了对 Ground Truth 的依赖,但并不能保证每次自我评价都正确。