**SEAGym：LLM Agent 自进化评测的新范式**
近日，学者翁荔发表长文《Harness Engineering for Self-Improvement》，系统阐述了 Harness Engineering 在 AI 自我改进中的核心作用。她指出，随着 Agent 技术的发展，连接原始模型与真实世界任务的“Harness Layer”正变得与模型本身同样关键。它决定了模型如何规划、调用工具、管理上下文、保存状态以及评估结果，是 Agent 在长期任务中持续迭代的核心。
这一观察揭示了 LLM Agent 研究的一个重要转向：Agent 的能力提升不再仅仅依赖模型参数的更新，更多来自模型外部系统的演化。Prompt、Memory、Tools、Workflow、Middleware、权限控制及 Runtime State 等组件共同构成了 Agent Harness。然而，现有的 Agent 评测大多基于静态系统，难以回答关于自我进化的深层问题：一次更新究竟改进了什么？这种提升能否迁移到未见任务？是否只是过拟合了近期反馈？是否遗忘了旧能力？或者是否引入了更高的成本与不稳定性？
针对这一评测空白，清华大学团队推出了 **SEAGym：一个面向自进化 LLM Agent 的评估环境**。如果说 Harness Engineering 是自进化 Agent 的技术路线，那么 SEAGym 则致力于构建该路线的评测基础设施。它不只评估 Agent 的最终得分，更关注其进化过程：评估 Agent 如何变强、何时退化、是否泛化、是否遗忘以及付出了什么代价。
### 1. 形式化自进化过程：从静态 Benchmark 到动态 RL
SEAGym 将自进化 Agent 形式化为一个与强化学习训练过程对齐的评测流程。每个 Agent Snapshot 被表示为 **M + H** 的组合：
* **M (Model)**：固定的基础模型和不可变的运行组件。
* **H (Harness)**：可更新的状态，包括 prompts、memories、skills、tools、middleware 和 runtime 配置等。
在每一步中，环境采样一批任务，Agent 执行产生轨迹和反馈，然后根据自身的更新规则修改 Harness。SEAGym 不规定具体的更新算法，而是通过统一的 rollout/update 接口，允许不同自进化方法（如 ACE、TF-GRPO、AHE）接入。这种设计使得 SEAGym 能在同一套协议下公平比较各类自进化方法，并利用 Harbor 将复杂的 Agent 进化过程统一为简洁的超参数控制，为后续研究提供了统一的训练评测协议。
### 2. 多视角评测：不只问“有没有变强”，更问“怎样变强”
SEAGym 的核心设计在于将传统数据集划分与评测视角解耦。它通过以下多维度视角全面监控 Agent 的进化轨迹：
* **Train Batch**：提供更新所需的轨迹和反馈。
* **Update-Validation**：冻结中间 Snapshot，观察更新是否带来阶段性提升。
* **ID Transfer**：测试更新在同分布未见任务上的迁移能力。
* **OOD Transfer**：测试更新在分布外任务上的泛化能力。
* **Replay**：回放旧任务，检查是否存在遗忘或能力退化。
* **Cost Records**：记录 Token 消耗、工具调用、运行时间及更新成本。
这种设计允许研究者洞察进化的细粒度动态。例如，一个 Snapshot 可能在 Validation 上提升，但在 OOD 上下降；中间版本可能因错误的 Middleware 修改而崩溃；最终版本得分更高，但可能遗忘了一部分原有能力。SEAGym 不仅输出排行榜分数，还保存每个阶段的 Snapshot、轨迹、反馈、Harness Diff 和指标记录，便于后续诊断。
### 3. 实验设置：Terminal-Bench 2.0 + HLE
论文在两个互补任务源上实例化了 SEAGym：
* **Terminal-Bench 2.0**：侧重执行，包含命令行、软件工程和环境交互任务。
* **HLE**：侧重推理，使用其中的 Text-only Math/Physics 作为源任务，CS/AI 与 Engineering 作为 OOD 任务。
实验比较了 ACE、TF-GRPO 和 AHE 三种自进化方法，并分析了 Batch Size、源多样性及跨模型迁移的影响。
### 4. 关键发现
**主要结果一：Validation 提升不等于稳定泛化**
三种方法展现出截然不同的动态：
* **AHE** 在三个视角均有提升（Validation 40.0→57.1，ID 40.0→49.1，OOD 22.5→28.8）。
* **ACE** 提升较为温和。
* **TF-GRPO** 在 Validation 上提升显著（+17.1），但在 OOD 上下降（-2.5）。这表明基于分组回放证据的强化可能强化了源分布行为，却不一定带来稳定的分布外迁移。
**主要结果二：自进化可能引入中间崩溃，Final Score 会掩盖风险**
SEAGym 的 Replay 诊断揭示了一个关键现象：自进化过程并非单调变好。以 AHE 为例，初始 Agent 可解决 34/80 个回放任务，最终可解决 43/80 个，看似正向。但观察中间 Snapshot 发现，第 4 个 Epoch 后回放性能跌至 6/80 并产生大量 Rollout 错误。分析发现，这是 Harness Evolution 修改了 Middleware/Runtime Contract，导致消息构造出现系统性错误。这种“崩溃”如果不通过 Snapshot Replay 诊断，仅看初始和最终分数是绝对无法察觉的。
**主要结果三：Batch Size 影响更新稳定性，非越大越好**
AHE 在不同 Batch Size 下的表现呈现非单调关系：
* Batch 10：性能大幅下降。
* Batch 20：表现最佳（Validation 40.0→57.1）。
* Batch 40：表现平稳。
* Batch 80：性能再次下降。
这证明对于 Harness 级别的演化，Batch Size 影响证据多样性、分析深度、更新频率和稳定性之间的平衡。Batch 太小导致更新不稳定，太大则导致分析粗糙。
**主要结果四：训练来源多样性影响恢复能力**
对比 Mixed-source（Terminal-Bench + HLE）与 HLE-only 训练：
* HLE-only 在中间 Snapshot 上有提升，但最终 Snapshot 发生 Collapse（所有指标归零）。
* Mixed-source 的 Agent 能从坏状态中恢复。
这表明单一 Benchmark 会导致 Harness 停留在局部最优，而结合执行（Terminal）和推理（HLE）的多样化信号有助于后续更新。
**主要结果五：Harness 更新具有 Backend 依赖**
跨模型迁移实验显示，Harness 更新具有显著的模型依赖性：
* **同 Backend**：通常更稳定（如 DeepSeek-evolved 在 DeepSeek 上 ID +9.1）。
* **跨 Backend**：不对称且不稳定。DeepSeek-evolved 的 Harness 让 GLM 提升 7.3，但让 GPT-5.4 下降 3.6。
这证明不同模型在 Rollout 中暴露的失败面不同（如工具恢复 vs 文本推理 vs Artifact 约束），一个模型学到的 Harness 修改未必适用于另一个模型。
### 5. 总结与未来方向
自进化已成为 Agent 技术的重要范式。SEAGym 的意义在于，它将研究重心从“最终成功率”推进到了“进化过程”，让 Agent 的遗忘、退化、成本与泛化能力变得可观测、可回放、可诊断。
**未来方向：**
* **场景扩展**：从当前的 Terminal 和 Text-only 推理，扩展到 Web 交互、桌面操作、长程软件工程、数据分析工作流、多智能体协作及在线持续任务流。
* **效率优化**：解决多视角评测带来的成本/覆盖率权衡问题，研究高效的 Snapshot 选择、自适应回放和预算感知评估。
**团队介绍**
SEAGym 由清华大学自动化系团队提出，作者包括 Congjie Zheng、Chuanyi Xue、Bin Liang、Jun Yang 和 Changshui Zhang。其中 Congjie Zheng 与 Chuanyi Xue 为共同第一作者，Jun Yang 与 Changshui Zhang 为通讯作者。团队长期关注大模型智能体、Agent Harness、自进化机制及评测基础设施。