跳转到内容

Harbor Framework 是什么

Harbor 的定位一句话:在容器环境里评测和优化 agent / 语言模型。作者是 Terminal-Bench 团队。

它可以做四件事:

  1. 评测任意 agent(Claude Code、Codex CLI、OpenHands…)
  2. 构建并分享自己的 benchmark 和环境
  3. 通过 Daytona、Modal、LangSmith、Blaxel、Novita Sandbox、Tensorlake、Runta、Sail 等 provider 并行跑上千个环境
  4. 生成 rollout 用于 RL 优化
Task ──► 起环境 ──► agent 操作 ──► Trajectory
│ │
└──► 停环境 ──► Verifier ──► Reward
├─► 聚合评测
└─► RL / SFT

关键点:Trajectory(轨迹)和 Reward(奖励)是两条独立产物。 轨迹进 SFT 与失败分析,reward 进聚合指标和优化。这解释了为什么“轨迹审计”和“任务验证”必须是两件事。

  • reward 由 tests/test.sh 里的代码产出,不是模型打分
  • 任务可以在 PR 里 review,指令、环境、测试都是文件
  • 同一任务换 provider、换机器,结论应当一致
侧重
Harbor 任务级可验证 reward + 容器环境 + 大规模并行 + RL rollout
传统 benchmark 脚本 固定数据集上跑一次,难扩展
纯 LLM-as-judge 无执行验证,reward 不可复现