Quickstart
uv tool install harborpip install harbor跑一个官方 benchmark
Section titled “跑一个官方 benchmark”Harbor 是 Terminal-Bench-2.0 的官方 harness:
export ANTHROPIC_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \ --agent claude-code \ --model anthropic/claude-opus-5-5 \ --n-concurrent 4默认在本机用 Docker 起环境。
换到云上并行
Section titled “换到云上并行”export ANTHROPIC_API_KEY=<YOUR-KEY>export DAYTONA_API_KEY=<YOUR-KEY>
harbor run --dataset terminal-bench@2.0 \ --agent claude-code \ --model anthropic/claude-opus-5-5 \ --n-concurrent 100 \ --env daytona看有哪些数据集
Section titled “看有哪些数据集”harbor datasets listSWE-Bench、Aider Polyglot 等第三方 benchmark 都在列表里,通用跑法:
harbor run -d "<dataset@version>" -m "<model>" -a "<agent>"跑本地任务目录
Section titled “跑本地任务目录”harbor run --path examples/tasks/verifier-mode-matrix \ -e daytona -a oracle --n-concurrent 1 -y查看全部参数
Section titled “查看全部参数”harbor run --help