Task = 指令 + 环境 + 测试
一个任务就是一个目录:instruction.md、task.toml、environment/、
tests/、solution/。没有隐式上下文,整个任务可以在 PR 里被 review。

Task = 指令 + 环境 + 测试
一个任务就是一个目录:instruction.md、task.toml、environment/、
tests/、solution/。没有隐式上下文,整个任务可以在 PR 里被 review。
Verifier 产出 reward
tests/test.sh 在 agent 跑完后执行,把结果写进
/logs/verifier/reward.txt(1/0)或 reward.json。分数来自代码,不来自感觉。
Trial 可复现
每次 attempt 是一个 trial:起环境 → agent 操作 → 轨迹 → 验证器 → reward。 同一任务在不同机器、不同 provider 上跑,结论一致。
对齐 Harbor Framework
本站内容以 Harbor Framework 的公开文档为依据整理,命令与字段均取自其仓库。
Harbor Framework 的中文导读,聚焦一件事:可验证任务(verifiable tasks)。
官方入口:
| 线 | 问题 | 产物 | 归属 |
|---|---|---|---|
| 验证 Verify | 任务完成了吗 | reward(0/1 或多指标) |
本站 / Harbor |
| 审计 Audit | 发生了什么,能不能证明 | 证据链、轨迹 | 轨迹审计 |
| 打分 Score | 有多好,能排序吗 | 连续分数 | 轨迹打分 |