跳转到内容

可验证任务

可验证任务第一性 — 任务是「指令 + 环境 + 测试」,reward 由测试决定。

Task = 指令 + 环境 + 测试

一个任务就是一个目录:instruction.md、task.toml、environment/、 tests/、solution/。没有隐式上下文,整个任务可以在 PR 里被 review。

Verifier 产出 reward

tests/test.sh 在 agent 跑完后执行,把结果写进 /logs/verifier/reward.txt(1/0)或 reward.json。分数来自代码,不来自感觉。

Trial 可复现

每次 attempt 是一个 trial:起环境 → agent 操作 → 轨迹 → 验证器 → reward。 同一任务在不同机器、不同 provider 上跑,结论一致。

对齐 Harbor Framework

本站内容以 Harbor Framework 的公开文档为依据整理,命令与字段均取自其仓库。

Harbor Framework 的中文导读,聚焦一件事:可验证任务(verifiable tasks)。

官方入口:

线 问题 产物 归属
验证 Verify 任务完成了吗 reward(0/1 或多指标) 本站 / Harbor
审计 Audit 发生了什么,能不能证明 证据链、轨迹 轨迹审计
打分 Score 有多好,能排序吗 连续分数 轨迹打分