Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion docs/NEXT_TASK.md
Original file line number Diff line number Diff line change
Expand Up @@ -26,7 +26,7 @@ P2-01 已完成,不再重复资格或“重跑碰绿”。P2-06 也已完成

同日又把 `artifacts/benchmarks/` 中已存在的 GPQA-Diamond 与两种 MMLU-Pro profile 通过正式导入 API 加载到默认个人 SQLite,当前为 `4` 个 Benchmark、`24,277` 题,原 Model/Run/Response 保持且没有 Provider 调用。记录 commit `0163b67c00eb59ae59db5f3adb679ad85c799142` 已 push,其精确 SHA run `33266167547` 4/4 成功;该本地数据操作不提交第三方题目、不改变产品实现或路线图,P2-07 的下一任务仍保持不变。

当前必须先完成 [observational Token overdraw 修复](plans/2026-08-30-fix-observational-token-overdraw.md)。ADR-0018 已把非显式 input 估算与 hard reservation 分离,并把 data-only head 定为 `20260830_0007`;该 revision 只重算 `governance_scopes.overdrawn`,upgrade/downgrade 均拒绝 active reservation,历史 ledger/actual/Response/Run 终态保持。本地完整验证和当前个人 SQLite 迁移已通过;此维护仍为 `in_progress`,commit/push 与 exact-SHA CI 待完成。在其仓库级闭环前不要启动 P2-07 实施。
[Observational Token overdraw 修复](plans/2026-08-30-fix-observational-token-overdraw.md) 已完成。ADR-0018 已把非显式 input 估算与 hard reservation 分离,并把 data-only head 定为 `20260830_0007`;该 revision 只重算 `governance_scopes.overdrawn`,upgrade/downgrade 均拒绝 active reservation,历史 ledger/actual/Response/Run 终态保持。本地完整验证、当前个人 SQLite 迁移、修正 SHA `cb00924…` 的 real-Compose 9/9 与 [exact-SHA CI run `33271095910`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33271095910) 4/4 均通过。P2-07 前置阻碍已解除,但本次任务到此停止。

P2-06 本地与 clean evidence 数值保持记录不变:合并定向、lint/test/smoke、双方言 migration、真实 PostgreSQL/Redis integration、frontend build、Compose config、Prometheus 规则、clean capacity/acceptance 与技术/安全终审均已通过;原始 evidence 仍不得公开。P2-06 当时未擅自迁移默认用户 SQLite;随后的兼容修复已在自动备份后将当时重建库前进到 `0006` 并通过 startup/check。

Expand Down
12 changes: 6 additions & 6 deletions docs/PROJECT_STATUS.md
Original file line number Diff line number Diff line change
Expand Up @@ -14,7 +14,7 @@

`0.1.0` development baseline,REST API 为 `/api/v1`,评测协议为 `llmbenchlab-protocol-v1`;尚未发布正式 Release。

公开仓库:[`CWNU-Open-Source-Community/LLMBenchLab`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab),当前开发分支为 `codex/complete-evaluation-workflow`。P2-06 实现 SHA [`9a20676dcf545040782f04c166205d0043345753`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/9a20676dcf545040782f04c166205d0043345753) 已普通 push 并进入 [PR #3](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/pull/3),其精确 SHA 的 GitHub Actions [run `33164609388`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33164609388) 四个必需 job 全部成功;绑定该 clean SHA 的 capacity 与 9/9 acceptance 也已通过。Evidence closeout 文档 commit [`ec2959680459a14aa308bd4d9ebcc6bb7bfcf3a6`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/ec2959680459a14aa308bd4d9ebcc6bb7bfcf3a6) 已 push,其精确 SHA 的 GitHub Actions [run `33165775037`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33165775037) 四个必需 job 全部成功,因此 P2-06 已完成仓库级收尾并标记为 `completed`。[ADR-0017](decisions/ADR-0017-schema-equivalent-governance-index-repair.md) / `20260829_0006` 数据库兼容修复实现 SHA [`8fb51b690ae6335b8ef93b3cbe54e039781fb173`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/8fb51b690ae6335b8ef93b3cbe54e039781fb173) 已普通 push,其精确 SHA 的 GitHub Actions [run `33263405214`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33263405214) 四个必需 job 全部成功,因此该维护任务为 `completed`。当前工作树正按 [ADR-0018](decisions/ADR-0018-observational-token-estimates-are-not-hard-reservations.md) 修复 observational input estimate 误触发 overdraw,应用与当前个人 SQLite head 均已前进为 data-only `20260830_0007`;本地完整门禁与数据验真已通过。本维护仍为 `in_progress`,因为 commit/push 与 exact-SHA CI 尚未完成,不能宣称仓库级闭环。Phase 2 仍为 `in_progress`;P2-07 已建立 ADR-0016、独立计划和工作日志,状态为 `planned`,功能实现尚未开始。历史 P2-01 位于 [PR #2](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/pull/2):实现 SHA `b6a35fef1dd069ebb54b69955058915c722aa34d` 的 [run `33146681285`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33146681285) 4/4 成功,证据文档 commit `875f13a253c40b7573d45c6287385e60f2bb8f04` 的 [run `33150080341`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33150080341) 也已 4/4 成功。
公开仓库:[`CWNU-Open-Source-Community/LLMBenchLab`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab),当前开发分支为 `codex/complete-evaluation-workflow`。P2-06 实现 SHA [`9a20676dcf545040782f04c166205d0043345753`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/9a20676dcf545040782f04c166205d0043345753) 已普通 push 并进入 [PR #3](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/pull/3),其精确 SHA 的 GitHub Actions [run `33164609388`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33164609388) 四个必需 job 全部成功;绑定该 clean SHA 的 capacity 与 9/9 acceptance 也已通过。Evidence closeout 文档 commit [`ec2959680459a14aa308bd4d9ebcc6bb7bfcf3a6`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/ec2959680459a14aa308bd4d9ebcc6bb7bfcf3a6) 已 push,其精确 SHA 的 GitHub Actions [run `33165775037`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33165775037) 四个必需 job 全部成功,因此 P2-06 已完成仓库级收尾并标记为 `completed`。[ADR-0017](decisions/ADR-0017-schema-equivalent-governance-index-repair.md) / `20260829_0006` 数据库兼容修复实现 SHA [`8fb51b690ae6335b8ef93b3cbe54e039781fb173`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/8fb51b690ae6335b8ef93b3cbe54e039781fb173) 已普通 push,其精确 SHA 的 GitHub Actions [run `33263405214`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33263405214) 四个必需 job 全部成功,因此该维护任务为 `completed`。[ADR-0018](decisions/ADR-0018-observational-token-estimates-are-not-hard-reservations.md) / data-only `20260830_0007` 已修复 observational input estimate 误触发 overdraw;本地完整门禁、当前个人 SQLite 数据验真与最终 SHA [`cb00924ea3ba3d01ce5bc322b7eabdae1345baf3`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/cb00924ea3ba3d01ce5bc322b7eabdae1345baf3) 的 [run `33271095910`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33271095910) 4/4 全部通过,该维护为 `completed`。Phase 2 仍为 `in_progress`;P2-07 已建立 ADR-0016、独立计划和工作日志,状态为 `planned`,功能实现尚未开始。历史 P2-01 位于 [PR #2](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/pull/2):实现 SHA `b6a35fef1dd069ebb54b69955058915c722aa34d` 的 [run `33146681285`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33146681285) 4/4 成功,证据文档 commit `875f13a253c40b7573d45c6287385e60f2bb8f04` 的 [run `33150080341`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33150080341) 也已 4/4 成功。

## 已交付基线

Expand Down Expand Up @@ -71,20 +71,20 @@
- 该次导入完成时,默认个人 SQLite 有 `4` 个 Benchmark、`24,277` 道题;逐集持久化题数与 manifest 一致。当时原有 `1` 个 Model、`1` 个 completed Run 和 `15` 条 Response 不变,active Run 为 `0`;`quick_check=ok`、外键错误 `0`、Alembic head=`20260829_0006`,API 列表/逐集 total 也已对账。后续 Run 与 `0007` 维护事实见下节,不回写本条历史快照。
- 目标 Loader/标准转换器离线测试 `40 passed`;未调用真实 Provider,未修改 Schema/API/协议或产品代码。仓库记录 commit [`0163b67c00eb59ae59db5f3adb679ad85c799142`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/commit/0163b67c00eb59ae59db5f3adb679ad85c799142) 已 push,其精确 SHA 的 [run `33266167547`](https://github.com/CWNU-Open-Source-Community/LLMBenchLab/actions/runs/33266167547) 四个必需 job 全部成功;本地加载维护为 `completed`,不改变 Phase 3/P2-07 状态。

## 2026-08-30 observational Token overdraw 修复(`in_progress`)
## 2026-08-30 observational Token overdraw 修复(`completed`)

- 只读核查 Run `2181503c-eab2-4699-bede-db48bd078f95` 发现:15 题完成 7 题后以 `failed/exhausted`、`governance_global_overdrawn` 终止;7 个 Provider attempt 均为 `settled_actual/succeeded`,没有 conservative settlement、429 或 HTTP retry。第七次非 hard 输入估算/reservation 为 59,而 Provider actual 为 75;冻结 policy 与 Run override 的 request/Token/cost hard limit 全为 `null`,因此这是本地语义缺陷,不是 OpenCode Go 套餐额度结算。
- [ADR-0018](decisions/ADR-0018-observational-token-estimates-are-not-hard-reservations.md) 已接受:只有显式 `evaluation_runs.input_token_reservation` 才构成 input/cost hard reservation;没有显式值时不再写入新的 attempt input reservation/reserved cost,但 Provider actual usage 仍完整保存。显式 input、显式 `max_tokens` output,以及由完整上界和冻结价格派生的 reserved cost 超额仍 fail closed。
- 应用 Alembic head 已前进到 data-only `20260830_0007`。该 migration 不改 schema、ledger、actual usage、Response、audit 或 Run 终态,只重算 `governance_scopes.overdrawn`;upgrade/downgrade 在任何更新前拒绝 active reservation。前端 overdrawn 文案改为“实际用量曾被判定超过预留”,既适用于新 hard overdraw,也不会误述升级前保留的历史终态。
- 本地验证已完成:backend `946 passed, 33 skipped`,真实 PostgreSQL+Redis integration `33 passed`,双方言 migration upgrade/downgrade/upgrade/check、`make lint`、frontend `39 passed`/build、Mock smoke `1 passed` 与 Compose config 均通过。当前个人 SQLite 已到 `0007`;四层 scope `overdrawn` 从 4 降为 0,7 Responses/7 ledger、407 input/599 output、13 张业务表行数均保留,`quick_check=ok`、FK=0。未调用真实 Provider。commit/push 和 exact-SHA CI 尚待完成,因此本维护仍为 `in_progress`。
- 本地验证已完成:backend `946 passed, 33 skipped`,真实 PostgreSQL+Redis integration `33 passed`,双方言 migration upgrade/downgrade/upgrade/check、`make lint`、frontend `39 passed`/build、Mock smoke `1 passed`、real-Compose `9/9` 与 Compose config 均通过。当前个人 SQLite 已到 `0007`;四层 scope `overdrawn` 从 4 降为 0,7 Responses/7 ledger、407 input/599 output、13 张业务表行数均保留,`quick_check=ok`、FK=0。未调用真实 Provider。首次实现 SHA 的 acceptance-only `float(None)` 失败已保留,最终修正 SHA `cb00924…` 的 run `33271095910` 4/4 成功,因此本维护为 `completed`。

## 状态与后续

- P2-06:状态为 `completed`;实现、clean-SHA Compose evidence、实现 commit 与 evidence closeout 文档 commit 的 push 和精确 SHA CI 均已完成。
- 0004 历史索引兼容修复:状态为 `completed`;实现 commit `8fb51b690ae6335b8ef93b3cbe54e039781fb173` 已 push,精确 SHA run `33263405214` 4/4 成功。
- 本地数据恢复与静默启动:状态为 `completed`;实现 commit `5075bdb5e9b53f527a43e5aff7b7d2c7b48c5c9b` 已 push,精确 SHA run `33265171953` 4/4 成功。
- 已下载标准评测集本地加载:状态为 `completed`;三个现有正式 ZIP 已导入并完成本地数据库/API/目标测试验证,`0163b67…` 的 run `33266167547` 4/4 成功。
- observational Token overdraw 修复:状态为 `in_progress`;目标 head `0007`、本地完整验证和当前库迁移已完成,仅 commit/push 与 exact-SHA CI 远程门禁待完成。
- observational Token overdraw 修复:状态为 `completed`;目标 head `0007`、本地完整验证、当前库迁移、最终修正 commit/push 与 exact-SHA CI 4/4 均完成。
- P2-07:状态为 `planned`,已建立 [ADR-0016](decisions/ADR-0016-postgresql-keyring-recovery-and-redis-rebuild.md)、exact-head amendments [ADR-0017](decisions/ADR-0017-schema-equivalent-governance-index-repair.md) / [ADR-0018](decisions/ADR-0018-observational-token-estimates-are-not-hard-reservations.md)、[独立计划](plans/2026-08-28-phase-2-recovery-operations.md) 和 [工作日志](worklogs/2026-08-28-phase-2-recovery-operations.md)。PostgreSQL backup/restore、数据库与 keyring 配对恢复、Redis 重建、Worker 扩缩/告警处置和剩余故障矩阵的功能实现尚未开始;P2-06 的 audit archive 自身 restore 不能替代整库恢复认证。P2-07 recovery-manifest-v1 的尚未实施 exact head 现为 `20260830_0007`。
- Phase 3:IFEval、通用 Dataset Plugin SDK、代码题 schema/隔离沙箱、完整分组 UI 和安全红队;Phase 4–6 尚未开始。

Expand Down Expand Up @@ -127,7 +127,7 @@
| P2-01 证据文档收尾 CI | `875f13a…` run `33150080341` 4/4 | 精确文档 SHA 全绿;P2-01 仓库级收尾完成 |
| 2026-08-30 本地恢复/静默启动 | 启动器 `3 passed`;完整 backend `930 passed, 33 skipped`、frontend `38 passed`;lint/build/smoke/config、恢复库 digest/quick/FK/head 与真实 API/Web 读取通过 | 默认库恢复 `1/1/15/1/15`;`5075bdb…` 的 run `33265171953` 4/4 成功,不改变 P2-07 |
| 2026-08-30 标准评测集本地加载 | 三个 ZIP Loader 校验通过;API 导入 `201/201/201`;数据库/API 对账为 `4` Benchmarks、`24,277` Questions;`quick_check=ok`、FK `0`、head `0006`;目标测试 `40 passed` | 本地加载完成,原 Model/Run/Response 保持;`0163b67…` 的 run `33266167547` 4/4 成功,无 Provider 调用 |
| 2026-08-30 observational overdraw 修复 | backend `946 passed, 33 skipped`;真实 PG+Redis integration `33 passed`;双方言 migration 往返/check、`make lint`、frontend `39 passed`/build、Mock smoke `1 passed`、Compose config 与当前库 backup/migrate/check 通过 | 当前 SQLite head=`20260830_0007`,scope `4→0`,7 Responses/7 ledger/407 input/599 output、13 表行数、quick/FK 保持;无真实 Provider;commit/push/exact-SHA CI 待完成 |
| 2026-08-30 observational overdraw 修复 | backend `946 passed, 33 skipped`;真实 PG+Redis integration `33 passed`;双方言 migration 往返/check、`make lint`、frontend `39 passed`/build、Mock smoke `1 passed`、real-Compose `9/9`、Compose config 与当前库 backup/migrate/check 通过 | 当前 SQLite head=`20260830_0007`,scope `4→0`,7 Responses/7 ledger/407 input/599 output、13 表行数、quick/FK 保持;无真实 Provider;`cb00924…` 的 run `33271095910` 4/4 成功 |
| 最新本地 `make lint` | Ruff/format、ESLint、TypeScript 通过 | 本地冻结树通过 |
| P2-01 冻结树 `make test` | 后端 `829 passed, 29 skipped`;前端 `38 passed` | v2 实现历史冻结树通过;当前 P2-06 全量见上方独立行 |
| P2-01 真实 PostgreSQL/Redis integration | `29/29 passed` | v2 实现历史冻结树通过;当前 P2-06 integration 见上方独立行 |
Expand Down Expand Up @@ -157,4 +157,4 @@

## 当前任务入口

[NEXT_TASK.md](NEXT_TASK.md) 提供后续任务入口。observational Token overdraw 修复的本地验证和个人 SQLite 受控迁移已完成,当前只剩 commit/push 与 exact-SHA CI;仓库级闭环后才恢复 P2-07 最小只读 recovery verifier。P2-06 已完成仓库级收尾,P2-07 仍为 `planned`;Phase 2 与 Phase 3 继续保持 `in_progress`。
[NEXT_TASK.md](NEXT_TASK.md) 提供后续任务入口。observational Token overdraw 修复已完成本地验证、个人 SQLite 受控迁移、commit/push 和 exact-SHA CI 4/4,仓库级闭环完成。后续入口恢复为 P2-07 最小只读 recovery verifier,但本次不继续实施。P2-06 已完成仓库级收尾,P2-07 仍为 `planned`;Phase 2 与 Phase 3 继续保持 `in_progress`。
Loading
Loading