dsh-sansheng-liubu/docs/verification/02-test-matrix.md

120 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 验收矩阵与证据状态(候选版本 v0.2.8)
日期:2026-11-14
结论:**候选版本**。仓库内自动化回归 **168/168 通过**;已在隔离测试 profile(独立 DSH_HOME,宿主 0.2.2-rc.3)完成真实宿主冒烟:原生项目树、原生聊天、右栏三卡与 Bot 切换,DS-Bot 全局 shell 未接管,控制台无 DS-Bot 重挂/设置冲突警告,证据见 `03-host-smoke.md`。真实模型 E2E(E01–E04)、长消息/连续工具流仍缺失;单包 `ds-bot-sansheng@0.2.8` 已在独立 profile 启动验证:无未激活插件、`__SANSENG_WORKBENCH__=true`、右栏角色页签可打开;用户日常 desktop profile 未修改。
## 1. 自动化测试入口
```sh
node --test --test-isolation=none sansheng/test/*.test.js
node --check sansheng/client.js
node --check sansheng/index.js
```
测试目录新增:
- `artifact.test.js`:成果快照(Git/非 Git/排除/缺失/sync=async)
- `review-v3.test.js`:最新判决、成果/代次、G01–G07、A01–A05
- `isolation.test.js`:I01–I06 与写租约
- `dispatch-v2.test.js`:R01–R05
- `api-v3.test.js`:状态投影与历史折叠
- `gate-install.test.js`:F01、unknown 身份、治理损坏、跨项目
- `client.test.js`:右栏/入口/项目上下文(见 UI 工作包报告)
- 审查修复回归:Q01/Q01b/Q01c(store+apply)、Q02/Q02b(governance+gate 双故障)、Q03(unknown 工具)、Q04(governance + 真实 memory install + peer stub)、Q05/Q05b/Q05c(observer)、Q06/G06(draft+最终复核)、Q07(artifact/gate)、Q08/Q08b/Q08c/Q08d/Q08e/Q08f/Q08g/Q08h(租约+junction+过期+events 终态+嵌套目标+越界拒绝)、Q09(store+HTTP route)、Q10(records)、Q11/Q11b/Q11c/Q11d/Q11e/R4-05(config 回滚+并发+sidecar+真实 selectSessionModel+群失败/CAS)、Q12/Q12b/Q12c(Hook+超时+真实 useSanshengState)、Q13/R4-04(真实 catalog needsKey 服务端+前端)。
## 2. 入口与布局
| ID | 状态 | 证据 |
| --- | --- | --- |
| U01 输入框原生底部 | 真实宿主冒烟部分通过 | 测试 profile 1440×900 截图输入框在底部;本方案不接管 `main.conversation`;长消息/连续工具流未测 |
| U02 从项目树打开 A | 真实宿主冒烟通过(测试 profile) | 左栏保持 workspace-groups 项目树;右栏三卡与「Bot 切换」独立于左栏;workspace-groups 右键菜单组件级测试通过 |
| U03 右栏重复点击聚焦 | 组件级通过 | `openRolesTab` 优先 better-sidebar/openTabIn;现有测试覆盖回退 |
| U04 Better Sidebar 缺失/失败 | 真实宿主冒烟通过(回退入口) | 测试 profile 无 better-sidebar:左栏底部「三省」按钮可打开右栏「角色」页签;见 `03-host-smoke.md` |
| U05 小窗口/宽屏/主题 | 真实宿主通过(浅/深/窄) | 1440×900 浅色与深色、900×700 窄屏:原生项目树/输入框/右栏可用;无页面错误;见 `host-dark.png`、`host-narrow.png` |
| UI01 原生共存模式 | 真实宿主通过(含 R4-06 卸载) | DS-Bot 走 agent surface;三省卸载撤销标记、发 workbench-gone、清理样式;DS-Bot 晚收到 ready 时释放设置壳;浅色宿主 0 警告 |
| UI02 保留项目树不误重挂 | 真实宿主通过 | 控制台无 `sidebar entry missing/remounting` 警告;verifySidebar 在共存模式直接跳过 |
| UI03 右栏不被抽屉折叠 | 真实宿主通过(未打开 Bot 详情) | 右栏决策 effect 在共存模式不安装,回调也有 guard;角色页签可打开;Bot 详情交叉打开未操作 |
| U06 A/B 切换旧响应不覆盖 | 通过(client 测试) | 请求序号丢弃旧响应;Q12:跨项目失败不再把 A 缓存配上 B 上下文 |
| U07 新目标不显示旧验收 | 通过(api-v3) | 按 goalId 过滤 + 历史折叠 |
| U08 先 reject 后 pass 不显示旧返工 | 通过(api-v3) | 当前阶段最新判决决定卡片 |
| U09 断连/过期/配置失败提示 | 组件级通过 | 保留上次数据但显示“连接中断”;配置表单错误就地显示 |
| U10 模型切换 | 组件级通过 / 真实有模型未测 | 角色卡模型下拉调用 `/sansheng/config`;无可用模型目录时显示默认模型;真实 API Key 环境待测 |
## 3. 隔离
| ID | 状态 | 证据 |
| --- | --- | --- |
| I01 默认参数创建 A/B 成功且身份独立 | 通过(isolation I01) | 全局 Bot 名唯一算法 + 项目绑定互斥 |
| I02 A 尚书绑 B 拒绝 | 通过(isolation I02) | `bot-taken` 校验,无半绑定 |
| I03 B 会话显式 A / 私聊跨项目 | 通过(isolation I03/I03b + ds-bot M-04) | `resolveProjectForCall` 冲突拒绝;`checkDelivery` 覆盖 message_bot 私聊与 rt.deliver |
| I04 修改 A 模型不影响 B | 通过(isolation I04 + Q11) | `updateProjectConfig` 先解析全部模型再应用;无效模型零修改,中途失败回滚 runtime 模型 |
| I05 A 记忆不注入 B | 真实 memory 模块集成通过 / 真实宿主未验证 | Q04:team/group/target Bot 在 `readScopes`、groupSnapshot、autoRecall、memoryUpdate、writeDenied 前统一走 governance;`memory-q04.test.js` 验证被拒群记忆不注入、显式 recall 拒绝;真实模型/宿主注入仍缺 |
| I06 跨项目自动投递拒绝 | 通过(isolation I05/I06 + Q02) | governance.checkDelivery 覆盖 broken/missing registry;ds-bot delivery 补丁 |
| I07 并行写入与工作根 | 部分通过 | Q08:真实 `write/edit/apply_patch/shell/pwsh` 等入口按规范化工作根独占,成功/失败 finally 释放;同根单写;未覆盖所有第三方写工具与崩溃后租约自动清理 |
## 4. 门禁与成果
| ID | 状态 | 证据 |
| --- | --- | --- |
| G01 无丞相验收 complete 拒绝 | 通过(review-v3) | `no-goal-review` |
| G02 非项目 Main 修改拒绝 | 通过(review-v3/gate) | `main-bot` |
| G03 先 pass 后 reject 最新 reject 生效 | 通过(review-v3 F02/G03) | 先取最新判决再审摘要 |
| G04 reject→pass;旧摘要不能复活 | 通过(review-v3) | 最新判决 + 摘要/成果/代次校验 |
| G05 B 证据不能批准 A | 通过(isolation I03b) | 项目身份与 projectId 绑定 |
| G06 检查后变更并发改判 | 通过(新增 observer 最终复核测试;真实并发宿主未测) | Q06:draft 落盘后才发布;guard 打标后 observer 在 `next()` 前用最新 reviews/成果重判;仍非完整 TOCTOU 证明 |
| G07 状态损坏不放行 | 通过(gate-install G07 + Q01/Q02) | Q01:null/[]/错误版本/坏条目/空主状态均 broken 且保留 registry;Q02:治理服务拒绝已知受治理主体 |
| A01 改已跟踪文件 | 通过(artifact/review-v3) | git diff digest |
| A02 新增未跟踪交付文件 | 通过(artifact/review-v3) | untracked manifest |
| A03 改验收标准/任务范围 | 通过(review-v3) | reviewSubjectDigest |
| A04 测试后改成果 | 通过(artifact) | 快照 digest 变化即失效 |
| A05 仅状态变更 revision 增长 | 通过(gate) | 审查对象摘要不含 status/note;revision 不参与审批有效性 |
## 5. 派发与恢复
| ID | 状态 | 证据 |
| --- | --- | --- |
| R01 业务拒绝字符串不记 confirmed | 通过(dispatch-v2 R01) | 比较目标 revision/id 前后快照 |
| R02 同 requestId 同 payload 不重发 | 通过(dispatch-v2 R02) | `beginDispatch` 幂等 + payloadDigest |
| R03 回执丢失重启 | 通过(dispatch-v2 R03) | prepared/in_flight → unknown,不盲目重发 |
| R04 intent/结果保存失败 | 通过(dispatch-v2 R04 + Q05) | begin/mark 失败 nativeCalls=0;原生已执行但回执失败标 unknown,不自动重发 |
| R05 返工与原生 @ 只执行一次 | 通过(dispatch-v2 R05) | 稳定 requestId + addRework 去重 |
| R06 返工上限跨重启 | 通过(records/gate) | budgetOf 取原生累计与本地记录最大值 |
| R07 暂停/取消/刷新 | 部分通过 | `sansheng_control`/route 调 `rt.goalControl`;停止请求与已停止分开显示;未做宿主 E2E |
## 6. 真实模型端到端
| ID | 状态 | 说明 |
| --- | --- | --- |
| E01 正常交付 | 未执行 | 缺已授权测试宿主;不能在 daily profile 上跑真实项目 |
| E02 驳回返工 | 未执行 | 同上 |
| E03 双项目并行 | 未执行 | 自动化隔离测试覆盖数据层,不代替真实模型 |
| E04 中断恢复 | 未执行 | 单测覆盖故障窗口,真实重启未验证 |
## 7. 审查报告 Q01–Q13 修复证据
| 项 | 状态 | 回归/证据 |
| --- | --- | --- |
| Q01 | 已修(第三轮补启动保护) | Q01/Q01b/Q01c:坏 schema/空主状态保留 registry;missing+registry 时 writable=false,启动对账与 provision 拒绝覆盖;v2 迁移仍通过 |
| Q02 | 已修(双故障补强) | Q02/Q02b:broken/missing registry 拒绝;主 state+registry 双坏时 governance/gate 显式拒绝 |
| Q03 | 已修 | `isolation.test.js` Q03:unknown 对 provision/bind/config/control/reconcile/lease 全部拒绝 |
| Q04 | 已修(真实 memory 模块集成) | `memory-q04.test.js` 用 peer stub 加载 ds-bot memory:被拒群记忆不注入、显式 recall 返回 blocked;允许后才读到;仍无真实模型/宿主记忆注入 |
| Q05 | 已修 | `dispatch-v2.test.js` Q05/Q05b/Q05c:begin/mark 失败 nativeCalls=0;回执失败 unknown |
| Q06 | 已修 | `store.test.js` Q06 延迟落盘不可见;`records.test.js` Q06/G06 guard 打标后最终复核阻止执行 |
| Q07 | 已修 | `artifact.test.js` missing 不再通过;`gate.test.js` Q07 truncated/missing 拒绝;review 写入前拦截 pass |
| Q08 | 部分修(R4-01/02 已修,目标范围仍有限) | 后台 job 改用非消费式 `ctx.jobs.events` 观察终态,不再用 `wait` 抑制原生通知;订阅前已终态可立即释放;文件工具按实际目标路径加锁并拒绝越界;shell/未知第三方工具仍只锁项目根 |
| Q09 | 已修 | `store.test.js` Q09 + `route.test.js` Q09:跨项目核实 409 且不写事件;事件与状态同事务 |
| Q10 | 已修 | `records.test.js` Q10:重复 draft/start 拒绝,新建/启动确认 |
| Q11 | 部分修(R4-05 补强) | 真实 `selectSessionModel` 串行、失败不阻塞下一次、默认模型恢复不覆盖用户新选择;群 Session 失败抛错;补偿前检查 runtime 版本并保留用户新选择;固定模型完整恢复仍未真实宿主注入 |
| Q12 | 已修(真实 Hook 级) | `client.test.js` Q12c 用 mini React hooks 挂载真实 `useSanshengState`:切项目先 loading、旧数据清空、B 失败后显示 B 错误;真实浏览器像素时间线仍未自动化 |
| Q13 | 已修(R4-04 真实语义) | 真实 `catalog` 的 needsKey 先于 available 判断;服务端拒绝 needsKey/不在目录模型,前端禁用并标注 |
## 8. 发布门核对
| 项 | 状态 |
| --- | --- |
| P1 缺陷关闭且回归可复现 | F01–F08、F10、F11 仓库内修复/回归;F09 旧包不接管主聊天已在旧包临时止血,新方案不注册 main.conversation |
| U/I/G/A/R 必选项 | 自动化项通过;U01/U05/U07/U08 的视觉与真实宿主项未验证 |
| E01–E04 | 未执行 → 候选状态 |
| 两包依赖/宿主兼容 | 明确:sansheng 0.2.6 + ds-bot 0.3.2-sansheng.6(本地补丁 M-01–M-06) |
| 数据保留/升级/回退 | v2→v3 只补字段;严格 schema 只拒绝损坏文件并保留 registry;不迁移旧十席数据 |
| 真实截图与 UI 复核 | 有测试 profile 浅色截图;真实多项目/深色/窄屏仍缺 |