dsh-sansheng-liubu/docs/verification/02-test-matrix.md

98 lines
6.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 验收矩阵与证据状态(候选版本)
日期:2026-11-13
结论:**候选版本**。仓库内自动化回归通过;已在隔离测试 profile(独立 DSH_HOME,宿主 0.2.2-rc.3)完成真实宿主冒烟:右栏入口、初始化项目、三卡与角色会话可打开、输入框位于底部,证据见 `03-host-smoke.md`。真实模型 E2E(E01–E04)、workspace-groups 项目树右键、深色/窄屏仍缺失;用户日常 desktop profile 未修改。
## 1. 自动化测试入口
```sh
node --test --test-isolation=none sansheng/test/*.test.js
node --check sansheng/client.js
node --check sansheng/index.js
```
测试目录新增:
- `artifact.test.js`:成果快照(Git/非 Git/排除/缺失/sync=async)
- `review-v3.test.js`:最新判决、成果/代次、G01–G07、A01–A05
- `isolation.test.js`:I01–I06 与写租约
- `dispatch-v2.test.js`:R01–R05
- `api-v3.test.js`:状态投影与历史折叠
- `gate-install.test.js`:F01、unknown 身份、治理损坏、跨项目
- `client.test.js`:右栏/入口/项目上下文(见 UI 工作包报告)
## 2. 入口与布局
| ID | 状态 | 证据 |
| --- | --- | --- |
| U01 输入框原生底部 | 真实宿主冒烟部分通过 | 测试 profile 1440×900 截图输入框在底部;本方案不接管 `main.conversation`;长消息/连续工具流未测 |
| U02 从项目树打开 A | 真实宿主冒烟通过(测试 profile) | 左栏保持 workspace-groups 项目树;右栏三卡与「Bot 切换」独立于左栏;workspace-groups 右键菜单组件级测试通过 |
| U03 右栏重复点击聚焦 | 组件级通过 | `openRolesTab` 优先 better-sidebar/openTabIn;现有测试覆盖回退 |
| U04 Better Sidebar 缺失/失败 | 真实宿主冒烟通过(回退入口) | 测试 profile 无 better-sidebar:左栏底部「三省」按钮可打开右栏「角色」页签;见 `03-host-smoke.md` |
| U05 小窗口/宽屏/主题 | 部分验证 | 1440×900 浅色截图;深色/窄屏未测 |
| U06 A/B 切换旧响应不覆盖 | 通过(client 测试) | 请求序号丢弃旧响应;Q12:跨项目失败不再把 A 缓存配上 B 上下文 |
| U07 新目标不显示旧验收 | 通过(api-v3) | 按 goalId 过滤 + 历史折叠 |
| U08 先 reject 后 pass 不显示旧返工 | 通过(api-v3) | 当前阶段最新判决决定卡片 |
| U09 断连/过期/配置失败提示 | 组件级通过 | 保留上次数据但显示“连接中断”;配置表单错误就地显示 |
| U10 模型切换 | 组件级通过 / 真实有模型未测 | 角色卡模型下拉调用 `/sansheng/config`;无可用模型目录时显示默认模型;真实 API Key 环境待测 |
## 3. 隔离
| ID | 状态 | 证据 |
| --- | --- | --- |
| I01 默认参数创建 A/B 成功且身份独立 | 通过(isolation I01) | 全局 Bot 名唯一算法 + 项目绑定互斥 |
| I02 A 尚书绑 B 拒绝 | 通过(isolation I02) | `bot-taken` 校验,无半绑定 |
| I03 B 会话显式 A / 私聊跨项目 | 通过(isolation I03/I03b + ds-bot M-04) | `resolveProjectForCall` 冲突拒绝;`checkDelivery` 覆盖 message_bot 私聊与 rt.deliver |
| I04 修改 A 模型不影响 B | 通过(isolation I04 + Q11) | `updateProjectConfig` 先解析全部模型再应用;无效模型零修改,中途失败回滚 runtime 模型 |
| I05 A 记忆不注入 B | 源码级通过 / 真实宿主未验证 | M-05:team 作用域写入、读取、系统提示、autoRecall、memoryUpdate 全部按项目拒绝;无 ds-bot 测试框架,仅语法/静态检查 |
| I06 跨项目自动投递拒绝 | 通过(isolation I05/I06) | governance.checkDelivery + ds-bot delivery 补丁 |
| I07 并行写入与工作根 | 部分通过 | 写租约测试通过;`workDir` 通过 `rt.createBot/updateBot` 落到 Bot;同根并发仍以单写租约为准,未做真实文件系统越界测试 |
## 4. 门禁与成果
| ID | 状态 | 证据 |
| --- | --- | --- |
| G01 无丞相验收 complete 拒绝 | 通过(review-v3) | `no-goal-review` |
| G02 非项目 Main 修改拒绝 | 通过(review-v3/gate) | `main-bot` |
| G03 先 pass 后 reject 最新 reject 生效 | 通过(review-v3 F02/G03) | 先取最新判决再审摘要 |
| G04 reject→pass;旧摘要不能复活 | 通过(review-v3) | 最新判决 + 摘要/成果/代次校验 |
| G05 B 证据不能批准 A | 通过(isolation I03b) | 项目身份与 projectId 绑定 |
| G06 检查后变更并发改判 | 部分通过 | guard 在最终变更入口同步复核;无真实并发宿主测试 |
| G07 状态损坏不放行 | 通过(gate-install G07) | registry 提示 + `state-unavailable` |
| A01 改已跟踪文件 | 通过(artifact/review-v3) | git diff digest |
| A02 新增未跟踪交付文件 | 通过(artifact/review-v3) | untracked manifest |
| A03 改验收标准/任务范围 | 通过(review-v3) | reviewSubjectDigest |
| A04 测试后改成果 | 通过(artifact) | 快照 digest 变化即失效 |
| A05 仅状态变更 revision 增长 | 通过(gate) | 审查对象摘要不含 status/note;revision 不参与审批有效性 |
## 5. 派发与恢复
| ID | 状态 | 证据 |
| --- | --- | --- |
| R01 业务拒绝字符串不记 confirmed | 通过(dispatch-v2 R01) | 比较目标 revision/id 前后快照 |
| R02 同 requestId 同 payload 不重发 | 通过(dispatch-v2 R02) | `beginDispatch` 幂等 + payloadDigest |
| R03 回执丢失重启 | 通过(dispatch-v2 R03) | prepared/in_flight → unknown,不盲目重发 |
| R04 intent/结果保存失败 | 通过(dispatch-v2 R04) | 事务克隆回滚 |
| R05 返工与原生 @ 只执行一次 | 通过(dispatch-v2 R05) | 稳定 requestId + addRework 去重 |
| R06 返工上限跨重启 | 通过(records/gate) | budgetOf 取原生累计与本地记录最大值 |
| R07 暂停/取消/刷新 | 部分通过 | `sansheng_control`/route 调 `rt.goalControl`;停止请求与已停止分开显示;未做宿主 E2E |
## 6. 真实模型端到端
| ID | 状态 | 说明 |
| --- | --- | --- |
| E01 正常交付 | 未执行 | 缺已授权测试宿主;不能在 daily profile 上跑真实项目 |
| E02 驳回返工 | 未执行 | 同上 |
| E03 双项目并行 | 未执行 | 自动化隔离测试覆盖数据层,不代替真实模型 |
| E04 中断恢复 | 未执行 | 单测覆盖故障窗口,真实重启未验证 |
## 7. 发布门核对
| 项 | 状态 |
| --- | --- |
| P1 缺陷关闭且回归可复现 | F01–F08、F10、F11 仓库内修复/回归;F09 旧包不接管主聊天已在旧包临时止血,新方案不注册 main.conversation |
| U/I/G/A/R 必选项 | 自动化项通过;U01/U05/U07/U08 的视觉与真实宿主项未验证 |
| E01–E04 | 未执行 → 候选状态 |
| 两包依赖/宿主兼容 | 明确:sansheng 0.2.0 + ds-bot 0.3.2(本地补丁 M-01–M-05) |
| 数据保留/升级/回退 | v2→v3 只补字段;旧项目/审查保留;不迁移旧十席数据 |
| 真实截图与 UI 复核 | 缺失,必须由用户测试环境补 |