dsh-sansheng-liubu/docs/verification/02-test-matrix.md

6.9 KiB
Raw Blame History

验收矩阵与证据状态(候选版本)

日期:2026-11-13 结论:候选版本。仓库内自动化回归通过;已在隔离测试 profile(独立 DSH_HOME,宿主 0.2.2-rc.3)完成真实宿主冒烟:右栏入口、初始化项目、三卡与角色会话可打开、输入框位于底部,证据见 03-host-smoke.md。真实模型 E2E(E01–E04)、workspace-groups 项目树右键、深色/窄屏仍缺失;用户日常 desktop profile 未修改。

1. 自动化测试入口

node --test --test-isolation=none sansheng/test/*.test.js
node --check sansheng/client.js
node --check sansheng/index.js

测试目录新增:

  • artifact.test.js:成果快照(Git/非 Git/排除/缺失/sync=async)
  • review-v3.test.js:最新判决、成果/代次、G01–G07、A01–A05
  • isolation.test.js:I01–I06 与写租约
  • dispatch-v2.test.js:R01–R05
  • api-v3.test.js:状态投影与历史折叠
  • gate-install.test.js:F01、unknown 身份、治理损坏、跨项目
  • client.test.js:右栏/入口/项目上下文(见 UI 工作包报告)

2. 入口与布局

ID 状态 证据
U01 输入框原生底部 真实宿主冒烟部分通过 测试 profile 1440×900 截图输入框在底部;本方案不接管 main.conversation;长消息/连续工具流未测
U02 从项目树打开 A 真实宿主冒烟通过(测试 profile) 左栏保持 workspace-groups 项目树;右栏三卡与「Bot 切换」独立于左栏;workspace-groups 右键菜单组件级测试通过
U03 右栏重复点击聚焦 组件级通过 openRolesTab 优先 better-sidebar/openTabIn;现有测试覆盖回退
U04 Better Sidebar 缺失/失败 真实宿主冒烟通过(回退入口) 测试 profile 无 better-sidebar:左栏底部「三省」按钮可打开右栏「角色」页签;见 03-host-smoke.md
U05 小窗口/宽屏/主题 部分验证 1440×900 浅色截图;深色/窄屏未测
U06 A/B 切换旧响应不覆盖 通过(client 测试) 请求序号丢弃旧响应;Q12:跨项目失败不再把 A 缓存配上 B 上下文
U07 新目标不显示旧验收 通过(api-v3) 按 goalId 过滤 + 历史折叠
U08 先 reject 后 pass 不显示旧返工 通过(api-v3) 当前阶段最新判决决定卡片
U09 断连/过期/配置失败提示 组件级通过 保留上次数据但显示“连接中断”;配置表单错误就地显示
U10 模型切换 组件级通过 / 真实有模型未测 角色卡模型下拉调用 /sansheng/config;无可用模型目录时显示默认模型;真实 API Key 环境待测

3. 隔离

ID 状态 证据
I01 默认参数创建 A/B 成功且身份独立 通过(isolation I01) 全局 Bot 名唯一算法 + 项目绑定互斥
I02 A 尚书绑 B 拒绝 通过(isolation I02) bot-taken 校验,无半绑定
I03 B 会话显式 A / 私聊跨项目 通过(isolation I03/I03b + ds-bot M-04) resolveProjectForCall 冲突拒绝;checkDelivery 覆盖 message_bot 私聊与 rt.deliver
I04 修改 A 模型不影响 B 通过(isolation I04 + Q11) updateProjectConfig 先解析全部模型再应用;无效模型零修改,中途失败回滚 runtime 模型
I05 A 记忆不注入 B 源码级通过 / 真实宿主未验证 M-05:team 作用域写入、读取、系统提示、autoRecall、memoryUpdate 全部按项目拒绝;无 ds-bot 测试框架,仅语法/静态检查
I06 跨项目自动投递拒绝 通过(isolation I05/I06) governance.checkDelivery + ds-bot delivery 补丁
I07 并行写入与工作根 部分通过 写租约测试通过;workDir 通过 rt.createBot/updateBot 落到 Bot;同根并发仍以单写租约为准,未做真实文件系统越界测试

4. 门禁与成果

ID 状态 证据
G01 无丞相验收 complete 拒绝 通过(review-v3) no-goal-review
G02 非项目 Main 修改拒绝 通过(review-v3/gate) main-bot
G03 先 pass 后 reject 最新 reject 生效 通过(review-v3 F02/G03) 先取最新判决再审摘要
G04 reject→pass;旧摘要不能复活 通过(review-v3) 最新判决 + 摘要/成果/代次校验
G05 B 证据不能批准 A 通过(isolation I03b) 项目身份与 projectId 绑定
G06 检查后变更并发改判 部分通过 guard 在最终变更入口同步复核;无真实并发宿主测试
G07 状态损坏不放行 通过(gate-install G07) registry 提示 + state-unavailable
A01 改已跟踪文件 通过(artifact/review-v3) git diff digest
A02 新增未跟踪交付文件 通过(artifact/review-v3) untracked manifest
A03 改验收标准/任务范围 通过(review-v3) reviewSubjectDigest
A04 测试后改成果 通过(artifact) 快照 digest 变化即失效
A05 仅状态变更 revision 增长 通过(gate) 审查对象摘要不含 status/note;revision 不参与审批有效性

5. 派发与恢复

ID 状态 证据
R01 业务拒绝字符串不记 confirmed 通过(dispatch-v2 R01) 比较目标 revision/id 前后快照
R02 同 requestId 同 payload 不重发 通过(dispatch-v2 R02) beginDispatch 幂等 + payloadDigest
R03 回执丢失重启 通过(dispatch-v2 R03) prepared/in_flight → unknown,不盲目重发
R04 intent/结果保存失败 通过(dispatch-v2 R04) 事务克隆回滚
R05 返工与原生 @ 只执行一次 通过(dispatch-v2 R05) 稳定 requestId + addRework 去重
R06 返工上限跨重启 通过(records/gate) budgetOf 取原生累计与本地记录最大值
R07 暂停/取消/刷新 部分通过 sansheng_control/route 调 rt.goalControl;停止请求与已停止分开显示;未做宿主 E2E

6. 真实模型端到端

ID 状态 说明
E01 正常交付 未执行 缺已授权测试宿主;不能在 daily profile 上跑真实项目
E02 驳回返工 未执行 同上
E03 双项目并行 未执行 自动化隔离测试覆盖数据层,不代替真实模型
E04 中断恢复 未执行 单测覆盖故障窗口,真实重启未验证

7. 发布门核对

项 状态
P1 缺陷关闭且回归可复现 F01–F08、F10、F11 仓库内修复/回归;F09 旧包不接管主聊天已在旧包临时止血,新方案不注册 main.conversation
U/I/G/A/R 必选项 自动化项通过;U01/U05/U07/U08 的视觉与真实宿主项未验证
E01–E04 未执行 → 候选状态
两包依赖/宿主兼容 明确:sansheng 0.2.0 + ds-bot 0.3.2(本地补丁 M-01–M-05)
数据保留/升级/回退 v2→v3 只补字段;旧项目/审查保留;不迁移旧十席数据
真实截图与 UI 复核 缺失,必须由用户测试环境补