dsh-sansheng-liubu/docs/verification/02-test-matrix.md

11 KiB
Raw Blame History

验收矩阵与证据状态(候选版本 v0.2.7)

日期:2026-11-14 结论:候选版本。仓库内自动化回归 168/168 通过;已在隔离测试 profile(独立 DSH_HOME,宿主 0.2.2-rc.3)完成真实宿主冒烟:原生项目树、原生聊天、右栏三卡与 Bot 切换,DS-Bot 全局 shell 未接管,控制台无 DS-Bot 重挂/设置冲突警告,证据见 03-host-smoke.md。真实模型 E2E(E01–E04)、长消息/连续工具流仍缺失;用户日常 desktop profile 未修改。

1. 自动化测试入口

node --test --test-isolation=none sansheng/test/*.test.js
node --check sansheng/client.js
node --check sansheng/index.js

测试目录新增:

  • artifact.test.js:成果快照(Git/非 Git/排除/缺失/sync=async)
  • review-v3.test.js:最新判决、成果/代次、G01–G07、A01–A05
  • isolation.test.js:I01–I06 与写租约
  • dispatch-v2.test.js:R01–R05
  • api-v3.test.js:状态投影与历史折叠
  • gate-install.test.js:F01、unknown 身份、治理损坏、跨项目
  • client.test.js:右栏/入口/项目上下文(见 UI 工作包报告)
  • 审查修复回归:Q01/Q01b/Q01c(store+apply)、Q02/Q02b(governance+gate 双故障)、Q03(unknown 工具)、Q04(governance + 真实 memory install + peer stub)、Q05/Q05b/Q05c(observer)、Q06/G06(draft+最终复核)、Q07(artifact/gate)、Q08/Q08b/Q08c/Q08d/Q08e/Q08f/Q08g/Q08h(租约+junction+过期+events 终态+嵌套目标+越界拒绝)、Q09(store+HTTP route)、Q10(records)、Q11/Q11b/Q11c/Q11d/Q11e/R4-05(config 回滚+并发+sidecar+真实 selectSessionModel+群失败/CAS)、Q12/Q12b/Q12c(Hook+超时+真实 useSanshengState)、Q13/R4-04(真实 catalog needsKey 服务端+前端)。

2. 入口与布局

ID 状态 证据
U01 输入框原生底部 真实宿主冒烟部分通过 测试 profile 1440×900 截图输入框在底部;本方案不接管 main.conversation;长消息/连续工具流未测
U02 从项目树打开 A 真实宿主冒烟通过(测试 profile) 左栏保持 workspace-groups 项目树;右栏三卡与「Bot 切换」独立于左栏;workspace-groups 右键菜单组件级测试通过
U03 右栏重复点击聚焦 组件级通过 openRolesTab 优先 better-sidebar/openTabIn;现有测试覆盖回退
U04 Better Sidebar 缺失/失败 真实宿主冒烟通过(回退入口) 测试 profile 无 better-sidebar:左栏底部「三省」按钮可打开右栏「角色」页签;见 03-host-smoke.md
U05 小窗口/宽屏/主题 真实宿主通过(浅/深/窄) 1440×900 浅色与深色、900×700 窄屏:原生项目树/输入框/右栏可用;无页面错误;见 host-dark.png、host-narrow.png
UI01 原生共存模式 真实宿主通过(含 R4-06 卸载) DS-Bot 走 agent surface;三省卸载撤销标记、发 workbench-gone、清理样式;DS-Bot 晚收到 ready 时释放设置壳;浅色宿主 0 警告
UI02 保留项目树不误重挂 真实宿主通过 控制台无 sidebar entry missing/remounting 警告;verifySidebar 在共存模式直接跳过
UI03 右栏不被抽屉折叠 真实宿主通过(未打开 Bot 详情) 右栏决策 effect 在共存模式不安装,回调也有 guard;角色页签可打开;Bot 详情交叉打开未操作
U06 A/B 切换旧响应不覆盖 通过(client 测试) 请求序号丢弃旧响应;Q12:跨项目失败不再把 A 缓存配上 B 上下文
U07 新目标不显示旧验收 通过(api-v3) 按 goalId 过滤 + 历史折叠
U08 先 reject 后 pass 不显示旧返工 通过(api-v3) 当前阶段最新判决决定卡片
U09 断连/过期/配置失败提示 组件级通过 保留上次数据但显示“连接中断”;配置表单错误就地显示
U10 模型切换 组件级通过 / 真实有模型未测 角色卡模型下拉调用 /sansheng/config;无可用模型目录时显示默认模型;真实 API Key 环境待测

3. 隔离

ID 状态 证据
I01 默认参数创建 A/B 成功且身份独立 通过(isolation I01) 全局 Bot 名唯一算法 + 项目绑定互斥
I02 A 尚书绑 B 拒绝 通过(isolation I02) bot-taken 校验,无半绑定
I03 B 会话显式 A / 私聊跨项目 通过(isolation I03/I03b + ds-bot M-04) resolveProjectForCall 冲突拒绝;checkDelivery 覆盖 message_bot 私聊与 rt.deliver
I04 修改 A 模型不影响 B 通过(isolation I04 + Q11) updateProjectConfig 先解析全部模型再应用;无效模型零修改,中途失败回滚 runtime 模型
I05 A 记忆不注入 B 真实 memory 模块集成通过 / 真实宿主未验证 Q04:team/group/target Bot 在 readScopes、groupSnapshot、autoRecall、memoryUpdate、writeDenied 前统一走 governance;memory-q04.test.js 验证被拒群记忆不注入、显式 recall 拒绝;真实模型/宿主注入仍缺
I06 跨项目自动投递拒绝 通过(isolation I05/I06 + Q02) governance.checkDelivery 覆盖 broken/missing registry;ds-bot delivery 补丁
I07 并行写入与工作根 部分通过 Q08:真实 write/edit/apply_patch/shell/pwsh 等入口按规范化工作根独占,成功/失败 finally 释放;同根单写;未覆盖所有第三方写工具与崩溃后租约自动清理

4. 门禁与成果

ID 状态 证据
G01 无丞相验收 complete 拒绝 通过(review-v3) no-goal-review
G02 非项目 Main 修改拒绝 通过(review-v3/gate) main-bot
G03 先 pass 后 reject 最新 reject 生效 通过(review-v3 F02/G03) 先取最新判决再审摘要
G04 reject→pass;旧摘要不能复活 通过(review-v3) 最新判决 + 摘要/成果/代次校验
G05 B 证据不能批准 A 通过(isolation I03b) 项目身份与 projectId 绑定
G06 检查后变更并发改判 通过(新增 observer 最终复核测试;真实并发宿主未测) Q06:draft 落盘后才发布;guard 打标后 observer 在 next() 前用最新 reviews/成果重判;仍非完整 TOCTOU 证明
G07 状态损坏不放行 通过(gate-install G07 + Q01/Q02) Q01:null/[]/错误版本/坏条目/空主状态均 broken 且保留 registry;Q02:治理服务拒绝已知受治理主体
A01 改已跟踪文件 通过(artifact/review-v3) git diff digest
A02 新增未跟踪交付文件 通过(artifact/review-v3) untracked manifest
A03 改验收标准/任务范围 通过(review-v3) reviewSubjectDigest
A04 测试后改成果 通过(artifact) 快照 digest 变化即失效
A05 仅状态变更 revision 增长 通过(gate) 审查对象摘要不含 status/note;revision 不参与审批有效性

5. 派发与恢复

ID 状态 证据
R01 业务拒绝字符串不记 confirmed 通过(dispatch-v2 R01) 比较目标 revision/id 前后快照
R02 同 requestId 同 payload 不重发 通过(dispatch-v2 R02) beginDispatch 幂等 + payloadDigest
R03 回执丢失重启 通过(dispatch-v2 R03) prepared/in_flight → unknown,不盲目重发
R04 intent/结果保存失败 通过(dispatch-v2 R04 + Q05) begin/mark 失败 nativeCalls=0;原生已执行但回执失败标 unknown,不自动重发
R05 返工与原生 @ 只执行一次 通过(dispatch-v2 R05) 稳定 requestId + addRework 去重
R06 返工上限跨重启 通过(records/gate) budgetOf 取原生累计与本地记录最大值
R07 暂停/取消/刷新 部分通过 sansheng_control/route 调 rt.goalControl;停止请求与已停止分开显示;未做宿主 E2E

6. 真实模型端到端

ID 状态 说明
E01 正常交付 未执行 缺已授权测试宿主;不能在 daily profile 上跑真实项目
E02 驳回返工 未执行 同上
E03 双项目并行 未执行 自动化隔离测试覆盖数据层,不代替真实模型
E04 中断恢复 未执行 单测覆盖故障窗口,真实重启未验证

7. 审查报告 Q01–Q13 修复证据

项 状态 回归/证据
Q01 已修(第三轮补启动保护) Q01/Q01b/Q01c:坏 schema/空主状态保留 registry;missing+registry 时 writable=false,启动对账与 provision 拒绝覆盖;v2 迁移仍通过
Q02 已修(双故障补强) Q02/Q02b:broken/missing registry 拒绝;主 state+registry 双坏时 governance/gate 显式拒绝
Q03 已修 isolation.test.js Q03:unknown 对 provision/bind/config/control/reconcile/lease 全部拒绝
Q04 已修(真实 memory 模块集成) memory-q04.test.js 用 peer stub 加载 ds-bot memory:被拒群记忆不注入、显式 recall 返回 blocked;允许后才读到;仍无真实模型/宿主记忆注入
Q05 已修 dispatch-v2.test.js Q05/Q05b/Q05c:begin/mark 失败 nativeCalls=0;回执失败 unknown
Q06 已修 store.test.js Q06 延迟落盘不可见;records.test.js Q06/G06 guard 打标后最终复核阻止执行
Q07 已修 artifact.test.js missing 不再通过;gate.test.js Q07 truncated/missing 拒绝;review 写入前拦截 pass
Q08 部分修(R4-01/02 已修,目标范围仍有限) 后台 job 改用非消费式 ctx.jobs.events 观察终态,不再用 wait 抑制原生通知;订阅前已终态可立即释放;文件工具按实际目标路径加锁并拒绝越界;shell/未知第三方工具仍只锁项目根
Q09 已修 store.test.js Q09 + route.test.js Q09:跨项目核实 409 且不写事件;事件与状态同事务
Q10 已修 records.test.js Q10:重复 draft/start 拒绝,新建/启动确认
Q11 部分修(R4-05 补强) 真实 selectSessionModel 串行、失败不阻塞下一次、默认模型恢复不覆盖用户新选择;群 Session 失败抛错;补偿前检查 runtime 版本并保留用户新选择;固定模型完整恢复仍未真实宿主注入
Q12 已修(真实 Hook 级) client.test.js Q12c 用 mini React hooks 挂载真实 useSanshengState:切项目先 loading、旧数据清空、B 失败后显示 B 错误;真实浏览器像素时间线仍未自动化
Q13 已修(R4-04 真实语义) 真实 catalog 的 needsKey 先于 available 判断;服务端拒绝 needsKey/不在目录模型,前端禁用并标注

8. 发布门核对

项 状态
P1 缺陷关闭且回归可复现 F01–F08、F10、F11 仓库内修复/回归;F09 旧包不接管主聊天已在旧包临时止血,新方案不注册 main.conversation
U/I/G/A/R 必选项 自动化项通过;U01/U05/U07/U08 的视觉与真实宿主项未验证
E01–E04 未执行 → 候选状态
两包依赖/宿主兼容 明确:sansheng 0.2.6 + ds-bot 0.3.2-sansheng.6(本地补丁 M-01–M-06)
数据保留/升级/回退 v2→v3 只补字段;严格 schema 只拒绝损坏文件并保留 registry;不迁移旧十席数据
真实截图与 UI 复核 有测试 profile 浅色截图;真实多项目/深色/窄屏仍缺