11 KiB
11 KiB
验收矩阵与证据状态(候选版本 v0.2.5)
日期:2026-11-14
结论:候选版本。仓库内自动化回归 157/157 通过;已在隔离测试 profile(独立 DSH_HOME,宿主 0.2.2-rc.3)完成真实宿主冒烟:原生项目树、原生聊天、右栏三卡与 Bot 切换,DS-Bot 全局 shell 未接管,控制台无 DS-Bot 重挂/设置冲突警告,证据见 03-host-smoke.md。真实模型 E2E(E01–E04)、长消息/连续工具流仍缺失;用户日常 desktop profile 未修改。
1. 自动化测试入口
node --test --test-isolation=none sansheng/test/*.test.js
node --check sansheng/client.js
node --check sansheng/index.js
测试目录新增:
artifact.test.js:成果快照(Git/非 Git/排除/缺失/sync=async)review-v3.test.js:最新判决、成果/代次、G01–G07、A01–A05isolation.test.js:I01–I06 与写租约dispatch-v2.test.js:R01–R05api-v3.test.js:状态投影与历史折叠gate-install.test.js:F01、unknown 身份、治理损坏、跨项目client.test.js:右栏/入口/项目上下文(见 UI 工作包报告)- 审查修复回归:Q01/Q01b/Q01c(store+apply)、Q02/Q02b(governance+gate 双故障)、Q03(unknown 工具)、Q04(governance + 真实 memory install + peer stub)、Q05/Q05b/Q05c(observer)、Q06/G06(draft+最终复核)、Q07(artifact/gate)、Q08/Q08b/Q08c/Q08d(提交租约+真实写根+junction+过期接管)、Q09(store+HTTP route)、Q10(records)、Q11/Q11b/Q11c/Q11d(config 回滚+并发+recovery sidecar)、Q12/Q12b/Q12c(Hook+超时+真实 useSanshengState)、Q13(needsKey 服务端+前端)。
2. 入口与布局
| ID | 状态 | 证据 |
|---|---|---|
| U01 输入框原生底部 | 真实宿主冒烟部分通过 | 测试 profile 1440×900 截图输入框在底部;本方案不接管 main.conversation;长消息/连续工具流未测 |
| U02 从项目树打开 A | 真实宿主冒烟通过(测试 profile) | 左栏保持 workspace-groups 项目树;右栏三卡与「Bot 切换」独立于左栏;workspace-groups 右键菜单组件级测试通过 |
| U03 右栏重复点击聚焦 | 组件级通过 | openRolesTab 优先 better-sidebar/openTabIn;现有测试覆盖回退 |
| U04 Better Sidebar 缺失/失败 | 真实宿主冒烟通过(回退入口) | 测试 profile 无 better-sidebar:左栏底部「三省」按钮可打开右栏「角色」页签;见 03-host-smoke.md |
| U05 小窗口/宽屏/主题 | 真实宿主通过(浅/深/窄) | 1440×900 浅色与深色、900×700 窄屏:原生项目树/输入框/右栏可用;无页面错误;见 host-dark.png、host-narrow.png |
| UI01 原生共存模式 | 真实宿主冒烟通过(浅色) | __SANSENG_WORKBENCH__ 标记让 DS-Bot 走 agent surface;dsShell=false、原生项目树/聊天/设置入口保留;无全局主题接管 |
| UI02 保留项目树不误重挂 | 真实宿主通过 | 控制台无 sidebar entry missing/remounting 警告;verifySidebar 在共存模式直接跳过 |
| UI03 右栏不被抽屉折叠 | 真实宿主通过(未打开 Bot 详情) | 右栏决策 effect 在共存模式不安装,回调也有 guard;角色页签可打开;Bot 详情交叉打开未操作 |
| U06 A/B 切换旧响应不覆盖 | 通过(client 测试) | 请求序号丢弃旧响应;Q12:跨项目失败不再把 A 缓存配上 B 上下文 |
| U07 新目标不显示旧验收 | 通过(api-v3) | 按 goalId 过滤 + 历史折叠 |
| U08 先 reject 后 pass 不显示旧返工 | 通过(api-v3) | 当前阶段最新判决决定卡片 |
| U09 断连/过期/配置失败提示 | 组件级通过 | 保留上次数据但显示“连接中断”;配置表单错误就地显示 |
| U10 模型切换 | 组件级通过 / 真实有模型未测 | 角色卡模型下拉调用 /sansheng/config;无可用模型目录时显示默认模型;真实 API Key 环境待测 |
3. 隔离
| ID | 状态 | 证据 |
|---|---|---|
| I01 默认参数创建 A/B 成功且身份独立 | 通过(isolation I01) | 全局 Bot 名唯一算法 + 项目绑定互斥 |
| I02 A 尚书绑 B 拒绝 | 通过(isolation I02) | bot-taken 校验,无半绑定 |
| I03 B 会话显式 A / 私聊跨项目 | 通过(isolation I03/I03b + ds-bot M-04) | resolveProjectForCall 冲突拒绝;checkDelivery 覆盖 message_bot 私聊与 rt.deliver |
| I04 修改 A 模型不影响 B | 通过(isolation I04 + Q11) | updateProjectConfig 先解析全部模型再应用;无效模型零修改,中途失败回滚 runtime 模型 |
| I05 A 记忆不注入 B | 真实 memory 模块集成通过 / 真实宿主未验证 | Q04:team/group/target Bot 在 readScopes、groupSnapshot、autoRecall、memoryUpdate、writeDenied 前统一走 governance;memory-q04.test.js 验证被拒群记忆不注入、显式 recall 拒绝;真实模型/宿主注入仍缺 |
| I06 跨项目自动投递拒绝 | 通过(isolation I05/I06 + Q02) | governance.checkDelivery 覆盖 broken/missing registry;ds-bot delivery 补丁 |
| I07 并行写入与工作根 | 部分通过 | Q08:真实 write/edit/apply_patch/shell/pwsh 等入口按规范化工作根独占,成功/失败 finally 释放;同根单写;未覆盖所有第三方写工具与崩溃后租约自动清理 |
4. 门禁与成果
| ID | 状态 | 证据 |
|---|---|---|
| G01 无丞相验收 complete 拒绝 | 通过(review-v3) | no-goal-review |
| G02 非项目 Main 修改拒绝 | 通过(review-v3/gate) | main-bot |
| G03 先 pass 后 reject 最新 reject 生效 | 通过(review-v3 F02/G03) | 先取最新判决再审摘要 |
| G04 reject→pass;旧摘要不能复活 | 通过(review-v3) | 最新判决 + 摘要/成果/代次校验 |
| G05 B 证据不能批准 A | 通过(isolation I03b) | 项目身份与 projectId 绑定 |
| G06 检查后变更并发改判 | 通过(新增 observer 最终复核测试;真实并发宿主未测) | Q06:draft 落盘后才发布;guard 打标后 observer 在 next() 前用最新 reviews/成果重判;仍非完整 TOCTOU 证明 |
| G07 状态损坏不放行 | 通过(gate-install G07 + Q01/Q02) | Q01:null/[]/错误版本/坏条目/空主状态均 broken 且保留 registry;Q02:治理服务拒绝已知受治理主体 |
| A01 改已跟踪文件 | 通过(artifact/review-v3) | git diff digest |
| A02 新增未跟踪交付文件 | 通过(artifact/review-v3) | untracked manifest |
| A03 改验收标准/任务范围 | 通过(review-v3) | reviewSubjectDigest |
| A04 测试后改成果 | 通过(artifact) | 快照 digest 变化即失效 |
| A05 仅状态变更 revision 增长 | 通过(gate) | 审查对象摘要不含 status/note;revision 不参与审批有效性 |
5. 派发与恢复
| ID | 状态 | 证据 |
|---|---|---|
| R01 业务拒绝字符串不记 confirmed | 通过(dispatch-v2 R01) | 比较目标 revision/id 前后快照 |
| R02 同 requestId 同 payload 不重发 | 通过(dispatch-v2 R02) | beginDispatch 幂等 + payloadDigest |
| R03 回执丢失重启 | 通过(dispatch-v2 R03) | prepared/in_flight → unknown,不盲目重发 |
| R04 intent/结果保存失败 | 通过(dispatch-v2 R04 + Q05) | begin/mark 失败 nativeCalls=0;原生已执行但回执失败标 unknown,不自动重发 |
| R05 返工与原生 @ 只执行一次 | 通过(dispatch-v2 R05) | 稳定 requestId + addRework 去重 |
| R06 返工上限跨重启 | 通过(records/gate) | budgetOf 取原生累计与本地记录最大值 |
| R07 暂停/取消/刷新 | 部分通过 | sansheng_control/route 调 rt.goalControl;停止请求与已停止分开显示;未做宿主 E2E |
6. 真实模型端到端
| ID | 状态 | 说明 |
|---|---|---|
| E01 正常交付 | 未执行 | 缺已授权测试宿主;不能在 daily profile 上跑真实项目 |
| E02 驳回返工 | 未执行 | 同上 |
| E03 双项目并行 | 未执行 | 自动化隔离测试覆盖数据层,不代替真实模型 |
| E04 中断恢复 | 未执行 | 单测覆盖故障窗口,真实重启未验证 |
7. 审查报告 Q01–Q13 修复证据
| 项 | 状态 | 回归/证据 |
|---|---|---|
| Q01 | 已修(第三轮补启动保护) | Q01/Q01b/Q01c:坏 schema/空主状态保留 registry;missing+registry 时 writable=false,启动对账与 provision 拒绝覆盖;v2 迁移仍通过 |
| Q02 | 已修(双故障补强) | Q02/Q02b:broken/missing registry 拒绝;主 state+registry 双坏时 governance/gate 显式拒绝 |
| Q03 | 已修 | isolation.test.js Q03:unknown 对 provision/bind/config/control/reconcile/lease 全部拒绝 |
| Q04 | 已修(真实 memory 模块集成) | memory-q04.test.js 用 peer stub 加载 ds-bot memory:被拒群记忆不注入、显式 recall 返回 blocked;允许后才读到;仍无真实模型/宿主记忆注入 |
| Q05 | 已修 | dispatch-v2.test.js Q05/Q05b/Q05c:begin/mark 失败 nativeCalls=0;回执失败 unknown |
| Q06 | 已修 | store.test.js Q06 延迟落盘不可见;records.test.js Q06/G06 guard 打标后最终复核阻止执行 |
| Q07 | 已修 | artifact.test.js missing 不再通过;gate.test.js Q07 truncated/missing 拒绝;review 写入前拦截 pass |
| Q08 | 部分修 | realpath/junction 同根互斥、提交与写工具共用根锁、5 分钟续租、过期租约可接管;后台 job 生命周期和未知第三方写工具仍未覆盖 |
| Q09 | 已修 | store.test.js Q09 + route.test.js Q09:跨项目核实 409 且不写事件;事件与状态同事务 |
| Q10 | 已修 | records.test.js Q10:重复 draft/start 拒绝,新建/启动确认 |
| Q11 | 部分修 | Q11/Q11b/Q11c:失败角色也补偿、保留 model/appliedModel、整段配置按项目串行、sidecar recovery;真实 session selectModel 故障和 DS-Bot 并发外部写未测 |
| Q12 | 已修(真实 Hook 级) | client.test.js Q12c 用 mini React hooks 挂载真实 useSanshengState:切项目先 loading、旧数据清空、B 失败后显示 B 错误;真实浏览器像素时间线仍未自动化 |
| Q13 | 已修 | 服务端 availabilityOf 拒绝 needsKey/不在目录模型;前端选项禁用并标注 |
8. 发布门核对
| 项 | 状态 |
|---|---|
| P1 缺陷关闭且回归可复现 | F01–F08、F10、F11 仓库内修复/回归;F09 旧包不接管主聊天已在旧包临时止血,新方案不注册 main.conversation |
| U/I/G/A/R 必选项 | 自动化项通过;U01/U05/U07/U08 的视觉与真实宿主项未验证 |
| E01–E04 | 未执行 → 候选状态 |
| 两包依赖/宿主兼容 | 明确:sansheng 0.2.5 + ds-bot 0.3.2-sansheng.5(本地补丁 M-01–M-06) |
| 数据保留/升级/回退 | v2→v3 只补字段;严格 schema 只拒绝损坏文件并保留 registry;不迁移旧十席数据 |
| 真实截图与 UI 复核 | 有测试 profile 浅色截图;真实多项目/深色/窄屏仍缺 |