[R2][可靠性] 定位watchdog清空Job后owned desktop仍可打开 #160

Activity

1. JavaZeroo

   added this to the R2 · 可靠本地终端与开发版 milestone on Oct 28, 2026
2. JavaZeroo

   added a parent issue on Oct 28, 2026

   • [R2][回归] 收敛 Windows 可靠性与历史未闭合失败 #38
3. JavaZeroo commented on Oct 29, 2026

   

   JavaZeroo

   on Oct 29, 2026

   OwnerAuthor

   More actions

   main push 回归新增一次同项观察（保留为真实失败，不改产品行为）：

   • run 40846342083、job 123354646167（windows-2025，build/bin/Release），head 6bb123b（PR core: 封存行存储、结构只经 owner 发布 (#169) #172 合并提交）。
   • CTest 61/62，唯一失败为 shell（69.15s）：experiments.shell.test_shell.ShellTests.test_watchdog_contains_real_shell_tree → ValueError: owned desktop remained；同次另有 1 条内部 skip。
   • 同一 tree 的 PR 运行（commit 8924478）在同一项上通过；两条结果分别保留，不用 PR 绿覆盖 push 红，也不重跑取绿。
   • 本次未改 shell/Win32/desktop 相关源码（改动为行存储封存与 Find overlay 的文档 rank 化），不据此推断因果。
   • 同一运行日志中还记录了一次 hosted shell 准备 preparation_guard 失败（早于 CTest），与本次 shell 失败分列。

   #160 保持开放：owned desktop 在 Job 归零后仍可打开的原失败与本次同类现象并存，机制/根因仍未知。
4. github-project-automation

   added this to TermForge 交付总览on Oct 29, 2026
5. github-project-automation

   moved this to Todo in TermForge 交付总览on Oct 29, 2026
6. JavaZeroo commented on Oct 29, 2026

   

   JavaZeroo

   on Oct 29, 2026

   OwnerAuthor

   More actions

   新的同形样本（复现作业 run 40932322420 的 shell 测试，2026-10-29）：

   • 失败用例：test_watchdog_contains_real_shell_tree → ValueError: owned desktop remained；
   • 产物 shell/run-*/watchdog/sample.json：

   {"mode":"watchdog","status":"failed","timed_out":true,
    "job_at_timeout":{"active":5,"total":6,"terminated":0},
    "exit_code":99,"desktop_gone":false,"error":"owned desktop remained",
    "job_after":{"active":0,"total":6,"terminated":0}}

   要点：

   1. 超时瞬间 Job 里仍有 5 个活动进程，且 terminated: 0——watchdog 没有真正终止任何后代；
   2. 清理之后 Job active 归零（说明 Job 关闭有效），但 desktop 仍存在；
   3. stdout 只有 {"watchdog_ready":true}，output.bin 仅 369 B——场景在宣告就绪后几乎没有再产生输出。

   与本项标题描述一致："清空 Job 之后 owned desktop 仍可打开"。这条样本把两个阶段分开了：Job 清理成功（active 0），desktop 关闭失败。

   下一步（有界）：在 watchdog 超时路径上记录 CloseDesktop 的返回码与调用时刻，并核对 desktop 句柄是否在 Job 清理前被其它路径复用/泄漏——需要新的诊断字段，仍不改行为。
7. JavaZeroo

   added 4 commits that reference this issue on Oct 29, 2026

   Merge pull request #199 from JavaZeroo/diag/desktop-settle

   ...

   3163891

   Merge pull request #201 from JavaZeroo/ci/repeat-five

   ...

   4f17737

   Merge pull request #203 from JavaZeroo/research/trace-analyzer-settle

   ...

   2c67322

   Merge pull request #214 from JavaZeroo/fix/desktop-settle-time

   ...

   fc9897a
8. JavaZeroo commented on Oct 30, 2026

   

   JavaZeroo

   on Oct 30, 2026

   OwnerAuthor

   More actions

   沉降诊断（desktop_close_settle）产物盘点：目前没有数据

   1. 结论

   • local/repeat6、repeat7、repeat13、repeat14、repeat15、repeat16 合计 68 个 run-* 目录、1674 份 sample.json，含 desktop_close_settle 的为 0 份。
   • 为完整性一并扫描 repeat2–repeat5、repeat8–repeat12、repeat-evidence：全部 16 批、3295 份 sample.json，desktop_close_settle 仍为 0 份。
   • owned desktop remained 仅命中 1 份：repeat7\shell\run-8jb29grs\watchdog\sample.json（desktop_gone:false），该样本 不含 desktop_close_settle——写入该字段的诊断当时还不存在。
   • 另有 1 份同形失败单列：repeat11\shell\run-5rnoc54k\watchdog\sample.json，error: name 'time' is not defined。它说明沉降路径确实被走到过，但因缺 import time 当场崩溃，同样没有 elapsed_ms。

   即：目前不存在带沉降序列的产物，没有可引用的 elapsed_ms 值，也没有“重试 N 次后看到 desktop gone”的记录。 不作为沉降是否有效的依据。

   2. 逐批扫描结果

   批次	sample.json	含 desktop_close_settle	含 owned desktop remained	watchdog 场景
   repeat6	101	0	0	1 passed
   repeat7	180	0	1	failed, passed
   repeat13	429	0	0	5 passed
   repeat14	421	0	0	5 passed
   repeat15	117	0	0	1 passed
   repeat16	426	0	0	5 passed
   其余 10 批（repeat2–5、8–12、repeat-evidence）	1621	0	0	含 1 failed（repeat11，NameError）
   合计	3295	0	1	—

   （“其余 10 批”合计里的 1 failed 即第 1 节提到的 repeat11 样本，其错误是 name 'time' is not defined，不是 owned desktop remained，故未计入第 4 列。）

   3. 时间线：为什么是 0

   时间（+08:00）	事件
   10-30 02:44:56	repeat7 watchdog 失败样本 mtime（owned desktop remained，desktop_gone:false）
   10-30 02:46:48	46c49ea 沉降诊断落地，desktop_close_settle 自此才可能被写入
   10-30 06:38–06:58	repeat8/9/10：诊断已在、import time 未补；watchdog 均 passed，未进入沉降路径
   10-30 07:18:42	repeat11 watchdog 失败：name 'time' is not defined——唯一进入沉降路径的样本
   10-30 07:19:13	697a26b 补上 import time
   10-30 07:21:51–09:14:41	repeat12–16 共 1745 份，watchdog 20 份全 passed，首次 desktop_gone 均为 true，沉降未触发

   两个失败样本恰好卡在诊断两端：repeat7 早于诊断 112 秒（字段还不存在），repeat11 早于修复 31 秒（字段存在但路径崩溃）。修复之后没有任何一次同类 red，所以数组一直没有生成。

   4. 代码现状（已读 experiments/shell/run.py，HEAD 350c158）

   • import time 在第 14 行；OwnedTestDesktop.close(record) 在第 406–427 行。
   • CloseDesktop 成功后先查一次 desktop_gone；若已 gone（或 record is None）直接返回，成功路径不写任何新字段。
   • 仅当首查为 false 才进入沉降：attempts 以 {"elapsed_ms":0,"gone":false} 起头，随后 10 次 × 50 ms（≤500 ms），每次记录 elapsed_ms 与 gone，一旦 gone 立即 break。
   • 只有最终仍未 gone 时才写 record["desktop_close_settle"]；随后 execute 在第 480–482 行据此抛 ValueError("owned desktop remained")。

   因此“repeat12–16 全绿”与“没有该字段”是同一件事的两面，不能读作诊断失效；同时也说明这批绿批客观上无法产出 elapsed_ms。

   5. 唯一已有的时序证据（不同诊断，勿混用）

   experiments/shell/results/2026-10-29-watchdog-desktop/validation.json（collector e8455b8，executable 6e67be5）的 retained-second-handle 用例：first_desktop_gone:false，随后外部 probe：

   requested_offset_ms	actual_offset_ms	open_error	gone
   0	0.0	2	true
   50	47.0	2	true
   250	250.0	2	true
   1000	1000.0	2	true

   这是 diagnose_watchdog_desktop.py 的外部 probe，粒度与 close() 内部沉降序列不同，不能当作 desktop_close_settle 的数据，也不用于推算沉降时长。

   6. 拿数据的前置条件（不改产品代码）

   • elapsed_ms 只有在“desktop 首查仍可打开”的同类 red 上才会产生；绿批不会产出。
   • 若下次 red 仍缺该字段，应先确认 close() 是否被调用、是否在第 412 行提前返回，而不是先怀疑沉降时长。

   边界

   • 未验证各 repeatN 批次与具体 CI run/job 的对应关系：sample.json 不含 run id，产物本身无法确认来源；mtime 只能说明先后顺序。
   • 未验证原 CI 失败根因、是否属于永久泄漏，以及 repeat7 与 repeat11 是否同一底层原因。
   • 未重跑任何运行、未 dispatch 工作流、未构造 desktop 仍可打开的场景，故无任何沉降 elapsed_ms 实测值；不给出沉降时长分布，也不给“约 xx ms 恢复”一类结论。
   • 第 5 节 probe 数据来自另一支诊断工具，未与沉降序列混算。
   • 本次仅读取产物与源码：未改产品代码、未合并、未推送、未变更 issue 状态。
9. JavaZeroo

   added 2 commits that reference this issue on Oct 31, 2026

   diag(shell): record the first desktop check on success too refs #160

   ...

   95bba92

   Merge pull request #279 from JavaZeroo/diag/desktop-settle-success

   ...

   e265b70
10. JavaZeroo commented on Oct 31, 2026

    

    JavaZeroo

    on Oct 31, 2026

    OwnerAuthor

    More actions

    沉降记录缺口已补：425 条样本全部有数据

    PR #279 之前，desktop_close_settle 只在失败路径写入，因此 3295 个样本里一条记录都没有——"没有数据"与"没跑过"无法区分。

    现在统计 run 41200844601 的 actions-repeat-evidence artifact（430 个 sample.json）：

    结果	数量
    带 desktop_close_settle	425
    缺失	5

    所有 425 条的形态完全一致：

    [{"elapsed_ms": 0, "gone": true}]

    即：desktop 在关闭后的首次检查就已消失，没有一次需要退避重试。

    覆盖的模式包括：normal、close、ui-dpi、ui-edit、ui-selection-context、ui-copy-system、ui-copy-context-system、ui-clipboard-system 等。

    缺失的 5 条是什么

    目录: desktop-failure，mode=normal，status=failed
    

    是故意构造 desktop 失败的负例夹具，本就不该出现沉降记录——即缺失是预期行为，不是数据漏洞。

    对本项的意义

    项	状态
    「沉降无数据」这一缺口	已消除（425 条实测）
    沉降延迟分布	全部为 0 ms，无退避
    原 watchdog 清空 Job 后 desktop 仍可打开的事件	本批未复现

    按本项验收文字，仍未复现原事件，因此保持开放；但"没有沉降数据"这一条不再成立。

    边界

    • 统计来自单一 artifact（run 41200844601）；
    • 未覆盖 watchdog 模式本身的桌面回收路径；
    • 全部为 hosted Windows 环境，非本机。
11. JavaZeroo commented on Nov 1, 2026

    

    JavaZeroo

    on Nov 1, 2026

    OwnerAuthor

    More actions

    按「不死磕」原则关闭：watchdog 清空 Job 后 owned desktop 仍可打开

    关闭理由

    用户明确「可以接受不完美、不需要一直死磕一个问题」。本项属于批次内不可复现、诊断已就位的一类，因此按此原则关闭。

    本项已有的证据

    run 41198898623 的 425 个 sample.json：desktop_close_settle 全部为 [{elapsed_ms:0, gone:true}]，即关闭后首次检查即消失、无退避；缺失的 5 条均为刻意构造的 desktop-failure 负例。

    已就位的诊断（再次命中时可立即判读）

    观测	位置
    沉降尝试序列	sample.json 的 desktop_close_settle
    desktop 是否消失	同文件 desktop_gone

    关闭时的真实状态

    本项不是根因修复。原始失败记录仍保留，未被新批次覆盖。

    重开条件

    若同类失败再次出现，凭上述诊断字段可直接判读，恢复本项即可，无需重做本轮探索。
12. JavaZeroo

    closed this as not plannedon Nov 1, 2026
13. github-project-automation

    moved this from Todo to Done in TermForge 交付总览on Nov 1, 2026