只检查放行项，还不知道漏掉了什么

2026-11-02更新0.2.0新增有限输入集合的precision和recall逻辑界限。下面保留0.1.0原始发布记录新版方法与限制见末节。0.1.0原始发布记录我发布了 Rejected Check Audit一个用来检查多阶段筛选分母的离线工具。它保留前置阶段拒绝的事件区分未知标签、负例和未解决的判定并把每个已知漏检追溯到终止阶段。只审查最终放行项可以知道这些放行项里有多少错误却看不到被拒绝的事件里漏掉了多少应当检出的内容。把未审阅项当成负例或者把没运行的下游阶段补成拒绝都会改变指标的含义。工具附带十二个作者构造的事件分别提供完整标注、只标放行项、目的选择的部分审阅三种视图。三份视图共享相同事件身份不能当成三十六条独立样本。在只标放行项的视图里工具保留全部事件分母将总体召回率输出为null并说明原因部分审阅也不按小样本比例外推总体漏检。下载仓库后可用Python标准库在本地运行audit.py导出JSON报告以及阶段、路径和指标CSV。独立复算程序、冻结手算合同和CPU Notebook一并提供。最终公开包经过干净目录重跑与额外独立状态组合检查HF文件内容及三个可搜索Viewer已核对。这组结果验证的是审计工具怎样记账。它不包含真实业务轨迹、模型输出或新的训练也没有证明筛选器变得更准确。把它接到真实系统之前还需要定义事件身份、标签标准、选样方式与阶段含义。工具采用保守的完整标签召回规则不提供抽样加权、总体置信区间或部分识别界限。作品与代码https://huggingface.co/datasets/WideChaos/rejected-check-audit代码与合成案例采用 Apache-2.0 许可。作者Renchao Wu。0.1.0固定版本2026-11-020.2.0增加逻辑界限我在同一工具中增加了有限输入集合的precision和recall逻辑上下界。已知标签和判定保持固定未知标签或未解决预测允许二值补全每个指标只在其分母为正的补全中取极值并显式报告可能未定义、始终未定义的情况。precision和recall的端点分别可达不保证能在同一次补全中联合取得。原来的十二个合成事件和三个标签视图没有变化。完整标签的recall界限为[1/3,1/3]仅放行标签为[1/5,1]补审两个事件后为[2/9,2/3]三个视图的precision均为[1/2,1/2]。旧单值及null的可计算条件保持不变不完整标签的旧recall仍为null。这些界限来自声明的补全模型是对输入集合的逻辑约束不是总体估计、抽样置信区间或实际模型成绩也不保证每种补全在真实系统中可能发生。上文原版案例与局限保留新版代码和证明见同一HF仓的固定版本。0.2.0代码与证明的固定版本本次HF发布验收核对了文件和三个配置的数据行搜索当时尚不可用。作者Renchao Wu 原文https://widechaos.cn/blog/rejected-check-audit-zh