★ FEATURED ARTICLE 【免费下载链接】SentryLearning to Recover from LLM Agent Failures at Test Time项目地址https://gitcode.com/gh_mirrors/sentry25/Sentry点击查看免费下载Sentry 是面向 LLM Agent 的外部运行时故障管理层。本文聚焦它的验证机制Agent 被救活之后Sentry 如何在恰好 H10 个循环内判断这次恢复是真正修好了故障还是只是侥幸没有再出错。为什么需要专门的验证故障修复很容易看起来成功Agent 卡循环几轮之后突然走出两步正常操作然后任务又重新卡死。如果只凭没再报错就算恢复错误的经验会沉淀进记忆库污染后续所有任务。Sentry 的 Verifier 就是为解决这个问题而设计的——它只认证触发救援的那个具体故障是否被修复而不是笼统地看任务是否成功。H10 验证边界的配置位置H10 是 Sentry 论文中设定的固定参数在源码里被硬性锁死轨迹配置post_rescue_horizon默认值为 10见 Sentry/config.py完整配置校验如果试图修改该值会直接报错Full Sentry uses H10见 Sentry/config.py论文参数快照configs/paper.yaml与window_size: 5检测窗口配套软故障与硬故障的两种验证路径Sentry 把故障分成两类验证方式完全不同故障类型验证方式验证时机硬故障动作不合法由环境执行结果直接判定1 个循环内立即验证软故障卡循环 / 目标跑偏 / 幻觉模型裁判审阅恢复轨迹恰好走满 H10 步后验证硬故障走 verify_hard_repair动作解析成功、schema 合法、且被环境接受三个条件同时满足才算恢复。软故障走 EscapeVerifier.verify它先校验一条强约束恢复轨迹必须恰好等于 10 步少一步或多一步都会直接抛错。验证器的判断标准如何排除侥幸成功真正区分真恢复与侥幸的核心逻辑在验证提示词 build_verifier_prompt 中有三条关键规则只判具体故障裁判必须判断触发救援的那个故障是否被修复提示词明确要求 Judge the specific retrieval labels and resolution criteria, not generic task success alone。禁用外部奖励裁判看不到 benchmark 奖励或最终任务成功标签提示词明令 You have no benchmark reward or final task-success label. Do not infer either.避免拿任务结局倒推恢复是否成立。按故障标签逐条核对每种细粒度故障标签都有专属的解决标准——例如循环要求停止重复旧动作并获得新信息、幻觉要求未证实的假设被删除、修正或验证全部标准见 Sentry/taxonomy.py。判断标准一句话概括✅Agent 停止被诊断的行为并恢复有效、与任务相关、基于观察的进展才算 resolved同一故障模式继续、越跑越偏、或恢复中引入新的无据假设都是 unresolved。此外验证器输出必须是固定 JSONstatus / justification / evidence任何格式不合法都会被 parse_verifier_response 保守地记为 unresolved——宁可不认证也不放过侥幸。为什么必须是恰好10 步Sentry.py 中的observe_step是边界的执行者救援注入后每个新循环都被追加进post_rescue_steps满 10 步立即触发验证如果出现第 11 步时验证仍未触发会直接抛出 Sentry missed the exact H-step verification boundary。这个恰好很关键短于 10 步只看到 2、3 步正常表现无法区分真修好和还没开始复发侥幸成功会混进来长于 10 步验证延迟与 Token 成本上升且轨迹后段与救援无关的噪声会稀释证据任务提前结束finalize_task 会把没走满 10 步的救援事件记为verification_incomplete它永远无法更新 Playbook——不完整就不下结论。只有验证通过的恢复才会沉淀为经验验证结果直接决定经验沉淀PlaybookUpdater.summarize 只处理escapedTrue的软故障事件将触发模式 修复原则总结成可复用条目写入 Playbook硬修复和未通过验证的事件一律不入库。这正是 Sentry 在 939 次检测到故障中取得 81.7% 恢复率背后的质量门槛进入记忆库的每一条经验都先通过了 H10 步边界的验证。关键源码速查表模块作用Sentry/verifier.py硬 / 软两条验证路径与验证器提示词Sentry/config.pyH10 参数定义与强制校验Sentry/taxonomy.py故障分类与各标签的解决标准Sentry/Sentry.py主循环按 H 步边界触发验证Sentry/updater.py把验证通过的恢复总结为 Playbook 经验configs/paper.yaml论文参数快照W5H10赞分享【免费下载链接】SentryLearning to Recover from LLM Agent Failures at Test Time项目地址https://gitcode.com/gh_mirrors/sentry25/Sentry点击查看免费下载相关推荐WuKongIM MQTT Will Raft 故障恢复切面评审故障注入证据链、静态评审结论与验证边界WuKongIM MQTT Will Raft 故障恢复切面评审故障注入证据链、静态评审结论与验证边界 本文围绕 docs/reports/mqtt will即时通讯后端30分钟做出自己的蓝牙鼠标ESP32 ESP-IDF 蓝牙 HID 实战教程附排错清单30分钟做出自己的蓝牙鼠标ESP32 ESP IDF 蓝牙 HID 实战教程附排错清单 本文带你用 ESP IDF 在 ESP32 上完成一个蓝牙 H物联网嵌入式驱动开发系统编程Registrator故障恢复机制如何从网络分区和注册中心故障中恢复Registrator故障恢复机制如何从网络分区和注册中心故障中恢复 Registrator作为Docker服务注册的桥梁工具在微服务架构中承担着关键的服务微服务服务注册发现云原生上一篇如何5分钟上手DynamicChunkingDiTS-256与XL-256检查点下载与快速体验教程下一篇把孩子该学什么拆成1600多个小格子是教育进步还是给孩子套上枷锁创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
