EpiSEM‑Bench：缺失证据条件下大模型智能体安全与证据恢复能力评测基准

EpiSEM‑Bench：缺失证据条件下大模型智能体安全与证据恢复能力评测基准原文网页：https://arxiv.org/html/2610.31650v1PDF链接：https://arxiv.org/pdf/2610.31650v1arXiv编号：arXiv:2610.31650v1 [cs.AI]摘要工具调用大模型智能体依靠环境事实判断动作是否允许执行。当工具返回结果遗漏安全相关关键事实时，即便用户请求本身是良性的、工具返回的每一条陈述全部为真，智能体仍然可能执行被禁止的高危操作。本文提出EpiSEM‑Bench，一套可执行评测基准，用于评估大模型智能体在证据缺失场景下的不安全执行行为、安全边界以及证据恢复能力。基准包含跨6大领域的300组配对任务（共600个仿真世界实例）。通过系统性屏蔽关键事实，评测智能体在关键证据缺失时的不安全执行行为，同时测定触发故障所需的最小证据缺失基数；配套独立审计工具，测试智能体是否会主动查找缺失证据，在完成合法任务的同时主动克制不执行被禁止操作。评测结果显示，10款被测模型在证据缺失鲁棒性、证据获取、合理动作输出方面表现差异巨大。具备证据恢复访问能力可以降低全部模型的不安全执行率；但不同模型表现分化：部分模型不会主动获取缺失证据，也无法在两种仿真世界（安全/不安全）下做出适配的合理动作。单一综合分数会掩盖各类不同故障模式，需要组合多项指标联合解读评测结果。关键词大模型智能体；智能体安全；证据缺失；安全边界；证据恢复；可执行评测基准；工具调用智能体目录引言相关工作EpiSEM‑Bench基准设计](#3‑episem‑bench基准设计)3.1 环境与配对任务世界3.2 证据原子与证据屏蔽机制3.3 可选证据恢复工具3.4 安全、效用、证据恢复指标体系实验设置实验主要发现讨论与局限性结论