★ FEATURED ARTICLE 【免费下载链接】gpt-oss-120b-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/gpt-oss-120b-singprobe点击查看免费下载gpt-oss-120b-singprobe 是一款构建在开源大模型 gpt-oss-120b 之上的流式安全护栏streaming guardrail它不需要额外跑一个独立的安全模型而是复用基座模型生成过程中的隐藏状态在每一个 token 生成时同时给出三类打分查询意图、回复不安全性和幻觉风险。整个探针仅 5.8M 参数推理开销不到 0.5%却在流式安全检测、响应安全分类等榜单上正面胜过多个 8B 级别的安全模型。下面用榜单数据逐项拆解。它是什么一行字讲清定位传统做法是在主模型之外再部署一个安全分类模型常见为 8B 规模代价是更高的显存、延迟和部署复杂度。gpt-oss-120b-singprobe 的思路是一个探针走天下从基座模型的第10、22、34层抽头tap隐藏状态用一个轻量注意力探针做流式打分每生成一个 token 输出一次10 维分数10 个输出 8 类查询意图 1 个 unsafe 风险 1 个幻觉风险基座模型探针参数量抽头层输出gpt-oss-120b5.8M[10, 22, 34]8 意图 unsafe hallucination榜单数据对决比 8B 安全模型强在哪 以下数据来自 README.md 的 Evaluation 部分所有指标均为对应基准集上的平均分越高越好任务指标gpt-oss-120b-singprobe参照基线多为 8B 安全模型流式安全检测3 个基准R-AUC / T-AUC0.9881 / 0.9454Qwen3Guard-Stream-8B-strict0.9640 / 0.8893响应安全分类8 个基准F10.8652Qwen3Guard-Gen-8B-strict0.8604查询意图分类6 个基准F10.8699YuFeng-XGuard-Reason-8B0.8714幻觉检测6 个基准AUC0.7815DRIFT0.8000几个值得注意的结论流式安全是最大胜场R-AUC 领先 0.0241T-AUC 更是领先 0.0561——在生成进行到一半时就拦截这件事上5.8M 探针明显压过 8B 流式安全模型响应安全反超F1 0.8652 vs 0.8604分类基准上更稳幻觉检测贴近第一梯队0.7815 与最强基线 DRIFT0.8000仅差 0.0185在幻觉检测这种公认难题上属于同一水平线工程指标更漂亮良性回复平均误报率仅 0.06%5 个数据集均值解码开销 0.5%——误报少意味着不会误杀正常回答开销低意味着几乎不影响出字速度一句话总结用不到 8B 模型的千分之一参数换来流式安全榜单的领先和幻觉检测的第一梯队成绩这就是数据说话的答案。秘密藏在三个设计里 想理解数据为什么这么打可以看看仓库里的三个关键设计1️⃣ 复用隐藏状态不新增推理路径探针的输入是基座模型已有的隐藏状态2880 维 × 3 层配置见 config.jsonhidden_size: 2880、base_model_layer_ids: [10, 22, 34]。生成主流程不改变只是多了一次轻量打分。2️⃣ 滑动窗口注意力专为流式场景优化探针内部用 8 头注意力 2048 的滑动窗口处理上下文见 modeling_sing_probe.py既能看到前文又控制计算量长回复也不会拖慢解码。3️⃣ 参数量小到可以忽略全部权重只有 5.8M存放在 model.safetensors 中bfloat16 精度加载和推理的额外成本都微乎其微这是 0.5% 开销的来源。如何快速部署三步接入现有服务⚡ SingProbe 已适配 SGLang 与 vLLM 的集成分支只需在启动服务时带上--probe-ckpt参数即可python -m sglang.launch_server \ --model-path openai/gpt-oss-120b \ --probe-ckpt inclusionAI/gpt-oss-120b-singprobe \ --port 30000启动后每生成一个 token服务端都会返回一个包含label_0–label_9的分数字典业务侧可以按阈值拦截不安全或高幻觉风险的回复。注意必须与基座模型严格配对使用——openai/gpt-oss-120b搭配本探针不要混用其他基座。核心文件导览新手先看哪里 想深入了解实现按下面这个顺序读仓库文件最省力文件作用README.md官方文档模型描述、完整评测数据与部署方式config.json探针配置抽头层、注意力头数、标签数等核心参数configuration_sing_probe.py探针配置类定义SingProbeAttnConfig/SingProbeMlpConfigmodeling_sing_probe.py探针主模型SingProbeAttnModel打分前向流程model.safetensors5.8M 探针权重文件写在最后gpt-oss-120b-singprobe 证明了安全护栏不必以大打小流式安全 R-AUC 0.9881、响应安全 F1 0.8652 胜过 8B 专用安全模型幻觉检测 AUC 0.7815 稳居第一梯队再加上 0.06% 的误报率和 0.5% 的解码开销它给生产环境提供了一条几乎免费的安全与幻觉检测路径。如果你的大模型服务正需要低成本的实时护栏这套探针值得列入候选。赞分享【免费下载链接】gpt-oss-120b-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/gpt-oss-120b-singprobe点击查看免费下载相关推荐如何设置安全阈值拦截有害与幻觉输出gpt-oss-120b-singprobe实战调优指南如何设置安全阈值拦截有害与幻觉输出gpt oss 120b singprobe实战调优指南 在部署大模型时如何设置 安全阈值 来实时拦截有害与幻觉输出是很读懂label_0到label_9gpt-oss-120b-singprobe十大安全标签意图/不安全/幻觉使用手册读懂label_0到label_9gpt oss 120b singprobe十大安全标签意图/不安全/幻觉使用手册 gpt oss 120b singpStep-3.7-Flash-singprobe评测全解读8.13M探针如何比肩8B安全模型的幻觉检测表现Step 3.7 Flash singprobe评测全解读8.13M探针如何比肩8B安全模型的幻觉检测表现 Step 3.7 Flash singprobe上一篇为什么你的团队需要everything-claude-codeAI辅助开发的5个实战收益下一篇ComfyUI IPAdapter Plus终极指南3步实现AI图像风格迁移创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
