【免费下载链接】Qwen3.5-397B-A17B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-397B-A17B-singprobe点击查看免费下载Qwen3.5-397B-A17B-singprobe 是一款基于 Qwen3.5-397B-A17B 大模型的内嵌式流式安全护栏SingProbe仅用约 800 万参数8.13M就能在生成过程中逐 token 实时完成大模型安全检测——同时评估查询意图、回复不安全度与幻觉检测风险解码开销低于 0.5%无需再部署一个独立的安全模型。一、SingProbe 是什么为什么说是颠覆性方案传统做法是在大模型旁边外挂一个独立安全分类器先等回复生成完再送去审查延迟高、成本高。SingProbe 的思路完全不同——它直接长在基座模型内部复用隐层状态从第18 / 38 / 58 层抽取隐藏状态hidden states⚡逐 token 打分每生成一个 token就实时输出 10 个分数label_0–label_9涵盖8 类查询意图 不安全 幻觉三类信号极轻量探针仅 8.13M 参数相对 397B 基座几乎可以忽略不计解码开销 0.5%简单说安全护栏不再是事后审查而是边生成、边体检。二、核心能力一次生成三重防护 ️防护维度检测内容说明查询意图分类8 类意图识别用户提问的潜在风险类型回复安全分类不安全内容判断模型输出是否越界幻觉检测幻觉风险分数实时衡量回复一本正经胡说的概率三项能力共享同一个探针一次前向全部拿到这是它在流式安全场景下最大的工程价值。三、性能实测对比主流安全模型的完整数据 以下是官方评测数据分数越高越好覆盖 6 8 3 6 共 23 个基准套件任务指标Qwen3.5-397B-A17B-singprobe参考基线查询意图分类6 个基准F10.8750YuFeng-XGuard-Reason-8B0.8714回复安全分类8 个基准F10.8696Qwen3Guard-Gen-8B-strict0.8604流式安全3 个基准R-AUC / T-AUC0.9905 / 0.9339Qwen3Guard-Stream-8B-strict0.9640 / 0.8893幻觉检测6 个基准AUC0.8117DRIFT0.8000再看两个决定能不能上生产的关键指标部署特性表现正常回复误报率5 个数据集平均仅0.03%解码延迟开销 0.5%8M 参数的探针各项指标全面超过 8B 级独立安全模型这就是以小博大的含金量。四、最快部署方法一条命令启用流式安全护栏 SingProbe 已适配 SGLang 与 vLLM 的集成分支启动服务时通过--probe-ckpt参数加载探针即可python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-397B-A17B \ --probe-ckpt inclusionAI/Qwen3.5-397B-A17B-singprobe \ --port 30000⚠️两个注意事项必须使用精确的基座 探针配对Qwen/Qwen3.5-397B-A17B搭配本检查点不可混用其他版本集成版本会为每个生成 token 返回一个分数字典label_0–label_9业务侧可按阈值自行配置拦截策略五、仓库文件结构速览 整个仓库只有 5 个文件结构非常干净文件作用README.md官方说明、评测数据与 Quick Startconfig.json模型配置打点层[18, 38, 58]、10 个标签、滑动窗口 2048configuration_sing_probe.py探针配置类SingProbeAttnConfig定义注意力头数与窗口等超参modeling_sing_probe.py探针模型SingProbeAttnModel单层注意力 滑动窗口 分类头model.safetensors探针权重bfloat16约 16MB可以看到探针就是一个小型注意力模型8 个注意力头、64 维头宽配合 2048 长度的滑动窗口注意力见 modeling_sing_probe.py这正是它能兼顾长文本上下文又保持极低开销的关键设计。六、常见问题 FAQ ❓Q可以搭配任意基座模型使用吗A不行。探针是在Qwen3.5-397B-A17B的隐层特征上训练的必须与该基座精确配对。Q会增加多少延迟A解码开销低于 0.5%对流式对话场景基本无感。Q正常回复会不会被误杀A5 个数据集平均误报率仅 0.03%误报极低。QvLLM 用户支持吗A支持vLLM 同样提供了对应的 token-probe 集成分支加载方式与 SGLang 一致。总结 Qwen3.5-397B-A17B-singprobe 用800 万参数重新定义了大模型安全护栏的形态✅ 不额外部署安全模型复用基座隐层状态✅ 逐 token 流式检测意图 / 不安全 / 幻觉一次全拿到✅ 性能全面超越 8B 级独立安全模型误报率 0.03%✅ 解码开销 0.5%一条命令即可接入 SGLang / vLLM如果你正在为大模型的安全护栏部署和幻觉检测发愁这套轻量内嵌式方案值得放进你的技术清单。赞分享【免费下载链接】Qwen3.5-397B-A17B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-397B-A17B-singprobe点击查看免费下载相关推荐Qwen3.5-397B-A17B-singprobe 性能深度评估23 项基准测试全方位验证流式安全护栏与幻觉检测实力Qwen3.5 397B A17B singprobe 性能深度评估23 项基准测试全方位验证流式安全护栏与幻觉检测实力 本文带来 Qwen3.5 397B一文读懂 Qwen3.5-397B-A17B-singprobe意图识别、安全护栏与幻觉检测三大核心能力全解析一文读懂 Qwen3.5 397B A17B singprobe意图识别、安全护栏与幻觉检测三大核心能力全解析 Qwen3.5 397B A17B singpQwen3.5-397B-A17B-singprobe 部署指南SGLang 框架下启用流式安全护栏的完整步骤与避坑清单Qwen3.5 397B A17B singprobe 部署指南SGLang 框架下启用流式安全护栏的完整步骤与避坑清单 Qwen3.5 397B A17B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考