【免费下载链接】deciderA family of System One-style models fine-tuned from Qwen3.5, designed for one-pass typed decisions with calibrated probabilities.项目地址https://gitcode.com/gh_mirrors/decide/decider点击查看免费下载decider是一个基于 Qwen3.5 微调的 System One 式一次通过one-pass决策模型族它不生成文本而是读取一个状态和若干带选项的类型化问题用一次前向就返回每个问题在选项上的校准概率分布。其 35B MoE 旗舰模型decider-35b-a3b在 bf16 精度下需要65 GB显存而经过NVFP4 4-bit 量化后压缩到仅19.6 GB并可通过vLLM部署上线。本文面向新手讲清楚这个 3.3 倍的显存压缩是怎么做到的、环境如何准备、以及决策结果怎么读出来。 先搞懂35B 模型为什么值得用量化部署decider-35b-a3b 基于 Qwen3.5-35B-A3B-Base是一个混合专家MoE模型总参数 34.7B但每个 token 只激活约3B256 个路由专家取 8 个激活 1 个共享专家。它的优势在宽知识面和复杂推理——held-out 准确率 0.810在 95 个回归任务中的 93 个上高于 2B 小模型JevBench 公开 hard 档 0.676。但它的 bf16 权重高达 65 GB最低需要一块 80 GB 大显存 GPU 才装得下。NVFP44-bit 浮点权重与激活 FP8 分块缩放把它压到19.6 GB——单块 BlackwellB 系列显卡即可从容运行还能留出充足空间给 KV cache。⚙️ NVFP4 量化拆解哪些被压缩哪些被保留量化由 NVIDIAModelOpt完成NVFP4_DEFAULT_CFG配方权重和激活使用 4-bit 浮点按 16 个元素一组共享 FP8 缩放因子并用512 条训练 prompt 校准。作者的后训练量化PTQ脚本在 moe/ptq_nvfp4.py可复现校准 → 假量化测精度 → 导出 HF 检查点的完整流程。并非所有模块都参与压缩官方配方是这样分配的保留 bf16不量化量化为 NVFP4embed_tokens、lm_head嵌入与输出头10 个全注意力层的q/k/v/o_proj30 个 delta-net 层的conv1d、in_proj_a/bdelta-net 的in_proj_qkv、in_proj_z、out_proj路由mlp.gate、shared_expert_gate、所有 norm每层 256 个路由专家 共享专家的gate/up/down_projKV cache 同样不量化kv_cache_quant_algo: null。完整模块清单见检查点内的hf_quant_config.json。35B 模型背景详见 MODEL_CARD_35B.mdNVFP4 版本的专项说明在 MODEL_CARD_35B_NVFP4.md。 为什么把路由器和输出头留在高精度它们是决策读数的敏感部件用极小的显存代价保留 bf16是量化后精度几乎不塌的关键。 用 vLLM 跑起来三步上手第一步为 vLLM 准备独立环境vLLM 0.29.0 会锁定自己的 torch 版本建议单独建 venvpython -m venv decider-vllm . decider-vllm/bin/activate pip install vllm0.29.0 fastapi uvicorn[standard] jinja2 huggingface_hub pip install --no-deps decider-ai第二步加载 19.6GB 的 NVFP4 权重注意普通transformers无法加载这个检查点的量化权重前向必须走 vLLMfrom vllm import LLM, SamplingParams from decider.infer import Example, Q from decider.prompt import build, label_table llm LLM(modelMapika/decider-35b-a3b-nvfp4, max_model_len34816, logprobs_modeprocessed_logits, max_logprobs256) tok llm.get_tokenizer() _, label_ids, _ label_table(tok)第三步一次调用拿到概率分布prompt 在答案槽Answer: (处结束把采样限制为选项字母 token再取 vLLM 返回的 processed logitsoptions [billing, technical support, sales] item build(Example(My card was charged twice for the same purchase., [Q(Which department should handle this?, options, 0)], infer), tok, NoShuffle(), max_options255, max_ctx_tokens32768) # NoShuffle 保持选项顺序 params SamplingParams(max_tokens1, logprobslen(options), allowed_token_idslabel_ids[:len(options)]) out llm.generate([dict(prompt_token_idsitem[ids])], params)[0].outputs[0].logprobs[0]最后对选项字母做一遍温度1.08模型存储的标定温度下的 softmax就得到每个选项的概率——没有解码、没有解析输出永远不会超出你定义的选项集合。完整读取循环含批处理、计时、与 bf16 参考预测的逐行对比见现成脚本 moe/vllm_check.py量化脚本一览在 moe/README.md。 量化代价有多大实测精度对比官方做了两层测量① PyTorch 假量化在 bf16 模型上模拟 NVFP4每任务 150 行子集精度任务内准确率留出集准确率bf160.8610.818NVFP4假量化0.857−0.40.809−0.9② 导出检查点经 vLLM 0.29 实测单卡 B300同一批数据行指标bf16 权重NVFP4 权重TypeSafe 工作流 102 行0.8530.843−1.0847 行任务内验证集0.8970.882−1.5与 bf16 的 argmax 一致率99.0%96.1%一句话总结平均掉 1.0–1.5 个百分点约 3%–4% 的行会翻转决策概率分布的总变差距离 0.03–0.05。对大多数路由、分类类生产场景这个代价可以接受。校准是这类决策模型的生命线35B 的 ECE 3.1 分在 Decision Index 上位居同类最前列NVFP4 量化后整体校准水准得以维持。需要留意的是 hard 档条目仍偏过度自信这是 35B 本身继承的特性。⚡ 吞吐与部署实战建议显存规划max_model_len34816覆盖 32k 上下文19.6 GB 权重 KV cache 在单块 Blackwell GPU 上绰绰有余与其他进程共享显卡时用gpu_memory_utilization下调。吞吐特性长输入平均 3,650 token 的包下 NVFP4 达51 行/秒反超 bf16 的 36 行/秒短输入150 token下为 274 对 498 行/秒。也就是说——请求偏长文档时量化反而更快短查询场景不要指望提速。HTTP 服务仓库另提供 decider/serve_vllm.pydecider.serve_vllm把同一套/v1/systemone接口架在 vLLM 上设计与限额详见 docs/SERVING.md 第 8 节对 NVFP4 35B模型卡的建议是复用上面的读取循环并自行适配 HTTP 层。版本锁定官方验证环境是 vLLM 0.29.0 NVIDIA B300其他 Blackwell 显卡可用但跨版本请自行回归测试。⚠️ 注意事项与局限Blackwell 专属NVFP4 的算子路径只在 Blackwell 上可用老一代显卡请退回 65 GB 的 bf16 版或选用家族里的 2B/4B 小模型。实际损耗略高于假量化估计vLLM 实测 1.0–1.5 分假量化仅 0.4–0.9 分额外损失集中在少数推理与弃权类任务上。没有 RL 阶段35B 未经强化学习训练浏览器类任务上的分布锐度不如带 RL 的 decider-2b v10。仅英文校准数字来自公开数据集与教师标注探针用于线上路由前建议在自己的流量上复核。引擎兼容检查点格式面向 vLLM / TensorRT-LLM / SGLang但目前只有 vLLM 路径被官方验证过。 小结用 NVFP4 把 35B 的 decider 从 65 GB 压到 19.6 GB精度只付出 1.0–1.5 个百分点的代价再借助 vLLM 在单块 Blackwell GPU 上跑出生产级吞吐——如果你的场景是知识密集、多步推理或长策略文本判断这就是当前获得 35B 级决策能力最划算的方式。赞分享【免费下载链接】deciderA family of System One-style models fine-tuned from Qwen3.5, designed for one-pass typed decisions with calibrated probabilities.项目地址https://gitcode.com/gh_mirrors/decide/decider点击查看免费下载相关推荐15GB 显存也能跑 27BINT4/AWQ 低显存量化部署手记15GB 显存也能跑 27BINT4/AWQ 低显存量化部署手记 27B 级模型一直是消费级硬件的分水岭BF16 权重动辄 50GB 起步一张 409大模型基础模型推理模型微调模型优化如何用vLLM-Omni部署Qwen3-Omni模型完整实战指南如何用vLLM Omni部署Qwen3 Omni模型完整实战指南 vLLM Omni是一个专为全模态模型推理设计的开源框架能够高效支持文本、图像、音频和视频人工智能大模型模型推理服务多模态语音音频媒体生成本地部署YuE2 3B低显存部署指南消费级显卡8GB显存如何跑通音频大模型YuE2 3B低显存部署指南消费级显卡8GB显存如何跑通音频大模型 想在 消费级显卡 上运行 YuE2 3B 音频生成模型吗本仓库 hf_mirrors/C人工智能音乐生成音频媒体生成大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考