【免费下载链接】DeepSeek-V4-Flash-nvfp4-DSpark项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4-Flash-nvfp4-DSpark点击查看免费下载做投机解码最头疼的往往不是算法本身而是部署目标模型一个目录、量化后的草稿模型又一个目录两份权重、两套量化配置还得祈祷引擎版本匹配得上。DeepSeek-V4-Flash-nvfp4-DSpark直接绕开了这一整套麻烦——它是 DeepSeek-V4-Flash 的 NVFP4 量化骨干外加 DeepSeek 官方 DSpark 投机解码模块打包成一个 checkpoint目标模型与草稿模型共用同一份权重文件和同一套量化配置下载一次即可无需额外指定草稿模型路径。本文带你彻底看懂这个目标草稿一体化设计的原理与落地方法。提示仓库中的该图片使用 git-lfs 存储本地文件可能只是 LFS 指针先执行git lfs pull即可看到真实图表。一体化设计解决了什么麻烦传统的投机解码方案里草稿模型是独立的一整个模型。部署时你至少要处理三个问题两个模型目录目标模型一份草稿模型一份下载、搬运、备份都要管两套两套量化配置目标模型可能是 NVFP4草稿模型可能是 MXFP4/FP8参数与版本稍有错位就可能出问题配置里还得写草稿模型vLLM 的speculative_config中需要显式指定model指向草稿模型目录。而 DeepSeek-V4-Flash-nvfp4-DSpark 的一体化设计把三件事一次性消掉了一个 checkpoint46 个分片权重model-00001-of-00046.safetensors~model-00046-of-00046.safetensors里同时包含骨干和 DSpark 草稿头一套量化配置见 hf_quant_config.json目标与草稿共用不存在两个模型目录之间的不匹配零额外配置vLLM 启动命令中不需要在speculative_config里写model条目——草稿头就在目标模型同一个 checkpoint 里。也就是说只需一个 Checkpoint不是营销话术而是实打实少下载一份模型、少维护一套配置、少一类故障。DSpark 草稿头一体化背后的小引擎一体化能成立是因为草稿头足够轻量。DSpark 是一个3 层半自回归草稿头对应mtp.0/1/2核心构成每层 MLA 注意力 256 专家 MoE FFN每次激活 6 个专家输入不是从零开始而是来自目标模型40/41/42 层隐藏状态的投影——草稿头站在目标模型的肩膀上起草一个rank-256 的马尔可夫头注入块内 token 依赖一个置信度头逐位置预测接受概率用于调度验证。它的设计目标是相比纯并行起草器在保留一次起草一整块的低延迟优势的同时提高接受长度平均每步实际返回的 token 数。参数规模也很克制总参数约 21B、激活约 1B相对骨干 284B 总参 / 13B 激活来说是小马拉大车里的小马。这些设计参数全部写在 config.json 里一目了然配置项值含义dspark_block_size5草稿块大小一次起草 5 个 token 为一块dspark_target_layer_ids[40, 41, 42]草稿头从目标模型哪几层取隐藏状态dspark_markov_rank256马尔可夫头的秩dspark_noise_token_id128799起草用的噪声 tokennum_nextn_predict_layers1next-token 预测层数量化一致性为什么 NVFP4 一体化能无损拼装一体化设计中真正精妙的一步是量化对齐。DeepSeek 官方发布里的 DSpark 草稿头路由专家原生是MXFP4而 NVIDIA 侧用 Model Optimizerv0.44.0把 DeepSeek-V4-Flash 的 MoE 线性层量化成了NVFP4。两种 4-bit 格式要装进同一个 checkpoint直接混用必然出现配置不一致。解法是把草稿头的 MXFP4 专家无损转换为 NVFP4bit-exact逐位精确于是目标模型与草稿头共享同一份自洽的量化配置。量化范围也划得很清楚——只量化 MoE 块内线性层的权重与激活注意力层、共享专家、输出头均保持原精度见 config.json 中quantization_config.ignore的三条规则。这一步带来的直接收益无需引擎补丁。量化目标 独立草稿目录的组合在引擎侧容易出现加载与配置错位一体化后这类问题从根上消失量化几乎不掉点。官方评测显示 NVFP4 与基线在 GPQA Diamond、AA-LCR、τ²-Bench Telecom、SciCode、IFBench 上差异在 ±0.007 以内而投机解码本身不改变目标模型的输出。vLLM 一键部署一条命令启用 DSpark 投机解码部署是整个设计里最直观的爽点。在 vLLM 启动命令上加一个--speculative-config参数即可方法填dsparkvllm serve nvidia/DeepSeek-V4-Flash-nvfp4-DSpark \ --tensor-parallel-size 8 --enable-expert-parallel \ --trust-remote-code --kv-cache-dtype fp8 \ --speculative-config {method:dspark,num_speculative_tokens:7,draft_sample_method:greedy}几个新手最容易踩的点--kv-cache-dtype fp8是必须的DeepSeek-V4 使用fp8_ds_mlaKV cache 布局num_speculative_tokens必须 ≥dspark_block_size即 5官方推荐值为7speculative_config里不写model——草稿头就在同一个 checkpoint 中无需 Jinja 聊天模板vLLM 会为DeepseekV4ForCausalLM原生启用 DeepSeek 自己的编码管线见 encoding/README.md思考/非思考模式、工具定义均由其处理。官方验证环境为单节点 8×B300Blackwell张量并行 8 专家并行vLLM nightly 镜像即可跑通。效果实测接受长度数据看一体化价值接受长度acceptance length指每步解码平均返回的 token 数越高说明草稿质量越好、加速越明显。以下数据为官方在 8×B300、FP8 KV cache、temperature0 非思考模式下测得完整结果见 README.md类别MT-Bench 接受长度coding5.192math5.263extraction4.808reasoning3.585writing3.045roleplay2.674总体平均3.846可以看到coding、math 这类确定性强的任务接受长度超过 5——平均每一步就落地 5 个以上的 token相比逐 token 生成是数量级的吞吐提升写作、角色扮演等开放任务也有 2.7~3.0 的稳定加速。这正是草稿头够聪明 与目标模型完全同源带来的效果。常见问题 FAQQ1真的只需要下载一个 checkpoint 吗是。一个 checkpoint 同时承载目标模型与 DSpark 草稿头不存在再下载一份草稿模型的步骤。Q2dspark_block_size是 5num_speculative_tokens为什么设 7num_speculative_tokens必须不小于草稿块大小 5取 7 是 DeepSeek 官方对 DeepSeek-V4-Flash-DSpark 的推荐值给验证留出更充裕的候选。Q3NVFP4 量化会不会明显掉点官方评测显示各基准差异基本在 ±0.007 以内且投机解码只负责加速不改变目标模型的输出结果。Q4为什么说不需要引擎补丁因为目标与草稿共用一个 checkpoint、一套量化配置规避了量化目标 单独加载草稿模型目录时最常见的配置不匹配问题。写在最后DeepSeek-V4-Flash-nvfp4-DSpark 用一个 checkpoint回答了投机解码工程化的一道经典难题草稿模型不再是负担而是目标模型的内置器官。NVFP4 量化骨干 无损对齐的 DSpark 草稿头 零额外配置的一体化部署让 284B 级 MoE 模型的快速推理第一次变得如此开箱即用。仓库中还有更多值得探索的资料模型配置 config.json、量化配置 hf_quant_config.json、推理转换脚本 inference/convert.py、以及 inference/README.md 中的多机推理说明按需查阅即可。赞分享【免费下载链接】DeepSeek-V4-Flash-nvfp4-DSpark项目地址https://ai.gitcode.com/hf_mirrors/nvidia/DeepSeek-V4-Flash-nvfp4-DSpark点击查看免费下载相关推荐Phaser Compact Texture AtlasPCT格式规范详解从行格式到加载器实现Phaser Compact Texture AtlasPCT格式规范详解从行格式到加载器实现 导读 Phaser Compact Texture Atl量化几乎零损失DeepSeek-V4-Flash-nvfp4-DSpark的NVFP4精度与DSpark接受长度数据全解读量化几乎零损失DeepSeek V4 Flash nvfp4 DSpark的NVFP4精度与DSpark接受长度数据全解读 DeepSeek V4 Flash3分钟开启DSpark投机解码DeepSeek-V4-Flash-nvfp4-DSpark的vLLM部署完整教程3分钟开启DSpark投机解码DeepSeek V4 Flash nvfp4 DSpark的vLLM部署完整教程 DeepSeek V4 Flash nvfp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考