【免费下载链接】Qwen3-Next-80B-A3B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct点击查看免费下载Qwen3-Next-80B-A3B-Instruct 是 Qwen3-Next 系列首发的下一代混合架构大模型总参数 800 亿每 token 仅激活 30 亿原生支持 256K 上下文可扩展至 100 万 token以 10% 的训练成本超越了 Qwen3-32B 基座在 32K 以上长上下文中推理吞吐提升 10 倍。本指南将带新手快速看懂它的四大架构创新、核心规格、仓库文件结构并给出一键部署与超长上下文扩展的完整方法。 四大核心亮点混合架构到底强在哪Qwen3-Next-80B-A3B 通过架构创新实现了更强的模型、更低的成本、更快的推理核心升级有四点混合注意力Hybrid Attention用 Gated DeltaNet线性注意力 Gated Attention门控注意力的组合替代标准注意力48 层中每 4 层才用 1 层全注意力使超长上下文建模既高效又精准高稀疏 MoE混合专家每层 512 个专家每个 token 仅激活 10 个专家加 1 个共享专家大幅降低单 token 计算量同时保留完整模型容量稳定性优化引入零中心化、带权重衰减的 LayerNorm 等技术让预训练与后训练更加稳健多 Token 预测MTP提升预训练质量并可直接加速推理生成。性能表现来自 README.md 官方数据对比维度Qwen3-Next-80B-A3B 表现与 Qwen3-235B-A22B-Instruct 对比多项基准打平256K 超长上下文任务优势显著编程 LiveCodeBench v656.6超越 235B 版51.8对齐 Arena-Hard v282.7全场最高数学推理 AIME2569.5逼近 235B 版的 70.3训练成本仅为同级基座模型的10% 注意该模型仅支持 instruct非思考模式输出中不会出现 思考块适合追求响应速度的在线服务场景。 模型核心规格一览完整参数定义见 config.json关键规格如下规格项数值模型类型因果语言模型Qwen3NextForCausalLM总参数 / 激活参数80B / 3B非嵌入参数 79B隐藏层维度2048层数与布局48 层 12 × (3 组 Gated DeltaNet→MoE 1 组 Gated Attention→MoE)MoE 专家数512 个激活 10 个 1 个共享专家上下文长度原生 262,144 tokens可扩展至约 1,010,000 tokens精度bfloat16词表大小151,936训练数据15T tokens 预训练 后训练 仓库文件结构说明本仓库是一个标准的 Hugging Face 模型仓库41 个model-XXXXX-of-00041.safetensors分片构成完整权重。各配置文件的作用如下文件作用README.md完整官方文档架构、基准、部署与最佳实践config.json模型架构配置层数、专家数、注意力头等generation_config.json推荐采样参数temperature0.7、top_p0.8、top_k20model.safetensors.index.json41 个权重分片的加载索引tokenizer.json / vocab.json / merges.txt分词器三件套含内置工具调用聊天模板LICENSEApache-2.0 开源协议可商用 快速上手3 步在本地跑通模型第 1 步安装依赖。Qwen3-Next 的代码已合并进transformers主分支旧版本会报KeyError: qwen3_next务必使用最新开发版pip install githttps://github.com/huggingface/transformers.gitmain第 2 步下载模型权重。git clone https://gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct第 3 步加载并生成。80B 参数建议使用多卡自动分配from transformers import AutoModelForCausalLM, AutoTokenizer model_name Qwen/Qwen3-Next-80B-A3B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained( model_name, dtypeauto, device_mapauto ) messages [{role: user, content: Give me a short introduction to large language model.}] text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) model_inputs tokenizer([text], return_tensorspt).to(model.device) generated_ids model.generate(**model_inputs, max_new_tokens16384) print(tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokensTrue))⚠️ MTP 加速在 Hugging Face Transformers 中暂不可用对吞吐有要求时建议改用下方的专用推理框架。️ 生产部署SGLang 与 vLLM 一键启动命令部署推荐使用 SGLang 或 vLLM两者都能启动 OpenAI 兼容 API并支持 MTP 推测解码加速。SGLang 部署步骤要求sglang0.5.2pip install sglang[all]0.5.2 python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \ --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8启用 MTP 加速时追加参数--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4vLLM 部署步骤要求vllm0.10.2pip install vllm0.10.2 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct --port 8000 \ --tensor-parallel-size 4 --max-model-len 262144启用 MTP 加速时追加参数--speculative-config {method:qwen3_next_mtp,num_speculative_tokens:2} 默认上下文为 256K若服务器启动失败可先把--context-length/--max-model-len降到32768再逐步调高。 256K 超长上下文如何扩展到 1M tokens官方已用 YaRN 方法验证了 100 万 token 上下文下的效果RULER 1M 基准平均分 91.8384K 处仍保持 86.9。两种启用方式方式一修改 config.json 增加字段rope_scaling: { rope_type: yarn, factor: 4.0, original_max_position_embeddings: 262144 }方式二启动时传参vLLM 示例VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve ... \ --rope-scaling {rope_type:yarn,factor:4.0,original_max_position_embeddings:262144} \ --max-model-len 1010000 静态 YaRN 的缩放因子恒定可能对短文本性能有轻微影响仅在确需长上下文时再添加rope_scaling配置。若业务典型长度为 524K建议把factor调为 2.0。⚙️ 最佳实践推荐采样参数与输出长度官方推荐的生成参数已内置于 generation_config.json手动设置时建议保持一致采样参数Temperature0.7、TopP0.8、TopK20、MinP0可用presence_penalty0~2抑制重复但过高可能导致语言混杂输出长度多数问题预留16,384 tokens输出即可Agent 场景模型工具调用能力突出可结合 Qwen-Agent 框架通过 MCP 配置文件接入自定义工具评测规范数学题在 prompt 中加入 put your final answer within \boxed{}选择题要求以answer: C的 JSON 格式输出选项。❓ 常见问题 FAQQ1加载时报KeyError: qwen3_nexttransformers版本过旧升级到主分支最新开发版即可解决。Q2服务器启动失败、显存不足先把上下文长度从 262144 降到 32768确认能启动后再按需调高多卡时确保--tp-size与 GPU 数量匹配。Q3为什么不输出 思考内容Instruct 版仅支持非思考模式这是设计如此可获得更快的首 token 响应。Q4MTP 能用在 transformers 里吗目前暂不支持需通过 SGLang / vLLM 的推测解码参数启用。Qwen3-Next-80B-A3B-Instruct 用混合注意力 高稀疏 MoE MTP 的组合展示了小激活、大容量、长上下文的下一代大模型路线。无论是本地实验还是生产部署从上面的快速上手到一键启动命令你都已经具备了把它跑起来的完整知识。赞分享【免费下载链接】Qwen3-Next-80B-A3B-Instruct项目地址https://ai.gitcode.com/hf_mirrors/Qwen/Qwen3-Next-80B-A3B-Instruct点击查看免费下载相关推荐Qwen3-Next-80B-A3B-FP8混合架构重塑大模型效率边界Qwen3 Next 80B A3B FP8混合架构重塑大模型效率边界 导语 阿里达摩院推出的Qwen3 Next 80B A3B FP8大模型通过融合混合大模型人工智能深度学习Rover UI界面详解交互式基础设施图谱的使用技巧Rover UI界面详解交互式基础设施图谱的使用技巧 Rover是一款功能强大的Terraform可视化工具它通过交互式图谱帮助用户直观地理解和管理基础设施开发工具运维CANN Ascend C批量张量C获取APIGetBatchTensorCa nameZH CN_TOPIC_0000002061229326 /a 产品支持情况a namesection人工智能深度学习高性能计算CANN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考