产品与公司信息产品方面有[技术]、[案例]。公司相关的有[团队]、[招聘]、[宣言]。还有[博客]。有登录和注册入口登录链接为[登录]注册链接为[注册]。内存是护城河吗以约 952 个 token/秒/节点的速度运行 Kimi K3 时AMD 持续证明了其在性价比方面的优势。过去几个月开源模型能力呈爆发式增长DeepSeek V4 - Pro 和 GLM5.2 达到接近 Opus 的智能水平开源模型成为闭源模型可行且经济高效的替代方案。但 Kimi K3 有望达到 Fable/Sol 的智能水平标志着开源领域新时代的开端。不过更智能的模型意味着更大的模型GLM5.2 有 7530 亿个参数DeepSeek V4 - Pro 有 16 万亿个参数Kimi K3 更是达到了 28 万亿个参数为 100 万个 token 的上下文分配 KV 缓存前就需要超过 1.5TB 的显存B200 节点无法容纳 Kimi K3选择有限要么用 B300 节点服务要么用两个 B200 节点服务 Kimi。而 AMD 的 MI355X 拥有 288GB 显存平均而言MI355X 每个 GPU 的价格比 B300 便宜约 2.4 倍比 B200 便宜约 1.7 倍是具有可比硬件规格的 Blackwells 芯片的经济高效替代品。AMD 唯一问题是软件支持其在服务前沿模型是工程挑战但 Wafer 认为代理在改进内核和模型优化且 AMD 为 Kimi K3 提供首日支持大部分工作已完成。结果出色在 1024 个 token 输入 / 400 个 token 输出的基准测试中MI355X 达到了 952 个 token/秒/节点和 118 个 token/秒单流的速度每个节点的总吞吐量是 TP16 B200 部署的 3.8 倍多单流解码速度是其 1.3 倍多。B300 节点在总吞吐量上比 MI355X 高约 1.65 倍但价格是其 2.4 倍因此 MI355X 在性价比方面完胜 B300。表格数据显示了 8× MI355X (TP8)、2×8 B200 (TP16)、B300 (TP8 DCP8) 在每个流的解码 token/秒、峰值总吞吐量、每个 GPU 的峰值总吞吐量、每个 GPU 每小时美元成本的峰值总吞吐量等方面的对比。B200 性能数据受影响因为它在解码关键路径上需跨节点全归约操作而 Kimi K3 规模下MI355X 对 HBM 容量的关注使其相对 B200 有实际且可衡量的优势。实现过程虽然 Kimi K3 可直接运行但要达目前吞吐量还有工作要做。主要优化手段是推测解码K3 没有提供草稿张量唯一推测路径是外部块扩散草稿RadixArk 的 Kimi - K3 - DSpark。在 CUDA 上可正常运行但在 ROCm 上第一个实际请求会使调度器崩溃出现 NameError 错误。sglang 的接受采样验证器构建目标分布有两种方式CUDA 版本从 sgl_kernel 导入 top_k_renorm_prob而 ROCm 版本只别名了一个 Triton top - p 内核未定义 top_k_renorm_prob请求进入密集路径时验证器会遇 NameError 导致调度器崩溃。解决方案是用简单的 PyTorch 函数Top - k 重归一化是小操作将相关操作应用到 sglang 的 ROCm 采样分支中可实现与 CUDA 版本相同计算这里不需要自定义内核。修复并强化推测解码后单流性能提升约 2.2 倍中等负载下每个流的性能提升约 1.7 倍峰值总吞吐量提高 18%且峰值总吞吐量在更高并发度下实现。预填充优化关于模型性能的讨论常侧重每秒解码的 token 数但很多情况下这是误导用户最能感受到的首 token 时间被忽视。MI355X 在这方面表现不佳同样的 17.2 万个 token 的冷预填充MI355X 需要约 51 秒而 B300 只需要约 23 秒。在 100 万个上下文的模型中大量预填充会让 GPU 花费数分钟使整个节点集群无用。这个差距几乎完全由一个内核造成在 ROCm 上运行 K3 时快速的 AITER MLA 预填充内核无法加载会回退到较慢的通用 Triton 注意力机制问题出在形状不匹配。解决方案是将头数从 12 填充到 16运行快速内核然后从输出中提取实际的 12 个头。结果是同样的 17.2 万个 token 的冷预填充中AITER MLA 预填充 ASM 的稳态速度达到约 1.3 万个 token/秒而 Triton 回退机制的速度约为 4 - 7 千个 token/秒预填充速度提高约 2 - 3 倍这影响首 token 时间不影响总吞吐量。总结在 MI355X 上实现最佳性价比相对容易虽出现与框架相关的预期内 bug但比 GLM5.2 遇到的问题少且这次肯定不需要自定义内核。AMD 达到业界领先水平指日可待。CUDA 的护城河要消失了吗相关文章有 Wafer 与 TrueFoundry AI 网关的集成文章介绍 Wafer 快速、兼容 OpenAI 的无服务器推理如何与 TrueFoundry AI 网关集成以实现统一路由、可观测性和零数据保留。还有性价比越来越高文章讲述如何在 AMD MI355X 上以 2626 个 token/秒/节点和 213 个 token/秒单流的速度服务 GLM5.2成本比 Blackwell 低 2 倍多。