1. 从“Token 生产效率”说起一个被低估的全栈命题“Token 生产效率”这个词第一次听到的人多半会愣一下——Token 不是大模型里的文本计量单位吗怎么还跟芯片、供电、散热扯上关系了我刚开始接触这个方向时也有同样的困惑。但真正做过一轮推理服务部署之后你就会明白Token 的产出速度从来不是模型单方面决定的它是从硅片到机房、从调度器到业务层的一条完整链路共同作用的结果。任何一个环节掉链子最终体现出来的都是“每秒吐字变慢”“首字延迟飙升”“单位成本下不去”。这篇文章想聊的就是这条链路上每一个关键节点的优化思路。核心关键词包括Token、芯片、推理引擎、集群调度、供电散热我会把它们串成一条线来讲而不是孤立地谈某一层。适合的读者是正在做推理服务部署的工程师、负责算力集群运维的同学、以及想搞清楚“为什么我的模型跑得比别人慢”的算法同学。哪怕你只是刚接触这个概念我也会尽量用生活化的类比把原理讲透。先说一个我自己的观察很多人优化 Token 生产效率第一反应是换更强的卡、上更大的显存。这没错但往往投入产出比很低。真正高效的优化是先搞清楚瓶颈在哪一层——是芯片算力没吃满是推理引擎的批处理策略太保守是集群调度把请求打散了还是机房供电和散热限制了芯片的持续输出这四层里任何一层的短板都会让其他层的投入打水漂。下面我按“芯片—引擎—调度—基础设施”的顺序逐层拆解。2. 芯片层Token 产出的物理起点2.1 为什么芯片决定了 Token 生产的“天花板”Token 的生产本质上是矩阵乘法和注意力计算在硬件上的反复执行。芯片的算力、显存带宽、显存容量这三个指标直接决定了单卡每秒能产出多少 Token。我习惯用一个类比算力像是工厂的机器数量显存带宽像是传送带速度显存容量像是仓库大小。机器再多传送带跟不上原料就送不进去仓库太小稍微大一点的模型就装不下只能拆开跑效率立刻打折。具体到参数上以常见的推理场景为例一个 7B 参数的模型在 FP16 精度下大约需要 14GB 显存加上 KV Cache 和中间激活值实际占用会到 16-18GB。如果你的卡只有 16GB 显存那就只能靠量化或者分片来跑而量化本身会带来精度损失和额外的反量化开销。所以选芯片时显存容量要留出至少 30% 的余量这是我踩过坑之后的经验——把显存用到 95% 以上一旦并发上来KV Cache 一涨就直接 OOM服务雪崩。2.2 算力、带宽、容量三个指标的取舍逻辑很多人看芯片只看 TFLOPS这其实是个误区。推理场景下显存带宽往往比峰值算力更关键因为大模型推理是典型的“内存墙”问题——计算单元经常在等数据从显存搬过来。我做过一个粗略的测算一个 7B 模型生成一个 Token需要读取大约 14GB 的权重数据FP16如果显存带宽是 1TB/s那么理论上每秒最多生成约 70 个 Token。这就是为什么很多老卡算力不低但 Token 产出速度上不去——带宽卡住了。所以选型时的优先级我的建议是显存容量 显存带宽 峰值算力。容量决定你能不能跑带宽决定你跑多快算力决定你批量处理时的上限。当然如果预算充足三者兼得最好。另外要注意芯片的互联能力多卡推理时卡间通信带宽不够张量并行的效率会急剧下降这时候再多的算力也是浪费。2.3 芯片选型的实操清单下面这张表是我在实际项目中总结的选型对照供参考指标关注点经验阈值常见误区显存容量模型权重 KV Cache 激活值模型大小 × 1.3 以上只看模型大小忽略 KV Cache显存带宽决定单 Token 生成速度越高越好优先于算力只看 TFLOPS互联带宽多卡并行效率卡间带宽不低于单卡带宽的 1/2忽略通信开销功耗影响持续输出和散热设计与机房供电匹配只看峰值忽略持续功耗提示芯片选型不是越新越好而是要和你的模型规模、并发量、预算匹配。小模型跑在超大卡上算力利用率可能只有 10%纯属浪费。3. 推理引擎层把芯片算力“榨干”的关键3.1 推理引擎到底在做什么芯片是硬件推理引擎就是让硬件真正跑起来的软件层。它的核心任务可以概括为三件事把模型图优化成硬件友好的形式、把请求组织成高效的批、把显存管理得井井有条。我见过太多团队卡买得很贵但推理引擎用的是最朴素的逐条推理结果 GPU 利用率长期在 20% 以下Token 产出速度自然惨不忍睹。推理引擎的优化手段主要围绕几个方向算子融合把多个小算子合并成一个大算子减少 kernel 启动开销、量化用 INT8/INT4 降低显存占用和带宽压力、批处理把多个请求合并成一个 batch 一起算、KV Cache 管理避免重复计算历史 Token 的注意力。这些手段叠加起来Token 产出效率提升三五倍是很常见的。3.2 批处理策略连续批处理为什么重要传统的静态批处理是等一批请求凑齐了再一起算算完再返回。问题是每个请求的生成长度不一样短的早就结束了长的还在跑短请求的槽位就空着浪费。连续批处理Continuous Batching的思路是只要有请求结束立刻把新请求塞进空出来的槽位让 GPU 始终处于满载状态。这个策略对 Token 生产效率的提升非常明显尤其是在请求长度差异大的场景下。我实测过一个对比同样的硬件静态批处理下 GPU 利用率约 45%换成连续批处理后提升到 80% 以上单位时间 Token 产出量翻了将近一倍。代价是调度逻辑更复杂对显存管理的要求更高但收益完全值得。3.3 量化用精度换效率的边界在哪量化是另一个提升 Token 生产效率的利器。把 FP16 降到 INT8显存占用减半带宽压力减半理论上 Token 产出速度能提升接近一倍。但量化不是免费的午餐精度损失在长文本生成和复杂推理任务上会明显放大。我的经验是对话类、摘要类任务INT8 量化基本无感代码生成、数学推理这类对精度敏感的任务要谨慎最好做一轮效果对比再决定。还有一个容易被忽略的点量化后的反量化操作本身也有开销。如果推理引擎对量化支持不好反量化可能吃掉一部分收益。所以选推理引擎时要看它对量化的支持是不是原生的、有没有针对性的 kernel 优化。3.4 推理引擎选型的几个考量市面上推理引擎不少选型时我主要看四点对目标模型架构的支持程度、批处理和量化的成熟度、显存管理的精细度、以及社区活跃度。有些引擎对小模型优化得很好但一上大模型就拉胯有些引擎功能全但配置复杂调优成本高。没有万能的选择关键是对上你的实际场景。我一般会先用小流量做 A/B 测试对比不同引擎在真实请求分布下的 Token 产出速度和延迟表现再决定用哪个。4. 集群调度层让每一份算力都不闲着4.1 调度为什么会影响 Token 生产效率单卡优化得再好如果集群调度拉胯整体效率照样上不去。调度层的核心问题是如何把请求分配到最合适的节点上让每张卡都保持高利用率同时不让任何一张卡过载。这听起来简单做起来很难因为请求的长度、优先级、到达时间都是动态变化的。我遇到过最典型的问题是调度器把长请求和短请求混在一起导致长请求占着卡不放短请求排队等半天。后来改成按预估长度分组调度短请求走短请求的池子长请求走长请求的池子整体吞吐量立刻上来了。这个思路其实就是请求分级 资源隔离让不同特征的请求各得其所。4.2 负载均衡与弹性伸缩的配合负载均衡的目标是让每张卡的负载尽量均衡但“负载”怎么定义很关键。如果只看请求数量那长请求和短请求的负载差异就被忽略了。更合理的做法是按预估的计算量来均衡比如用请求的 prompt 长度加上预估生成长度作为权重。这样调度器才能做出真正均衡的决策。弹性伸缩则是应对流量波动的利器。流量高峰时自动扩容低谷时缩容既保证 Token 产出速度又控制成本。但伸缩有个坑冷启动时间。新节点从拉起容器到能真正服务可能需要几十秒甚至几分钟这段时间请求会堆积。所以伸缩策略要提前触发不能等队列满了才扩。我一般会设置一个水位线队列长度超过阈值就提前扩容留出缓冲时间。4.3 调度策略的实操建议策略适用场景注意事项轮询调度请求特征均匀简单但不够精细最短队列优先短请求为主长请求可能饿死加权调度请求长度差异大权重设计要合理优先级调度有 SLA 要求防止低优先级饿死注意调度策略没有银弹一定要结合你的真实请求分布来调。上线前用历史流量做回放测试比拍脑袋强得多。5. 供电与散热被忽视的“持续输出”保障5.1 为什么供电散热是 Token 生产效率的一部分这一层最容易被忽略但它直接决定了芯片能不能持续跑在高性能状态。芯片在高负载下功耗会飙升如果供电跟不上芯片会降频如果散热跟不上温度一高也会降频。降频意味着什么意味着你花大价钱买的算力实际只能用一半。我见过一个机房夏天的时候推理速度比冬天慢 20%查了半天才发现是散热余量不足芯片在高温下自动降频了。所以供电和散热不是“配套设施”而是 Token 生产效率的保障层。设计集群时供电容量要按芯片峰值功耗的 1.2-1.5 倍来配散热能力要能覆盖持续满载的发热量而不是只看瞬时峰值。5.2 供电设计的关键参数供电这块核心是功率密度和冗余。单机柜的功率密度越来越高传统机柜可能只能支撑 5-10kW而高密度推理集群可能需要 20-40kW 甚至更高。如果机房基础设施跟不上就只能降低部署密度间接影响整体 Token 产出能力。冗余方面我建议供电模块做 N1 冗余避免单点故障导致整柜掉电。同时要监控每路供电的负载避免某一路过载。这些细节平时看不出价值一旦出问题就是大面积服务中断。5.3 散热方案的取舍散热方案主要有风冷和液冷两大类。风冷成本低、维护简单但散热能力有限适合中低功率密度液冷散热能力强适合高密度集群但成本和维护复杂度都更高。我的经验是单柜功率超过 15kW就该认真考虑液冷了否则风冷很难压住温度芯片降频会成为常态。除了方案选择散热设计还要注意气流组织。冷热通道分离、避免热风回流这些基础工作做到位能显著提升散热效率。我见过一些机房设备本身没问题但气流组织混乱导致局部热点芯片频繁降频Token 产出速度忽高忽低。5.4 监控与告警让问题早发现供电散热的问题往往是渐进式的不会一下子爆发。所以监控很重要。我一般会盯几个关键指标芯片温度、芯片频率、单柜功耗、进风口温度。芯片温度持续接近阈值、频率频繁波动都是散热不足的信号。提前发现提前调整比等到服务变慢再排查要主动得多。6. 常见问题与排查技巧实录6.1 Token 产出速度突然下降怎么排查这是最常见的问题。我的排查顺序是先看芯片频率和温度再看推理引擎的批处理状态最后看调度队列。如果芯片频率掉了多半是供电散热问题如果频率正常但 GPU 利用率低多半是批处理没做好或者请求太少如果队列堆积但 GPU 没吃满多半是调度策略有问题。按这个顺序走基本能定位到问题层。6.2 显存溢出OOM的预防OOM 是推理服务的常见故障。预防的核心是控制并发量和 KV Cache 上限。我一般会设置一个最大并发数超过就排队而不是无限接收。同时给 KV Cache 设一个上限超了就淘汰最老的请求。这样虽然会牺牲一点吞吐但能保证服务稳定不会因为 OOM 整体崩掉。6.3 量化后效果变差的应对量化后效果变差先别急着放弃量化。可以尝试混合量化对精度敏感的层保持 FP16其他层用 INT8。或者用更精细的量化方法比如 GPTQ、AWQ 这类比朴素的 round-to-nearest 效果好很多。如果还是不行那就说明这个任务确实对精度敏感老老实实用 FP16 吧。6.4 多卡并行的效率问题多卡并行时如果卡间通信成为瓶颈效率会大打折扣。排查时重点看通信时间占比如果通信占了总时间的 30% 以上就要考虑优化并行策略了。可以尝试调整张量并行的切分方式或者改用流水线并行减少通信频率。另外确保卡间互联用的是高速通道别用低速链路拖后腿。6.5 常见问题速查表现象可能原因排查方向Token 速度慢芯片降频查温度和供电GPU 利用率低批处理不足查批处理策略队列堆积调度不均查调度策略OOM并发过高查并发和 KV Cache效果变差量化损失查量化配置多卡效率低通信瓶颈查并行策略7. 我个人的一些实操体会做 Token 生产效率优化这几年最大的体会是不要孤立地看任何一层。芯片再好推理引擎不行也是白搭引擎调得再优调度拉胯照样浪费前面都做好了供电散热跟不上芯片一降频全白费。这是一个系统工程需要全栈视角。另一个体会是优化要有数据支撑别凭感觉。我见过太多团队凭直觉换硬件、调参数结果钱花了效果没出来。正确的做法是先建立监控体系把每一层的指标都采集起来找到真正的瓶颈再针对性优化。这样投入产出比最高。最后分享一个小技巧做优化时先做“减法”再做“加法”。先把明显的浪费去掉——比如空闲的卡、低效的批处理、不合理的调度这些往往能带来立竿见影的提升。等这些都优化完了再考虑加硬件、换引擎这些“加法”。很多时候减法做完你会发现根本不需要加法。这个方向后续还可以往自适应调度和动态量化两个方向扩展。自适应调度是根据实时负载自动调整调度策略动态量化是根据请求特征动态选择精度。这两个方向都还在演进中有兴趣的同学可以持续关注。