1. 四张卡摆在面前先想清楚你到底在跑什么2026年做大模型推理选卡这件事比前两年复杂得多。2023年的时候大家还在纠结A100和A800的区别到了2024年H800成了香饽饽2025年H20因为各种原因进入视野而4090一直是个绕不开的“平民选项”。四张卡横跨了不同的显存规格、算力层级和价格区间拿来做推理取舍逻辑完全不一样。我过去两年帮几个团队做过推理集群的选型和调优从7B模型的小规模服务到70B级别的多卡部署都碰过。踩过的坑包括但不限于显存算错导致OOM、卡间互联带宽不够导致吞吐上不去、驱动版本不匹配导致推理框架跑不起来、散热没做好导致降频。这些经验让我意识到一件事——选卡不是看参数表谁好看而是看你的模型、你的并发量、你的预算和你的运维能力四者之间的匹配度。这篇文章面向的是正在做推理服务部署的工程师、技术负责人以及需要给团队做硬件采购决策的人。我会把A100、H800、H20、4090这四张卡在推理场景下的真实表现拆开讲包括显存容量的硬约束、算力与带宽的实际影响、多卡互联的差异、以及不同模型规模下的选型建议。读完你至少能回答一个问题我手头这个模型和这个并发需求到底该上哪张卡。先给一个粗略的定位后面会展开卡型显存定位适合场景A100 80G80GB HBM2e上一代旗舰中大规模推理生态成熟H800 80G80GB HBM3当代高端大规模推理高带宽需求H20 96G96GB HBM3特供大显存显存瓶颈型任务推理优先4090 24G24GB GDDR6X消费级旗舰小模型、低并发、个人/小团队这张表只是起点真正的取舍在细节里。2. 推理场景下到底什么参数最重要2.1 显存容量是第一道门槛算错了直接出局很多人选卡第一眼看算力但在推理场景下显存容量才是决定你能不能跑起来的那条线。算力不够顶多慢一点显存不够直接OOM服务根本起不来。推理时的显存占用主要分三块模型权重、KV Cache、以及框架和中间激活的额外开销。模型权重这块好算FP16精度下每10亿参数大约占2GBINT8量化减半INT4再减半。但KV Cache这块很多人会低估。KV Cache的大小跟这几个因素有关层数、注意力头数、头维度、序列长度、并发数、精度。以一个70B级别的模型为例假设80层、64个头、头维度128FP16精度下每个token的KV Cache大约是2.5MB左右。如果你要支持4096的上下文长度、同时处理16个并发请求光KV Cache就要2.5MB × 4096 × 16 ≈ 160GB。这个数字已经超过单卡容量了所以实际部署时必须做KV Cache量化、分页管理或者限制并发。注意很多推理框架默认的KV Cache分配策略是预留最大序列长度如果你不手动调整显存会被瞬间吃满。vLLM的gpu_memory_utilization参数和TensorRT-LLM的max_num_tokens都需要根据实际显存手动设置。所以看显存不能只看标称容量还要看可用容量。4090的24GB看起来不少但实际可用大概22GB左右跑一个FP16的13B模型约26GB权重就已经不够了必须量化。A100和H800的80GB实际可用约76-78GB跑FP16的70B模型需要至少两张卡做张量并行。H20的96GB是这四张卡里显存最大的实际可用约92GB单卡能塞下FP16的40B左右模型或者INT8的70B模型。2.2 显存带宽决定了token生成速度的上限推理分两个阶段Prefill和Decode。Prefill是处理输入prompt计算密集算力影响大。Decode是逐token生成显存带宽是瓶颈因为每生成一个token都要把整个模型权重读一遍。这就是为什么H800和H20在Decode阶段的表现差异很大。H800的HBM3带宽大约是3.35TB/sH20的HBM3带宽大约是4.0TB/s是的H20的带宽比H800还高A100的HBM2e是2.0TB/s4090的GDDR6X是1.0TB/s。Decode阶段的理论token生成速度可以用一个简化公式估算速度 ≈ 显存带宽 / 模型权重大小。以FP16的70B模型为例权重大约140GB。H800理论上是3350/140 ≈ 24 tokens/sH20是4000/140 ≈ 28 tokens/sA100是2000/140 ≈ 14 tokens/s。4090因为显存装不下70B这个计算不适用。但实际速度会低于理论值因为还有KV Cache读取、框架开销、批处理效率等因素。实测下来H800跑FP16 70B单卡需要多卡并行这里指等效带宽分摊大概在15-20 tokens/sH20能到18-22 tokens/sA100在10-14 tokens/s。2.3 算力影响Prefill和整体吞吐Prefill阶段是计算密集的算力直接决定了长prompt的处理速度。A100的FP16算力是312 TFLOPSH800是989 TFLOPS稀疏算力稠密约495H20是148 TFLOPS4090是165 TFLOPS稠密。H20的算力在这四张卡里是最低的但它的带宽最高、显存最大。这个设计取向很明确牺牲算力换显存和带宽专门为推理场景优化。实际用下来H20在长文本Prefill上确实比A100慢但在Decode阶段和显存容量上优势明显。4090的算力看起来不错但24GB显存限制了它能跑的模型规模。跑7B、13B模型的时候4090的性价比极高但一旦模型超过30B就必须要多卡或者量化这时候消费级卡的互联短板就暴露了。2.4 多卡互联NVLink和PCIe的差距在推理中同样致命训练场景下NVLink的重要性大家都知道但很多人以为推理不需要多卡互联。这个认知是错的。当你用张量并行TP部署大模型时每层的前向传播都需要卡间通信。如果互联带宽不够通信时间会超过计算时间多卡并行的效率会急剧下降。A100和H800都有NVLinkA100的NVLink带宽是600GB/sH800是400GB/s受出口限制影响。H20的NVLink带宽是900GB/s是这四张卡里最高的。4090没有NVLink只能走PCIe 4.0 x16带宽约32GB/s。这个差距在TP2的时候可能还不明显但TP4或TP8的时候4090的通信开销会吃掉大部分并行收益。实测数据用4张4090做TP4跑一个30B模型吞吐量只有单卡理论值的2.2倍左右而用4张A100做TP4能到3.5倍左右。实操心得如果你打算用4090做多卡推理尽量用流水线并行PP而不是张量并行TP因为PP的通信量小得多。但PP的问题是会有气泡延迟会变高。所以4090多卡更适合吞吐优先、延迟不敏感的场景。3. 四张卡的真实推理表现拆解3.1 A100 80G老将依然能打但性价比在下降A100是2020年的产品到2026年已经六年了。它的优势在于生态成熟、驱动稳定、框架支持最好。几乎所有推理框架对A100的优化都是最充分的vLLM、TensorRT-LLM、SGLang在A100上的表现都很稳。80GB的HBM2e显存2.0TB/s带宽312 TFLOPS FP16算力。跑FP16的70B模型需要TP2跑INT8的70B可以单卡约70GB权重KV Cache比较紧张跑INT4的70B单卡很宽裕。实际推理表现7B模型FP16单卡A100能跑到2000 tokens/s的吞吐batch size较大时13B模型FP16单卡约1000 tokens/s70B模型FP16TP2约300-400 tokens/s。A100的问题在于价格。虽然已经是上一代但80G版本在二手市场的价格依然不低而且功耗不低400W TDP。如果预算有限且不需要最新特性A100是个稳妥的选择。但如果追求更高的吞吐/功耗比H800和H20更有优势。3.2 H800 80G性能最强但要看你能不能拿到H800的FP16稠密算力约495 TFLOPS是A100的1.6倍左右。HBM3带宽3.35TB/s比A100高67%。80GB显存和A100一样但带宽优势让它在Decode阶段明显更快。跑FP16的70B模型H800 TP2的吞吐能到500-600 tokens/s比A100 TP2高50%左右。跑13B模型FP16单卡能到1500 tokens/s。Prefill阶段因为算力优势长prompt处理速度比A100快40-60%。H800的NVLink带宽是400GB/s虽然比A100的600GB/s低但比PCIe还是高一个数量级。多卡并行的效率依然很好。但H800的供应一直是个问题。2026年的情况是H800在部分市场仍然可以获取但价格波动大而且交期不确定。如果你能拿到且预算充足H800是这四张卡里综合性能最好的推理卡。3.3 H20 96G显存怪兽推理特化H20是个很有意思的产品。它的算力只有148 TFLOPS FP16比A100还低一半多但显存96GB、带宽4.0TB/s、NVLink 900GB/s这三个参数都是四张卡里最好的。这个设计取向说明它就是为了推理而生的。推理场景下算力只在Prefill阶段是瓶颈Decode阶段吃带宽而显存容量决定了你能跑多大的模型。H20最大的价值在于单卡能跑更大的模型。96GB显存实际可用约92GB。FP16的40B模型权重约80GB加上KV Cache和框架开销单卡刚好能跑。INT8的70B模型权重约70GB单卡也很宽裕。这意味着你不需要多卡并行就能跑70B级别的模型省去了卡间通信的开销和复杂度。实测数据H20单卡跑INT8的70B模型Decode速度约20-25 tokens/s吞吐batch size8约150-200 tokens/s。这个表现对于单卡来说相当不错。跑FP16的13B模型单卡吞吐能到1200 tokens/s。H20的短板在Prefill。148 TFLOPS的算力处理长prompt时确实慢如果你有大量长文本输入比如RAG场景Prefill会成为瓶颈。但如果你主要是短prompt、长输出的场景比如对话、创作H20非常合适。注意事项H20的算力低意味着它在处理高并发Prefill时容易成为瓶颈。如果你的场景是大量用户同时提交长文档做摘要H20可能会让你失望。选型前一定要用真实业务数据做压测。3.4 4090 24G个人和小团队的性价比之王但有边界4090的24GB GDDR6X显存1.0TB/s带宽165 TFLOPS FP16稠密算力。单看算力它比H20还高价格却只有H20的几分之一。这就是为什么4090在个人开发者和小团队中这么受欢迎。但24GB显存是硬伤。FP16的13B模型权重约26GB已经超过4090的可用显存了必须量化到INT8约13GB或者INT4约7GB。7B模型FP16约14GB加上KV Cache和框架开销单卡能跑但并发受限。实际推理表现7B模型INT8单卡4090能跑到1500 tokens/s的吞吐batch size16左右13B模型INT4单卡约800-1000 tokens/s30B模型INT4单卡勉强能跑但KV Cache空间很小并发上不去。4090的另一个问题是散热和功耗。450W TDP如果多卡部署机箱散热必须做好否则降频会严重影响性能。我见过一个团队用4张4090做推理机箱风道没设计好跑满负载时GPU温度到85度以上频率从2.5GHz降到1.8GHz吞吐直接掉了30%。实操心得4090多卡部署时建议用涡轮版或者水冷版普通三风扇版在密集部署时散热很成问题。另外4090的PCIe带宽是x16 Gen4多卡时如果主板不支持x16/x16拆分会降到x8/x8互联带宽减半。4. 不同模型规模下的选型决策树4.1 7B到13B模型4090和A100的性价比之争这个参数区间是4090的主场。7B模型FP16约14GB4090单卡能跑INT8量化后约7GB非常宽裕。13B模型FP16约26GB4090需要INT8量化A100 80G可以FP16单卡。从吞吐角度看4090跑7B INT8的吞吐和A100跑7B FP16的吞吐接近但4090的价格只有A100的十分之一左右。如果并发量不大比如每秒几个请求4090完全够用。但如果你需要高并发比如每秒几十个请求A100的显存带宽优势就体现出来了。4090的1.0TB/s带宽在batch size增大时会成为瓶颈而A100的2.0TB/s能支撑更大的batch。我的建议个人开发、小团队内部使用、并发不高的场景4090是首选。面向外部用户的服务、需要高并发、对延迟敏感的场景A100更稳。4.2 30B到40B模型H20的甜蜜点30B到40B这个区间比较尴尬。FP16的30B模型约60GBA100和H800的80GB单卡能跑但KV Cache空间有限4090完全跑不了FP16INT4量化后约15GB能跑但质量损失明显。H20的96GB显存在这个区间非常舒服。FP16的30B模型权重约60GB剩下30多GB给KV Cache和框架开销能支持不错的并发。FP16的40B模型约80GBH20单卡也能跑虽然KV Cache空间紧张但比A100和H800宽裕。实测H20单卡跑FP16的30B模型batch size16时吞吐约400-500 tokens/sDecode速度约25-30 tokens/s。这个表现对于单卡来说很好。4.3 70B及以上模型多卡是必然选卡看互联70B模型FP16权重约140GB没有任何单卡能装下。必须多卡并行。这时候选卡的核心考量变成了互联带宽和显存总量。A100 80G TP2160GB总显存NVLink 600GB/s。能跑但KV Cache空间紧张并发受限。 H800 80G TP2160GB总显存NVLink 400GB/s。能跑带宽优势让Decode更快。 H20 96G TP2192GB总显存NVLink 900GB/s。显存最宽裕互联最快但算力低导致Prefill慢。 4090 24G TP496GB总显存PCIe互联。显存总量不够跑FP16必须INT8量化而且PCIe带宽是瓶颈。如果预算充足且能拿到H800TP2的H800是70B FP16推理的最佳选择。如果显存是主要矛盾比如需要长上下文、高并发H20 TP2的192GB总显存更有优势。A100 TP2是稳妥但性能一般的选择。4090 TP4只适合INT8量化后的70B而且吞吐和延迟都不理想。提示70B模型如果用INT8量化权重约70GBH20单卡就能跑。虽然INT8相比FP16会有一定的质量损失但在很多场景下比如客服对话、内容生成差异并不明显。如果对质量要求极高还是建议FP16多卡。5. 那些参数表不会告诉你的坑5.1 驱动和框架版本匹配问题四张卡对驱动和CUDA版本的要求不一样。A100支持CUDA 11.x到12.xH800需要CUDA 12.x以上H20需要更新的驱动4090需要CUDA 11.8以上。如果你在一个集群里混用多种卡驱动版本管理会很头疼。我遇到过的情况一个团队混用了A100和4090驱动版本按A100的要求装结果4090的某些特性用不了按4090的要求装A100的稳定性又受影响。最后只能分两个集群分别管理。实操心得如果可能尽量用同一种卡构建推理集群。混用不同代际的卡驱动、CUDA、框架版本的兼容性会让你花大量时间在环境配置上而不是业务优化上。5.2 功耗和散热被低估的成本项A100 400W、H800 700W、H20 400W、4090 450W。单卡功耗看起来只是电费问题但散热才是大头。700W的H800需要更强的散热方案机架功率密度上去了空调和配电都要升级。4090虽然功耗不是最高但它是消费级卡散热设计针对的是单卡游戏场景不是7x24小时满载的数据中心场景。多卡密集部署时散热问题比A100和H800更严重。一个粗略的估算8卡H800服务器整机功耗约6-7kW加上散热实际需要10kW以上的供电和制冷能力。8卡4090服务器整机功耗约4-5kW但散热需求可能更高因为4090的散热效率低。5.3 二手卡和保修风险A100和4090在二手市场流通量很大。A100的二手卡有些是矿卡或者退役的训练卡显存可能有隐性损伤。4090的二手卡有些是游戏卡长时间高负载运行后散热硅脂老化。如果预算有限考虑二手一定要做压力测试。跑至少24小时的满载推理观察是否有降频、报错、显存错误。A100可以用nvidia-smi -q看ECC错误计数4090没有ECC但可以看温度和频率稳定性。注意H800和H20的二手市场流通量小而且涉及出口管制购买渠道需要谨慎评估。这里不展开。5.4 推理框架的卡型适配差异不同推理框架对不同卡型的优化程度不一样。vLLM对A100和H800的优化最好H20的支持在2025年后逐渐完善4090因为消费级定位某些高级特性比如FP8不支持。TensorRT-LLM对NVIDIA数据中心卡的优化最充分4090能用但有些kernel没有针对消费级卡优化。SGLang作为较新的框架对H20的支持还在完善中。选框架的时候要考虑你的卡型。如果你用的是H20建议优先选vLLM或者最新版的TensorRT-LLM确认版本说明里明确支持H20。6. 常见问题速查问题可能原因排查方向推理服务启动OOM显存预留不足或KV Cache配置过大降低gpu_memory_utilization限制max_num_seqs吞吐远低于预期batch size太小或互联带宽瓶颈增大batch size检查是否TP并行通信开销过大Decode速度慢显存带宽不足或模型太大换带宽更高的卡或量化模型Prefill慢算力不足换算力更高的卡或减少输入长度多卡并行效率低互联带宽不够检查NVLink是否启用TP改PP运行一段时间后降频散热不足改善机箱风道降低环境温度框架报错不支持某卡框架版本太旧升级框架和驱动到最新版7. 我的最终建议如果你让我给一个一句话的选型建议预算充足、能拿到H800、追求极致性能H800 TP2跑70B FP16或者单卡跑13B-30B。显存是主要瓶颈、Prefill压力不大H20单卡跑INT8 70B或FP16 40B省去多卡麻烦。预算有限、模型在13B以内、并发不高4090单卡或双卡性价比无敌。需要稳妥、生态成熟、不想折腾A100 80G虽然老但什么都能跑。最后分享一个我踩过的坑曾经为了省钱用4张4090做TP4跑一个30B模型结果PCIe通信开销太大吞吐只有预期的一半。后来改成PP2加数据并行吞吐上去了但延迟增加了。折腾了一周才找到平衡点。选卡的时候一定要用真实业务场景做压测参数表上的数字和实际表现之间的差距可能比你想象的大得多。