2026年大语言模型推理最佳 GPU：按模型规模选型指南
先装下权重，再为 KV 缓存留足空间，最后才为带宽买单。本指南把这条原则落实为一张选型表，覆盖我们出租的每一款 GPU，并附上显存计算和每 GB 成本。
FullGPU 工程团队
更新于 阅读约 8 分钟
大语言模型（LLM）推理的最佳 GPU，是同时满足以下条件的最便宜的那一款：能以您部署时采用的精度装下模型权重，能为您的流量所需的 KV 缓存留出空间，并且显存带宽足以达到您的延迟目标。算力同样重要，但它的优先级比大多数规格表所暗示的要靠后。本指南按顺序逐项讲解这些检查，然后把常见的模型规模对应到我们产品目录中的 GPU，从单张 RTX 5090 到 8 卡服务器。
如何选择 LLM 推理的最佳 GPU
请按以下顺序做决定。每一步都会为下一步缩小候选范围。
- 精度。BF16、FP8 还是 4 位，决定了每个参数占用的字节数。
- 权重。必须装得下，并留有余量。
- KV 缓存。上下文长度 × 并发序列数，往往是两款候选 GPU 之间的决定性因素。
- 显存带宽。它决定解码速度。
- 算力。对长提示词和大批次很重要。
- 互联。仅当模型需要多张 GPU 时才需考虑。
- 价格。按月、按每 GB 显存、按每单位带宽计算。
第 1 步：模型规模和精度决定显存下限
精度既是显存问题，也是质量问题。FP8 在推理服务中应用广泛，因为它能把显存占用减半，质量损失通常也很小；4 位更省显存，但需要在您自己的任务上仔细验证。我们的 FP8、FP4 与 BF16 对比解读介绍了其中的权衡，显存计算器则可以针对具体模型算出数字。
第 2 步：KV 缓存与并发
对于每个活跃序列中的每个 token，模型都会在每一层保存一个键向量和一个值向量。每个 token 的缓存大小为：
KV bytes per token = 2 × layers × KV heads × head dimension × bytes per value以采用分组查询注意力（GQA）的 70B 级模型为例：80 层，8 个 KV 头，每个头 128 维，缓存采用 BF16。计算结果为 2 × 80 × 8 × 128 × 2 = 327,680 字节，即每个 token 约 0.33 MB。
| 流量 | KV 缓存（BF16） | KV 缓存（FP8） |
|---|---|---|
| 单个 8K token 序列 | ≈ 2.7 GB | ≈ 1.3 GB |
| 单个 32K token 序列 | ≈ 10.7 GB | ≈ 5.4 GB |
| 32 个并发 8K token 序列 | ≈ 86 GB | ≈ 43 GB |
| 单个 128K token 序列 | ≈ 43 GB | ≈ 21 GB |
第 3 步：为什么显存带宽决定解码速度
推理分为两个阶段。预填充（prefill）阶段一次性处理整个提示词：大规模矩阵乘法，主要受算力限制。随后的解码（decode）阶段每一步为每个序列生成一个 token，而每一步都必须从显存中读取所有参与计算的权重以及每个序列的 KV 缓存，用于对每个序列的每个权重执行大约两次浮点运算。在小到中等批大小下，运算单元早在下一批字节到达之前就已算完。因此，每个序列的解码速度受限于每秒传输的字节数，而不是 FLOPS。
由此可以得出四个结论：
- 带宽之比决定了解码提速的上限。在相同批大小下，H200（4.8 TB/s）的解码速度最多约为 H100（3.35 TB/s）的 1.4 倍，B200、B300 或 MI355X（8 TB/s）最多约为 2.4 倍。更大的显存还能支持更大的批次，带来额外的提升。
- 降低精度有双重好处。FP8 权重既让显存占用减半，也让每一步读取的字节数减半，因此在受显存带宽限制的情况下，解码速度会提高。
- 批处理能分摊权重读取的开销。读取一遍权重就能服务批次中的所有序列，因此吞吐量会随批大小增加而上升，直到算力或 KV 缓存容量耗尽为止。这就是为什么留给缓存的空余显存能直接转化为吞吐量。
- MoE 模型每个 token 读取的数据更少。每个 token 只需读取被选中的专家，因此解码开销低于总规模相同的稠密模型，但所有专家仍必须全部装入显存。
按模型规模选 GPU：我们的推荐
下表把常见的模型规模对应到我们产品目录中的 GPU。“推荐”一栏的配置在中等上下文长度下能为 KV 缓存留出够用的空间；“也可行”一栏列出的选项则显存更紧张、速度更慢，或超出实际需要。除非另有说明，表中规模均指稠密模型。
| 模型规模 | 权重（BF16 / FP8） | 推荐 | 也可行 | 说明 |
|---|---|---|---|---|
| 8B 以内 | ≈ 16 / 8 GB | RTX 5090（32 GB） | L40S（48 GB） | RTX 5090 的带宽约为 L40S 的两倍；L40S 能为缓存留出更多空间 |
| 14B | ≈ 28 / 14 GB | BF16 用 L40S；FP8 用 RTX 5090 | RTX PRO 6000（96 GB） | 在 32 GB 的卡上运行 BF16，几乎没有空间留给 KV 缓存 |
| 32B | ≈ 64 / 32 GB | RTX PRO 6000（96 GB） | H100（80 GB）；FP8 用 L40S | H100 带宽更高：3.35 TB/s 对比 1.6 TB/s |
| 70B | ≈ 140 / 70 GB | FP8 用 H200（141 GB） | FP8 用 RTX PRO 6000 或 H100（勉强装下）；BF16 用 B200 或 B300 | 在 H100 上，FP8 权重只给缓存留下很少的空间 |
| 120B | ≈ 240 / 120 GB | FP8 用 B200（180 GB）或 B300（288 GB） | BF16 或高并发用 8 卡服务器 | FP8 精度下单张 H200 只能勉强装下 |
| 405B | ≈ 810 / 405 GB | FP8 用 8× H200（1,128 GB） | FP8 用 8× H100 或 8× RTX PRO 6000；BF16 用 8× B200、8× B300 或 8× MI355X；4 位权重用单张 B300 | RTX PRO 6000 服务器没有 NVLink，因此在这台服务器上宜优先采用流水线并行 |
| ≈ 1,342 / 671 GB | FP8 用 8× H200 | FP8 用 8× B200；BF16 或长上下文用 8× B300 或 8× MI355X | 8× H100（640 GB）装不下 FP8 权重 |
有两个规律值得注意。第一，RTX PRO 6000 的适用范围很广：96 GB 显存可以装下 BF16 精度约 32B 以内、或 FP8 精度约 70B 以内的任何模型。第二，在我们的产品目录中，从单卡到 8 卡是一大步：单张 B300（288 GB）和 8 卡服务器之间没有其他配置，因此权重约在 250 GB 到 600 GB 之间的模型只能直接选用整台服务器。我们的 DeepSeek R1 硬件要求指南详细分析了规模最大的这种情况。
每 GB 显存的月成本
确定所需的显存容量之后，就可以比较每 GB 的价格。带宽也应放进同一张表，因为最便宜的显存通常也是最慢的。
| 配置 | 显存 | 单卡带宽 | 月价 | 每 GB 月成本 |
|---|---|---|---|---|
| RTX 5090 | 32 GB | 1.79 TB/s | US$449 | US$14.03 |
| L40S | 48 GB | 864 GB/s | US$890 | US$18.54 |
| RTX PRO 6000 | 96 GB | 1.6 TB/s | US$1,390 | US$14.48 |
| H100 | 80 GB | 3.35 TB/s | US$2,190 | US$27.38 |
| H200 | 141 GB | 4.8 TB/s | US$3,090 | US$21.91 |
| B200 | 180 GB | 8 TB/s | US$4,590 | US$25.50 |
| B300 | 288 GB | ~8 TB/s | US$5,190 | US$18.02 |
| 8× RTX PRO 6000 | 768 GB | 1.6 TB/s | US$10,490 | US$13.66 |
| 8× H100 | 640 GB | 3.35 TB/s | US$16,900 | US$26.41 |
| 8× MI355X | 2,304 GB | 8 TB/s | US$19,900 | US$8.64 |
| 8× H200 | 1,128 GB | 4.8 TB/s | US$23,900 | US$21.19 |
| 8× B200 | 1,440 GB | 8 TB/s | US$34,900 | US$24.24 |
| 8× B300 | 2,304 GB | ~8 TB/s | US$39,900 | US$17.32 |
如何解读这张表：
- 模型刚好装得下时，每 GB 价格最重要。如果您花钱主要是为了获得容纳权重和缓存的容量，那么 8× MI355X 服务器（每 GB US$8.64，前提是您的技术栈能在 ROCm 上运行）和 RTX PRO 6000 的各项配置（约 US$14）最为突出。
- 模型轻松装得下时，带宽更重要。32B 模型在 RTX PRO 6000 和 H100 上都装得下；H100 每 GB 的价格更高，但读取权重的速度约为前者的两倍。
- 按每 GB 计算，单张 B300 比 B200 便宜。它的显存多 60%，月价只高约 13%，带宽同属 8 TB/s 级别。B300 库存有限。
- 一台 8 卡服务器比 8 个单卡套餐略便宜（8× H100 为 US$16,900，而 8 × US$2,190 = US$17,520），但您必须一次性租下全部 8 张卡。
什么时候用 8 张 GPU 做张量并行
当权重加上所需的 KV 缓存无法装入单张 GPU，或者您需要大模型的单请求延迟低于单张 GPU 所能达到的水平时，就使用张量并行。否则，请选用能装下模型的最小张量并行度，再通过增加副本来提高吞吐量。在 8× H200 服务器上，FP8 精度的 70B 模型可以运行为 8 个单卡副本；也可以运行为 4 个双卡副本，每个副本拥有更多缓存空间；还可以运行为 1 个 8 卡副本，这通常能实现最低的单请求延迟。请用您自己的流量对这三种方式逐一测量。
# Two replicas of four GPUs each on one 8-GPU server (vLLM)
CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve <model> \
--tensor-parallel-size 4 --port 8000
CUDA_VISIBLE_DEVICES=4,5,6,7 vllm serve <model> \
--tensor-parallel-size 4 --port 8001快速选型
- 原型开发、小模型和嵌入模型：RTX 5090 或 L40S。
- 约 32B 以内模型的生产环境部署，或预算有限时以 FP8 运行 70B：RTX PRO 6000。
- FP8 精度的 70B 模型，并为长上下文留出空间：H200。
- BF16 精度的 70B 模型，或 FP8 精度的 120B 级模型：B200 或 B300。在单卡中，只有 B300 能装下 4 位的 405B 模型。
- 405B 稠密模型或 671B MoE 模型：8× H200、8× B200、8× B300 或 8× MI355X。
- 中等规模模型的多副本部署：8× RTX PRO 6000。
以上每种配置都是整卡独享的 GPU，采用固定月价。如果您的情况介于两行之间，请把您的模型、精度和预期流量输入显存计算器，然后部署合适的配置；月价会在付款前显示，服务器在付款后 10 分钟内交付。关于推理服务的搭建，请参阅我们关于使用 vLLM 自托管 LLM 推理的指南。
常见问题
2026年 LLM 推理的最佳 GPU 是哪款？
是能装下您的权重和 KV 缓存、带宽又足以满足延迟目标的最便宜的那款 GPU。按经验法则，RTX PRO 6000 可覆盖约 32B 以内的模型，H200 能从容运行 FP8 精度的 70B 模型，B200 或 B300 可运行 BF16 精度的 70B 模型，8 卡服务器则可覆盖 405B 和 671B 级模型。
运行 70B 模型需要多少显存？
权重在 BF16 精度下约需 140 GB，在 FP8 精度下约需 70 GB，另需 KV 缓存空间和 10% 到 30% 的余量。以 FP8 运行时，单张 H100 只能勉强装下，单张 H200 则绰绰有余。
对推理来说，显存带宽比算力更重要吗？
对于小到中等批大小下的解码，是的：每一步都要从显存中读取参与计算的权重，因此带宽限制了每个序列的速度。对于长提示词的预填充和超大批次，算力更为重要。
跨多张 GPU 部署模型推理服务，必须有 NVLink 吗？
并非绝对必要，但张量并行在每一层都要交换数据，因此在 NVLink 上运行效果最好。没有 NVLink 时，宜优先采用流水线并行；如果模型能装入单张 GPU，也可以运行多个相互独立的副本。
推理服务应该用 FP8 还是 BF16？
与 BF16 相比，FP8 能把权重显存和每个 token 读取的字节数都减半，质量损失通常也很小，但请在您自己的评测集上验证。Hopper、Ada Lovelace、Blackwell 和 MI355X 都在硬件层面支持 FP8。
