# 2026年大语言模型推理最佳 GPU：按模型规模选型指南

> 大语言模型（LLM）推理的最佳 GPU 取决于模型规模、精度、KV 缓存和显存带宽。使用我们的 2026年选型表，在从 RTX 5090 到 8× B300 的各款配置中做出选择。

来源：https://fullgpu.com/zh/blog/best-gpu-for-llm-inference  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

大语言模型（LLM）推理的最佳 GPU，是同时满足以下条件的最便宜的那一款：能以您部署时采用的精度装下模型权重，能为您的流量所需的 KV 缓存留出空间，并且显存带宽足以达到您的延迟目标。算力同样重要，但它的优先级比大多数规格表所暗示的要靠后。本指南按顺序逐项讲解这些检查，然后把常见的模型规模对应到我们产品目录中的 GPU，从单张 RTX 5090 到 8 卡服务器。

## 如何选择 LLM 推理的最佳 GPU

请按以下顺序做决定。每一步都会为下一步缩小候选范围。

1. **精度。**BF16、FP8 还是 4 位，决定了每个参数占用的字节数。
2. **权重。**必须装得下，并留有余量。
3. **KV 缓存。**上下文长度 × 并发序列数，往往是两款候选 GPU 之间的决定性因素。
4. **显存带宽。**它决定解码速度。
5. **算力。**对长提示词和大批次很重要。
6. **互联。**仅当模型需要多张 GPU 时才需考虑。
7. **价格。**按月、按每 GB 显存、按每单位带宽计算。

## 第 1 步：模型规模和精度决定显存下限

权重占用约为参数量 × 每个参数的字节数：BF16 或 FP16 为 2 字节，FP8 或 INT8 为 1 字节，4 位格式约为半个字节（计入块缩放因子后略多一些）。因此，70B 模型在 BF16 精度下约需 140 GB，FP8 约需 70 GB，4 位约需 35–40 GB。在此基础上，还要为 KV 缓存、激活值和运行时预留 10–30% 的空间。

精度既是显存问题，也是质量问题。FP8 在推理服务中应用广泛，因为它能把显存占用减半，质量损失通常也很小；4 位更省显存，但需要在您自己的任务上仔细验证。我们的 [FP8、FP4 与 BF16 对比解读](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)介绍了其中的权衡，[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)则可以针对具体模型算出数字。

## 第 2 步：KV 缓存与并发

对于每个活跃序列中的每个 token，模型都会在每一层保存一个键向量和一个值向量。每个 token 的缓存大小为：

```
KV bytes per token = 2 × layers × KV heads × head dimension × bytes per value
```

以采用分组查询注意力（GQA）的 70B 级模型为例：80 层，8 个 KV 头，每个头 128 维，缓存采用 BF16。计算结果为 2 × 80 × 8 × 128 × 2 = 327,680 字节，即每个 token 约 0.33 MB。

| 流量 | KV 缓存（BF16） | KV 缓存（FP8） |
| --- | --- | --- |
| 单个 8K token 序列 | ≈ 2.7 GB | ≈ 1.3 GB |
| 单个 32K token 序列 | ≈ 10.7 GB | ≈ 5.4 GB |
| 32 个并发 8K token 序列 | ≈ 86 GB | ≈ 43 GB |
| 单个 128K token 序列 | ≈ 43 GB | ≈ 21 GB |

现在把它和权重放在一起看。在单张 H200 上使用 FP8 权重（约 70 GB），扣除运行时开销后，大约还剩 50–60 GB 可用于缓存：BF16 缓存约可容纳 20 个并发的 8K token 序列，FP8 缓存约可容纳 40 个。在单张 H100 上，同样的权重只剩下几 GB，仅够处理少量短请求。两款 GPU 都能“运行这个模型”，但只有一款能从容承载真实流量。vLLM 等推理引擎会随着 token 的到来按页分配缓存，因此平均长度比最大长度更重要；这些引擎也会在启动时报告其 KV 缓存容量。

## 第 3 步：为什么显存带宽决定解码速度

推理分为两个阶段。预填充（prefill）阶段一次性处理整个提示词：大规模矩阵乘法，主要受算力限制。随后的解码（decode）阶段每一步为每个序列生成一个 token，而每一步都必须从显存中读取所有参与计算的权重以及每个序列的 KV 缓存，用于对每个序列的每个权重执行大约两次浮点运算。在小到中等批大小下，运算单元早在下一批字节到达之前就已算完。因此，每个序列的解码速度受限于每秒传输的字节数，而不是 FLOPS。

由此可以得出四个结论：

- **带宽之比决定了解码提速的上限。**在相同批大小下，H200（4.8 TB/s）的解码速度最多约为 H100（3.35 TB/s）的 1.4 倍，B200、B300 或 MI355X（8 TB/s）最多约为 2.4 倍。更大的显存还能支持更大的批次，带来额外的提升。
- **降低精度有双重好处。**FP8 权重既让显存占用减半，也让每一步读取的字节数减半，因此在受显存带宽限制的情况下，解码速度会提高。
- **批处理能分摊权重读取的开销。**读取一遍权重就能服务批次中的所有序列，因此吞吐量会随批大小增加而上升，直到算力或 KV 缓存容量耗尽为止。这就是为什么留给缓存的空余显存能直接转化为吞吐量。
- **MoE 模型每个 token 读取的数据更少。**每个 token 只需读取被选中的专家，因此解码开销低于总规模相同的稠密模型，但所有专家仍必须全部装入显存。

## 按模型规模选 GPU：我们的推荐

下表把常见的模型规模对应到我们产品目录中的 GPU。“推荐”一栏的配置在中等上下文长度下能为 KV 缓存留出够用的空间；“也可行”一栏列出的选项则显存更紧张、速度更慢，或超出实际需要。除非另有说明，表中规模均指稠密模型。

| 模型规模 | 权重（BF16 / FP8） | 推荐 | 也可行 | 说明 |
| --- | --- | --- | --- | --- |
| 8B 以内 | ≈ 16 / 8 GB | RTX 5090（32 GB） | L40S（48 GB） | RTX 5090 的带宽约为 L40S 的两倍；L40S 能为缓存留出更多空间 |
| 14B | ≈ 28 / 14 GB | BF16 用 L40S；FP8 用 RTX 5090 | RTX PRO 6000（96 GB） | 在 32 GB 的卡上运行 BF16，几乎没有空间留给 KV 缓存 |
| 32B | ≈ 64 / 32 GB | RTX PRO 6000（96 GB） | H100（80 GB）；FP8 用 L40S | H100 带宽更高：3.35 TB/s 对比 1.6 TB/s |
| 70B | ≈ 140 / 70 GB | FP8 用 H200（141 GB） | FP8 用 RTX PRO 6000 或 H100（勉强装下）；BF16 用 B200 或 B300 | 在 H100 上，FP8 权重只给缓存留下很少的空间 |
| 120B | ≈ 240 / 120 GB | FP8 用 B200（180 GB）或 B300（288 GB） | BF16 或高并发用 8 卡服务器 | FP8 精度下单张 H200 只能勉强装下 |
| 405B | ≈ 810 / 405 GB | FP8 用 8× H200（1,128 GB） | FP8 用 8× H100 或 8× RTX PRO 6000；BF16 用 8× B200、8× B300 或 8× MI355X；4 位权重用单张 B300 | RTX PRO 6000 服务器没有 NVLink，因此在这台服务器上宜优先采用流水线并行 |
| 671B MoE（DeepSeek-V3、R1） | ≈ 1,342 / 671 GB | FP8 用 8× H200 | FP8 用 8× B200；BF16 或长上下文用 8× B300 或 8× MI355X | 8× H100（640 GB）装不下 FP8 权重 |

有两个规律值得注意。第一，RTX PRO 6000 的适用范围很广：96 GB 显存可以装下 BF16 精度约 32B 以内、或 FP8 精度约 70B 以内的任何模型。第二，在我们的产品目录中，从单卡到 8 卡是一大步：单张 B300（288 GB）和 8 卡服务器之间没有其他配置，因此权重约在 250 GB 到 600 GB 之间的模型只能直接选用整台服务器。我们的 [DeepSeek R1 硬件要求指南](https://fullgpu.com/zh/blog/deepseek-hardware-requirements)详细分析了规模最大的这种情况。

## 每 GB 显存的月成本

确定所需的显存容量之后，就可以比较每 GB 的价格。带宽也应放进同一张表，因为最便宜的显存通常也是最慢的。

| 配置 | 显存 | 单卡带宽 | 月价 | 每 GB 月成本 |
| --- | --- | --- | --- | --- |
| RTX 5090 | 32 GB | 1.79 TB/s | US$449 | US$14.03 |
| L40S | 48 GB | 864 GB/s | US$890 | US$18.54 |
| RTX PRO 6000 | 96 GB | 1.6 TB/s | US$1,390 | US$14.48 |
| H100 | 80 GB | 3.35 TB/s | US$2,190 | US$27.38 |
| H200 | 141 GB | 4.8 TB/s | US$3,090 | US$21.91 |
| B200 | 180 GB | 8 TB/s | US$4,590 | US$25.50 |
| B300 | 288 GB | ~8 TB/s | US$5,190 | US$18.02 |
| 8× RTX PRO 6000 | 768 GB | 1.6 TB/s | US$10,490 | US$13.66 |
| 8× H100 | 640 GB | 3.35 TB/s | US$16,900 | US$26.41 |
| 8× MI355X | 2,304 GB | 8 TB/s | US$19,900 | US$8.64 |
| 8× H200 | 1,128 GB | 4.8 TB/s | US$23,900 | US$21.19 |
| 8× B200 | 1,440 GB | 8 TB/s | US$34,900 | US$24.24 |
| 8× B300 | 2,304 GB | ~8 TB/s | US$39,900 | US$17.32 |

如何解读这张表：

- **模型刚好装得下时，每 GB 价格最重要。**如果您花钱主要是为了获得容纳权重和缓存的容量，那么 8× MI355X 服务器（每 GB US$8.64，前提是您的技术栈能在 ROCm 上运行）和 RTX PRO 6000 的各项配置（约 US$14）最为突出。
- **模型轻松装得下时，带宽更重要。**32B 模型在 RTX PRO 6000 和 H100 上都装得下；H100 每 GB 的价格更高，但读取权重的速度约为前者的两倍。
- **按每 GB 计算，单张 B300 比 B200 便宜。**它的显存多 60%，月价只高约 13%，带宽同属 8 TB/s 级别。B300 库存有限。
- **一台 8 卡服务器比 8 个单卡套餐略便宜**（8× H100 为 US$16,900，而 8 × US$2,190 = US$17,520），但您必须一次性租下全部 8 张卡。

## 什么时候用 8 张 GPU 做张量并行

张量并行把每一层的权重矩阵切分到多张 GPU 上。在每个解码步骤中，每张 GPU 只读取属于自己的那一份权重，因此 8 张 GPU 能为每个 token 带来 8 倍的显存带宽，以及 8 倍的显存容量。代价是通信：每一步的每个 Transformer 层都要执行两次 all-reduce 操作，所以张量并行适合在通过 NVLink 互联的 GPU 上运行。我们的 HGX 服务器在 H100 和 H200 上为每张 GPU 提供 900 GB/s（NVLink 4），在 B200 和 B300 上提供 1.8 TB/s（NVLink 5）。8× RTX PRO 6000 服务器的 GPU 之间通过 PCIe Gen5 连接，没有 NVLink，因此在这台服务器上宜优先采用相互独立的副本或流水线并行。我们的 [NVLink 与 PCIe 对比](https://fullgpu.com/zh/blog/nvlink-vs-pcie)一文详细分析了其中的通信流量。

当权重加上所需的 KV 缓存无法装入单张 GPU，或者您需要大模型的单请求延迟低于单张 GPU 所能达到的水平时，就使用张量并行。否则，请选用能装下模型的最小张量并行度，再通过增加副本来提高吞吐量。在 8× H200 服务器上，FP8 精度的 70B 模型可以运行为 8 个单卡副本；也可以运行为 4 个双卡副本，每个副本拥有更多缓存空间；还可以运行为 1 个 8 卡副本，这通常能实现最低的单请求延迟。请用您自己的流量对这三种方式逐一测量。

```
# Two replicas of four GPUs each on one 8-GPU server (vLLM)
CUDA_VISIBLE_DEVICES=0,1,2,3 vllm serve <model> \
  --tensor-parallel-size 4 --port 8000
CUDA_VISIBLE_DEVICES=4,5,6,7 vllm serve <model> \
  --tensor-parallel-size 4 --port 8001
```

## 快速选型

- **原型开发、小模型和嵌入模型：**RTX 5090 或 L40S。
- **约 32B 以内模型的生产环境部署，或预算有限时以 FP8 运行 70B：**RTX PRO 6000。
- **FP8 精度的 70B 模型，并为长上下文留出空间：**H200。
- **BF16 精度的 70B 模型，或 FP8 精度的 120B 级模型：**B200 或 B300。在单卡中，只有 B300 能装下 4 位的 405B 模型。
- **405B 稠密模型或 671B MoE 模型：**8× H200、8× B200、8× B300 或 8× MI355X。
- **中等规模模型的多副本部署：**8× RTX PRO 6000。

以上每种配置都是整卡独享的 GPU，采用固定月价。如果您的情况介于两行之间，请把您的模型、精度和预期流量输入[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)，然后[部署](https://fullgpu.com/zh/deploy)合适的配置；月价会在付款前显示，服务器在付款后 10 分钟内交付。关于推理服务的搭建，请参阅我们关于[使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm)的指南。

## 常见问题

### 2026年 LLM 推理的最佳 GPU 是哪款？

是能装下您的权重和 KV 缓存、带宽又足以满足延迟目标的最便宜的那款 GPU。按经验法则，RTX PRO 6000 可覆盖约 32B 以内的模型，H200 能从容运行 FP8 精度的 70B 模型，B200 或 B300 可运行 BF16 精度的 70B 模型，8 卡服务器则可覆盖 405B 和 671B 级模型。

### 运行 70B 模型需要多少显存？

权重在 BF16 精度下约需 140 GB，在 FP8 精度下约需 70 GB，另需 KV 缓存空间和 10% 到 30% 的余量。以 FP8 运行时，单张 H100 只能勉强装下，单张 H200 则绰绰有余。

### 对推理来说，显存带宽比算力更重要吗？

对于小到中等批大小下的解码，是的：每一步都要从显存中读取参与计算的权重，因此带宽限制了每个序列的速度。对于长提示词的预填充和超大批次，算力更为重要。

### 跨多张 GPU 部署模型推理服务，必须有 NVLink 吗？

并非绝对必要，但张量并行在每一层都要交换数据，因此在 NVLink 上运行效果最好。没有 NVLink 时，宜优先采用流水线并行；如果模型能装入单张 GPU，也可以运行多个相互独立的副本。

### 推理服务应该用 FP8 还是 BF16？

与 BF16 相比，FP8 能把权重显存和每个 token 读取的字节数都减半，质量损失通常也很小，但请在您自己的评测集上验证。Hopper、Ada Lovelace、Blackwell 和 MI355X 都在硬件层面支持 FP8。

## 相关页面

- [大模型推理 GPU 服务器：7×24 小时运行，价格固定](https://fullgpu.com/zh/solutions/inference): 大模型推理 GPU 服务器，可运行 vLLM、SGLang 或 TensorRT-LLM：本文介绍 KV 缓存估算以及 FP8 与 FP4 的选择，价格含每月 20–50 TB 流量。查看完整的选型计算。
- [如何使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm): 使用 vLLM 自托管 LLM 推理：本文介绍如何估算所需的 GPU，运行兼容 OpenAI API 的推理服务器，调优 FP8、前缀缓存和并行策略，并为生产环境做好安全加固。
- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。
- [H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？](https://fullgpu.com/zh/compare/h200-vs-b200): H200 与 B200 对比：141 GB 对比 180 GB，4.8 TB/s 对比 8 TB/s，FP4 与 NVLink 5。了解各自能装下什么、每月多花 US$1,500 能换来什么，以及何时 H200 更划算。