# AI GPU 对比表（2026）

> 数据中心与工作站 GPU 并列对比：显存、带宽、FP8 与 FP4、互联、功耗和月价。

来源：https://fullgpu.com/zh/compare  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

## AI GPU 对比表

数据为厂商公布值；厂商公布了稠密算力的，均列出稠密算力（不计稀疏）。另提供 CSV 格式：https://fullgpu.com/data/gpu-specs.csv

| GPU | 架构 | 显存 | 带宽 | FP8 | FP4 | 互联 | 最大功耗 | FullGPU 价格 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- |
| NVIDIA B300 | Blackwell Ultra | 288 GB HBM3e | 8 TB/s | 4,500 TFLOPS | 13,500 TFLOPS | NVLink 5 | 1,100 W | 1 张 GPU：US$5,190/月; 8 张 GPU：US$39,900/月 |
| NVIDIA B200 | Blackwell | 180 GB HBM3e | 8 TB/s | 4,500 TFLOPS | 9,000 TFLOPS | NVLink 5 | 1,000 W | 1 张 GPU：US$4,590/月; 8 张 GPU：US$34,900/月 |
| NVIDIA H200 | Hopper | 141 GB HBM3e | 4.8 TB/s | 1,979 TFLOPS | — | NVLink 4 | 700 W | 1 张 GPU：US$3,090/月; 8 张 GPU：US$23,900/月 |
| NVIDIA H100 SXM | Hopper | 80 GB HBM3 | 3.35 TB/s | 1,979 TFLOPS | — | NVLink 4 | 700 W | 1 张 GPU：US$2,190/月; 8 张 GPU：US$16,900/月 |
| AMD Instinct MI355X | CDNA 4 | 288 GB HBM3e | 8 TB/s | 5,000 TFLOPS | 10,100 TFLOPS | Infinity Fabric | 1,400 W | 8 张 GPU：US$19,900/月 |
| NVIDIA RTX PRO 6000 Blackwell | Blackwell | 96 GB GDDR7 ECC | 1.6 TB/s | 支持 | 4,000 AI TOPS | PCIe Gen5 x16 | 600 W | 1 张 GPU：US$1,390/月; 8 张 GPU：US$10,490/月 |
| NVIDIA L40S | Ada Lovelace | 48 GB GDDR6 ECC | 864 GB/s | 733 TFLOPS | — | PCIe Gen4 x16 | 350 W | 1 张 GPU：US$890/月 |
| NVIDIA GeForce RTX 5090 | Blackwell | 32 GB GDDR7 | 1.79 TB/s | 支持 | 3,352 AI TOPS | PCIe Gen5 x16 | 575 W | 1 张 GPU：US$449/月 |
| NVIDIA GB300 NVL72 | Blackwell Ultra | 288 GB HBM3e | 8 TB/s | 5,000 TFLOPS | 15,000 TFLOPS | NVLink 5 | 按机架计 | 每 GPU 每月 US$7,990 起 |
| NVIDIA Vera Rubin NVL72 | Rubin | 288 GB HBM4 | 19.2 TB/s | 17,500 TFLOPS | 35,000 TFLOPS | NVLink 6 | 按机架计 | 价格面议 |

## 详细对比

- [A100 与 H100 对比：有哪些变化，以及我们为何出租 H100](https://fullgpu.com/zh/compare/a100-vs-h100): A100 与 H100 对比：同为 80 GB 显存，H100 支持 FP8，带宽 3.35 TB/s 对比 2.0 TB/s，并采用 NVLink 4。我们出租 H100，不出租 A100。了解有哪些变化，以及谁还在用 A100。
- [B200 与 B300 对比：Blackwell Ultra 值得升级吗？](https://fullgpu.com/zh/compare/b200-vs-b300): B200 与 B300 对比：HBM3e 显存 180 GB 对比 288 GB，FP4 算力提升，网络 400G 对比 800G。了解各自能装下什么、每 GB 成本，以及什么情况下 B200 就已够用。
- [H100 与 B200 对比：2026年还值得租用 H100 吗？](https://fullgpu.com/zh/compare/h100-vs-b200): H100 与 B200 对比：80 GB 对比 180 GB，3.35 TB/s 对比 8 TB/s，FP4 与 NVLink 5，价格 US$2,190/月对比 US$4,590/月。了解每个任务的成本，以及什么情况下 H100 仍是明智之选。
- [H100 与 H200 对比：Hopper 算力相同，显存差异巨大](https://fullgpu.com/zh/compare/h100-vs-h200): H100 与 H200 对比：Hopper 算力相同，显存与带宽分别为 80 GB、3.35 TB/s 和 141 GB、4.8 TB/s。逐项比较单卡能装下什么、KV 缓存如何估算，以及每月费用。
- [H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？](https://fullgpu.com/zh/compare/h200-vs-b200): H200 与 B200 对比：141 GB 对比 180 GB，4.8 TB/s 对比 8 TB/s，FP4 与 NVLink 5。了解各自能装下什么、每月多花 US$1,500 能换来什么，以及何时 H200 更划算。
- [L40S 与 H100 对比：哪款 GPU 更适合您的工作负载和预算？](https://fullgpu.com/zh/compare/l40s-vs-h100): L40S 与 H100 对比：48 GB GDDR6、带宽 864 GB/s，US$890/月；80 GB HBM3、带宽 3.35 TB/s，US$2,190/月。了解各自能装下哪些模型，以及最适合哪些任务。
- [MI355X 与 B200 对比：显存、软件与成本](https://fullgpu.com/zh/compare/mi355x-vs-b200): MI355X 与 B200 对比：HBM 显存 288 GB 对比 180 GB，ROCm 对比 CUDA 软件栈，4 位精度格式，以及每张 GPU 的月成本。了解哪款 8 卡服务器更适合您的模型和预算。
- [MI355X 与 H200 对比：双倍显存，还是久经考验的软件栈？](https://fullgpu.com/zh/compare/mi355x-vs-h200): MI355X 与 H200 对比：MI355X 每张 GPU 的显存是 H200 的两倍，并原生支持 FP4；H200 则拥有成熟的 Hopper 与 CUDA 软件栈。比较两者各能装下哪些模型、互联方式和每月成本。
- [RTX 5090 与 RTX PRO 6000 对比：32 GB 显存什么时候够用？](https://fullgpu.com/zh/compare/rtx-5090-vs-rtx-pro-6000): RTX 5090 与 RTX PRO 6000 对比：US$449/月的 32 GB 显卡，还是 US$1,390/月、支持 ECC 和 MIG 的 96 GB 专业卡？看清 32 GB 显存究竟何时足以胜任您的工作。
- [RTX PRO 6000 与 H100 对比：要更大的显存，还是更高的带宽？](https://fullgpu.com/zh/compare/rtx-pro-6000-vs-h100): RTX PRO 6000 与 H100 对比：US$1,390/月的 96 GB GDDR7 显存，还是 US$2,190/月、带 NVLink 的 80 GB HBM3 显存？看看哪款更适合 70B 推理或多 GPU 训练。
- [RTX PRO 6000 与 L40S 对比：升级到 96 GB 值得吗？](https://fullgpu.com/zh/compare/rtx-pro-6000-vs-l40s): RTX PRO 6000 与 L40S 对比，涵盖渲染、生成式媒体和推理：96 GB 对比 48 GB，FP4 对比 FP8，US$1,390/月对比 US$890/月。看看您的工作究竟需要哪张卡。
- [按月与按小时 GPU 计费对比：如何算出您的盈亏平衡点](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing): 按月与按小时 GPU 计费对比：给出盈亏平衡公式、一张基于我们实际价格的使用率对照表、按小时账单常会额外增加的各项费用，并说明什么情况下按小时计费更划算。
- [面向 AI 的 RTX 5090 与 RTX 4090 对比：多出的 8 GB 显存能带来什么](https://fullgpu.com/zh/compare/rtx-4090-vs-rtx-5090): 面向 AI 的 RTX 5090 与 RTX 4090 对比：32 GB 对比 24 GB，1.79 TB/s 对比 1,008 GB/s，外加 FP4 支持。本文介绍哪些大语言模型和图像模型装得下，以及租用一张 5090 每月要花多少钱。

## 如何阅读这张 AI GPU 对比表

- **显存:** 每张 GPU 的容量，决定了模型、上下文和批次（batch）大小究竟能不能装下。
- **带宽:** 模型装下之后，显存带宽决定 GPU 生成 token 的速度，因为解码时每生成一个 token 都要读取一遍权重。
- **FP8 和 FP4:** 厂商公布的稠密张量算力，决定训练和提示词处理的速度。Blackwell GPU 和 MI355X 原生支持 FP4。
- **互联:** NVLink 或 Infinity Fabric 让同一台服务器中的 GPU 作为一个显存池协同工作，用于张量并行。
- **价格:** 我们每台服务器的固定月价；每篇对比还附有按每月 730 小时折算的每 GPU 小时价格。

## 不同工作负载适合哪款 GPU

| 工作负载 | 合适之选 | 原因 |
| --- | --- | --- |
| 图像生成与约 14B 以内的模型 | [RTX 5090](https://fullgpu.com/zh/gpus/nvidia-rtx-5090)、[L40S](https://fullgpu.com/zh/gpus/nvidia-l40s) | 32 至 48 GB 显存，月价最低 |
| 30B 至 70B 模型的推理服务 | [RTX PRO 6000](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000)、[H200](https://fullgpu.com/zh/gpus/nvidia-h200) | 单张 GPU 即有 96 至 141 GB 显存 |
| 70B 以内模型的微调与训练 | [HGX H100](https://fullgpu.com/zh/gpus/nvidia-h100)、[HGX H200](https://fullgpu.com/zh/gpus/nvidia-h200) | 8 张 GPU 通过 NVLink 4 互联，软件栈成熟 |
| 超大模型、FP4 与大批次 | [B200](https://fullgpu.com/zh/gpus/nvidia-b200)、[B300](https://fullgpu.com/zh/gpus/nvidia-b300)、[MI355X](https://fullgpu.com/zh/gpus/amd-mi355x) | 每张 GPU 180 至 288 GB 显存，原生支持 FP4 |
| 同一 NVLink 域内超过 8 张 GPU | [GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) | 一个机架内 72 张 GPU |

要核对某个具体模型，[大语言模型 GPU 要求](https://fullgpu.com/zh/models)页面列出了能运行它的每种配置，其他任何模型都可以用[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)估算所需规格。

## 这张对比表是如何制作的

规格数据是 NVIDIA 和 AMD 为每款 GPU 公布的数字：显存容量与带宽、FP8 和 FP4 稠密算力（不计稀疏）、互联方式以及最大功耗。价格是我们当前的月价，与下单页面取自同一份产品目录。每篇详细对比还会补充显存能装下什么、每 GPU 小时价格，以及各款 GPU 分别适合在什么情况下选择。HBM3e、NVLink、FP4 等术语在 [GPU 术语表](https://fullgpu.com/zh/glossary)中有解释。

## GPU 对比常见问题

### 哪款 GPU 最适合大语言模型推理？

显存装得下您的模型、其 KV 缓存和一定余量，且价格最低的那一款。对于 FP8 精度的 70B 模型，单张 H200 即可同时为 8 个 8K 上下文的请求提供服务；较小的模型用 RTX 5090、L40S 或 RTX PRO 6000 就能装下。

### H100 和 H200 有什么区别？

两者都是 Hopper GPU，公布的算力相同。H200 配备 141 GB HBM3e 显存，带宽 4.8 TB/s；H100 则为 80 GB HBM3，带宽 3.35 TB/s。因此 H200 能装下更大的模型和更长的上下文。

### B300 比 B200 更好吗？

B300（Blackwell Ultra）配备 288 GB HBM3e 显存，B200 为 180 GB；在 NVIDIA 公布的规格中，B300 的 FP4 稠密算力也更高。此外，HGX B300 服务器采用 800G 网络。如果您的模型在 180 GB 内装得下，B200 的月价更低。

### 应该按每小时价格比较 GPU 吗？

先按您的工作需要来比较：首先是显存，其次是带宽或算力。在装得下的 GPU 中，再按您的实际用量比较月价；GPU 成本计算器可以换算任何小时报价。