# H100 与 H200 对比：Hopper 算力相同，显存差异巨大

> H100 与 H200 对比：Hopper 算力相同，显存与带宽分别为 80 GB、3.35 TB/s 和 141 GB、4.8 TB/s。逐项比较单卡能装下什么、KV 缓存如何估算，以及每月费用。

来源：https://fullgpu.com/zh/compare/h100-vs-h200  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

**简而言之：** 如果您的模型及其 KV 缓存在 80 GB 内装得下，H100 能提供同样的算力，每月还便宜 US$900；一旦装不下，H200 在单张 GPU 上提供 141 GB 显存，就成了更划算的选择。

## H100 与 H200 规格对比

| 规格项 | NVIDIA H100 SXM | NVIDIA H200 |
| --- | --- | --- |
| 架构 | Hopper | Hopper |
| 显存 | 80 GB HBM3 | 141 GB HBM3e |
| 显存带宽 | 3.35 TB/s | 4.8 TB/s |
| FP4 | — | — |
| FP8 | 1,979 TFLOPS | 1,979 TFLOPS |
| BF16 / FP16 | 989 TFLOPS | 989 TFLOPS |
| GPU 互联 | NVLink 4 · 900 GB/s | NVLink 4 · 900 GB/s |
| 外形规格 | SXM5 模组 · HGX H100 | SXM 模组 · HGX H200 |
| 最大功耗 | 700 W | 700 W |

## FullGPU 月价

| 配置 | 类型 | 显存 | CPU | 内存 | 存储 | 网络 | 每月价格（美元） | 每 GPU 小时 | 供货情况 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| [NVIDIA H100 SXM](https://fullgpu.com/zh/gpus/nvidia-h100) | 单卡 | 80 GB HBM3 | 24 vCPU | 225 GB | 2 TB NVMe | 25 Gbps | US$2,190 | US$3.00 | 现货，付款后 1 个工作日内交付 |
| [8× NVIDIA HGX H100](https://fullgpu.com/zh/gpus/nvidia-h100) | 8 卡服务器 | 8 × 80 GB HBM3 | 2× Xeon 8480+ · 112 核 | 2 TB DDR5 | 8× 3.84 TB NVMe | 8× 400G ConnectX-7 | US$16,900 | US$2.89 | 现货，付款后 3 个工作日内交付 |
| [NVIDIA H200](https://fullgpu.com/zh/gpus/nvidia-h200) | 单卡 | 141 GB HBM3e | 24 vCPU | 240 GB | 2 TB NVMe | 25 Gbps | US$3,090 | US$4.23 | 现货，付款后 1 个工作日内交付 |
| [8× NVIDIA HGX H200](https://fullgpu.com/zh/gpus/nvidia-h200) | 8 卡服务器 | 8 × 141 GB HBM3e | 2× Xeon 8480+ · 112 核 | 2 TB DDR5 | 8× 3.84 TB NVMe | 8× 400G ConnectX-7 | US$23,900 | US$4.09 | 现货，付款后 3 个工作日内交付 |

每 GPU 小时 = 月价 ÷ GPU 数量 ÷ 730 小时，仅用于与按小时计费的方案对比：所有套餐均按固定月价计费。

## 以下情况选择 H100：

- 您的模型、KV 缓存和批次在 80 GB 内都装得下，并且希望月费最低。
- 您的训练或 LoRA 微调在每张 GPU 80 GB 内装得下，而 H200 的算力与 H100 相同，不会带来额外收益。
- 您为约 30B 参数以内的模型提供推理服务，或以 FP8 运行 70B 模型，提示词较短、用户不多。

## 以下情况选择 H200：

- 您为 70B 级模型提供推理服务，需要为长上下文或大量并发请求留出空间。
- 您的推理受显存带宽限制，此时 4.8 TB/s 胜过 3.35 TB/s。
- 您需要单台 8 卡服务器提供超过 640 GB 显存，例如运行 FP8 精度的 671B 参数模型。

## 概览

**H100 与 H200 对比**这个问题，比大多数 GPU 对比都要简单。两者都是 NVIDIA Hopper GPU，NVIDIA 为它们标称的算力完全相同：BF16 稠密算力 989 TFLOPS，FP8 稠密算力 1,979 TFLOPS。变化在于显存：H200 配备 141 GB HBM3e，带宽 4.8 TB/s；H100 配备 80 GB HBM3，带宽 3.35 TB/s。正确的选择取决于您的模型、KV 缓存和批次需要多少显存，以及您的工作负载是在等待算力还是在等待显存。

## H100 与 H200：简要结论

当所有内容都能装进每张 GPU 的 80 GB 并留有余量时，请选择 [H100](https://fullgpu.com/zh/gpus/nvidia-h100)：LoRA 微调、为约 30B 参数以内的模型提供推理服务，以及已经在多张 GPU 上从容完成分片的训练任务。您能以每月 US$2,190（而不是 US$3,090）获得同样的算力。

当显存成为限制时，请选择 [H200](https://fullgpu.com/zh/gpus/nvidia-h200)：为真实流量提供推理服务的 70B 级模型、长提示词、使用大上下文的检索增强生成（RAG），或大量并发用户。在这些场景中，多出的 61 GB 决定了任务是用一张 GPU 就能运行，还是需要好几张。

## 单张 GPU 能装下什么

权重在 BF16 精度下每个参数约占 2 字节，FP8 为 1 字节，4 位格式为半个字节。在此之上，还要加上随上下文长度和并发量增长的 KV 缓存，以及为激活值和运行时开销预留的 10–30% 余量。下表中的剩余显存只是简单相减的结果，未计入 KV 缓存和开销：

| 模型与精度 | 权重（约值） | H100（80 GB） | H200（141 GB） |
| --- | --- | --- | --- |
| BF16 精度的 8B 模型 | 16 GB | 能装下，剩余约 64 GB | 能装下，剩余约 125 GB |
| BF16 精度的 32B 模型 | 64 GB | 勉强装下，剩余约 16 GB | 能装下，剩余约 77 GB |
| FP8 精度的 70B 模型 | 70 GB | 勉强装下，剩余约 10 GB | 能装下，剩余约 71 GB |
| FP8 精度的 100B 模型 | 100 GB | 装不下 | 能装下，剩余约 41 GB |
| BF16 精度的 70B 模型 | 140 GB | 装不下 | 实际不可行：权重会占满整张卡 |

在 8 卡服务器上，显存总量分别为 640 GB 和 1,128 GB。FP8 精度的 405B 模型（权重约 405 GB）在两者上都装得下，H100 服务器还剩约 235 GB 用于 KV 缓存和开销，H200 服务器则剩约 723 GB。若采用 BF16 精度（约 810 GB），则只有 H200 服务器装得下。[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)可以针对您的具体模型、精度和上下文长度做同样的计算。

## 长上下文与 KV 缓存

权重只是显存开销的一部分。推理过程中，每个活跃对话中的每个 token 都要把自己的键和值保存在显存中。以常见的采用分组查询注意力（GQA）的 70B 模型结构为例（80 层，8 个 KV 头，每个头 128 维）：BF16 精度下，KV 缓存每个 token 约需 0.33 MB，FP8 精度下约需 0.16 MB。

- **单张 H100** 运行 FP8 精度的模型，计入开销后，最多只剩约 5 GB 给 KV 缓存：FP8 精度下约 30,000 个 token，由所有并发请求共享。
- **单张 H200** 约可保留 55–60 GB：FP8 精度下超过 300,000 个 token。

单个 128K token 的上下文需要约 21 GB 的 FP8 KV 缓存，在 H200 上可以与 FP8 权重同时装下，在 H100 上则不行。缓存占满后，推理引擎会让请求排队或抢占请求，因此即使 GPU 仍有富余算力，并发量也会下降。对于 70B 级模型的推理服务，这通常是决定性因素。

## 显存带宽与 token 生成

每生成一个新 token，都要从显存中读取模型权重以及每个请求的 KV 缓存。因此在小到中等批大小下，解码（decode）受显存带宽限制：Tensor Core 在等待 HBM。H200 的带宽为 4.8 TB/s，H100 为 3.35 TB/s，在算力相同的情况下每秒多传输 43% 的字节，因此恰恰在 H100 等待显存的地方，H200 的提升最大。

预填充（prefill）即处理提示词的阶段，主要受算力限制，在这方面两款 GPU 相差无几。以长提示词、短回答为主的工作负载（例如分类或信息抽取）从 H200 获得的收益，不如聊天、智能体或输出较长的代码生成。

## 训练、微调与 8 卡服务器

在训练方面，差距进一步缩小：相同的 Tensor Core，相同的 NVLink 4（每张 GPU 900 GB/s），在我们的产品目录中主机配置也相同。两款 HGX 服务器都配备两颗 Xeon 8480+ 处理器（共 112 核）、2 TB DDR5 内存、8 块 3.84 TB NVMe 硬盘和 8 块 400G ConnectX-7 网卡。如果训练任务在合理的批大小下已经能装入 8× H100，H100 服务器能以每月便宜 US$7,000 的价格完成同样的工作。

微调也遵循同样的逻辑。对 70B 模型做 QLoRA 时，权重以 4 位加载，约 35 GB，因此在单张 H100 上即可运行，还能为激活值留出空间。在 BF16 精度下对同一模型做 LoRA，则需要在显存中保留约 140 GB 的冻结权重，两种 GPU 的单卡都装不下；这类任务请规划使用 8 卡服务器。

在大规模场景下，显存依然重要。使用 Adam 做全参数微调时，不计激活值，每个参数大约需要 16–20 字节，因此 30B 模型约需 480–600 GB：8× H100（640 GB）装得下，但留给激活值的空间很少；8× H200（1,128 GB）则绰绰有余。在推理服务方面，一台 8× H200 服务器就能装下 FP8 精度的 671B 参数混合专家（MoE）模型，即约 671 GB 权重；640 GB 的 H100 显存则装不下。这类模型请参阅我们的 [DeepSeek 硬件要求](https://fullgpu.com/zh/blog/deepseek-hardware-requirements)指南；两款服务器都列在 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)页面中。

## 每月成本与性价比

单张 H200 每月 US$3,090，H100 为 US$2,190：多 US$900，即高 41%。8 卡服务器为 US$23,900 对比 US$16,900，同样高 41%。多付的钱能买到什么：

- **显存:** 容量多 76%，因此 H200 每 GB 的价格更低：每月约 US$21.91 对比 US$27.38。
- **带宽:** 高出 43%，与价格涨幅大致相当：每 TB/s 每月约 US$644 对比 US$654。
- **算力:** 没有任何增加，因此对于受算力限制的任务，H100 每美元能买到更多厂商标称的 FLOPS。

举个例子：FP8 精度的 70B 模型同时处理 30 个 8K token 的对话，需要约 40 GB 的 KV 缓存。单张 H100 一次能容纳其中三四个；单张 H200 能容纳全部 30 个，还有富余。把模型拆分到两台单卡 H100 服务器上并不现实，因为相互独立的服务器之间没有 NVLink，所以 H100 的下一级方案就是一整台每月 US$16,900 的 8 卡服务器。对于这类工作负载，每月 US$3,090 的 H200 显然是更便宜的选择。

## 如何选择

1. 估算权重：参数量 × 您所用精度下每个参数的字节数。
2. 加上 KV 缓存：按最长上下文乘以目标并发量计算。
3. 再加 10–30% 的余量。低于约 70 GB，从 H100 开始；在 70 到 125 GB 之间，选择 H200；超过这个范围，请参阅我们的 [H200 与 B200 对比](https://fullgpu.com/zh/compare/h200-vs-b200)。

两款 GPU 运行相同的 CUDA 构建版本，因此在两者之间迁移无需修改代码；我们的 Ubuntu 镜像也预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。两款 GPU 的单卡和 8 卡服务器均有现货，每个订单都会在付款前显示承诺交付日期。如需为生产环境部署规划规模，请参阅[在独享 GPU 上运行推理](https://fullgpu.com/zh/solutions/inference)。

## 常见问题

### H200 比 H100 快吗？

对于训练和提示词处理等受算力限制的工作，NVIDIA 为两者标称的 FP8 和 BF16 数据相同，因此结果应该相近。对于受显存带宽限制的推理，H200 凭借 4.8 TB/s 的带宽和更大的 KV 缓存，能同时处理更多请求。

### 70B 模型能在单张 H100 上运行吗？

在 FP8 精度下，权重约占 70 GB，因此能装入一张 80 GB 的 H100，但留给 KV 缓存的只有几 GB。这对短提示词和少数用户来说可行；对于长上下文或真实流量，一张 H200 是更实际的选择。

### H200 每月贵多少？

单卡每月 US$3,090 对比 US$2,190，8 卡 HGX 服务器每月 US$23,900 对比 US$16,900，两种情况下都约高 41%。按每 GB 显存计算，H200 是两者中更便宜的。

### H200 需要不同的软件吗？

不需要。两者都是 Hopper GPU，CUDA 计算能力（compute capability）相同，因此同样的容器、驱动和推理引擎在两者上都能运行。

### FullGPU 的 GPU 会与其他客户共享吗？

不会。我们出租的每张 GPU 都是只分配给一位客户的完整物理 GPU，没有 vGPU 切分、MIG 分区或分时共享。单卡套餐是整卡直通的独享虚拟机，8 卡服务器则是裸金属服务器。

## 相关页面

- [租用 NVIDIA H100 SXM 服务器，每月 US$2,190 起](https://fullgpu.com/zh/gpus/nvidia-h100): 租用独享 NVIDIA H100 SXM：单卡 US$2,190/月（全天候满载约合每 GPU 小时 US$3.00），8 卡 HGX H100 US$16,900/月。固定月价，承诺交付日期，支持加密货币支付。
- [租用 NVIDIA H200 与 HGX H200 服务器，每月 US$3,090 起](https://fullgpu.com/zh/gpus/nvidia-h200): 租用独享 NVIDIA H200（141 GB）：单卡 US$3,090/月（全天候满载约合每 GPU 小时 US$4.23），8 卡 HGX H200 US$23,900/月。固定月价，使用加密货币支付。
- [H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？](https://fullgpu.com/zh/compare/h200-vs-b200): H200 与 B200 对比：141 GB 对比 180 GB，4.8 TB/s 对比 8 TB/s，FP4 与 NVLink 5。了解各自能装下什么、每月多花 US$1,500 能换来什么，以及何时 H200 更划算。
- [H100 与 B200 对比：2026年还值得租用 H100 吗？](https://fullgpu.com/zh/compare/h100-vs-b200): H100 与 B200 对比：80 GB 对比 180 GB，3.35 TB/s 对比 8 TB/s，FP4 与 NVLink 5，价格 US$2,190/月对比 US$4,590/月。了解每个任务的成本，以及什么情况下 H100 仍是明智之选。
- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。
- [大模型推理 GPU 服务器：7×24 小时运行，价格固定](https://fullgpu.com/zh/solutions/inference): 大模型推理 GPU 服务器，可运行 vLLM、SGLang 或 TensorRT-LLM：本文介绍 KV 缓存估算以及 FP8 与 FP4 的选择，价格含每月 20–50 TB 流量。查看完整的选型计算。