H100 与 H200 对比：Hopper 算力相同，显存差异巨大

H100 与 H200 对比这个问题，比大多数 GPU 对比都要简单。两者都是 NVIDIA Hopper GPU，NVIDIA 为它们标称的算力完全相同：BF16 稠密算力 989 TFLOPS，FP8 稠密算力 1,979 TFLOPS。变化在于显存：H200 配备 141 GB HBM3e，带宽 4.8 TB/s；H100 配备 80 GB HBM3，带宽 3.35 TB/s。正确的选择取决于您的模型、KV 缓存和批次需要多少显存，以及您的工作负载是在等待算力还是在等待显存。

H100 与 H200：简要结论

当所有内容都能装进每张 GPU 的 80 GB 并留有余量时，请选择 H100：LoRA 微调、为约 30B 参数以内的模型提供推理服务，以及已经在多张 GPU 上从容完成分片的训练任务。您能以每月 US$2,190（而不是 US$3,090）获得同样的算力。

当显存成为限制时，请选择 H200：为真实流量提供推理服务的 70B 级模型、长提示词、使用大上下文的检索增强生成（RAG），或大量并发用户。在这些场景中，多出的 61 GB 决定了任务是用一张 GPU 就能运行，还是需要好几张。

单张 GPU 能装下什么

权重在 BF16 精度下每个参数约占 2 字节，FP8 为 1 字节，4 位格式为半个字节。在此之上，还要加上随上下文长度和并发量增长的 KV 缓存，以及为激活值和运行时开销预留的 10–30% 余量。下表中的剩余显存只是简单相减的结果，未计入 KV 缓存和开销：

在 8 卡服务器上，显存总量分别为 640 GB 和 1,128 GB。FP8 精度的 405B 模型（权重约 405 GB）在两者上都装得下，H100 服务器还剩约 235 GB 用于 KV 缓存和开销，H200 服务器则剩约 723 GB。若采用 BF16 精度（约 810 GB），则只有 H200 服务器装得下。显存计算器可以针对您的具体模型、精度和上下文长度做同样的计算。

长上下文与 KV 缓存

权重只是显存开销的一部分。推理过程中，每个活跃对话中的每个 token 都要把自己的键和值保存在显存中。以常见的采用分组查询注意力（GQA）的 70B 模型结构为例（80 层，8 个 KV 头，每个头 128 维）：BF16 精度下，KV 缓存每个 token 约需 0.33 MB，FP8 精度下约需 0.16 MB。

• 单张 H100 运行 FP8 精度的模型，计入开销后，最多只剩约 5 GB 给 KV 缓存：FP8 精度下约 30,000 个 token，由所有并发请求共享。
• 单张 H200 约可保留 55–60 GB：FP8 精度下超过 300,000 个 token。

单个 128K token 的上下文需要约 21 GB 的 FP8 KV 缓存，在 H200 上可以与 FP8 权重同时装下，在 H100 上则不行。缓存占满后，推理引擎会让请求排队或抢占请求，因此即使 GPU 仍有富余算力，并发量也会下降。对于 70B 级模型的推理服务，这通常是决定性因素。

显存带宽与 token 生成

每生成一个新 token，都要从显存中读取模型权重以及每个请求的 KV 缓存。因此在小到中等批大小下，解码（decode）受显存带宽限制：Tensor Core 在等待 HBM。H200 的带宽为 4.8 TB/s，H100 为 3.35 TB/s，在算力相同的情况下每秒多传输 43% 的字节，因此恰恰在 H100 等待显存的地方，H200 的提升最大。

预填充（prefill）即处理提示词的阶段，主要受算力限制，在这方面两款 GPU 相差无几。以长提示词、短回答为主的工作负载（例如分类或信息抽取）从 H200 获得的收益，不如聊天、智能体或输出较长的代码生成。

训练、微调与 8 卡服务器

在训练方面，差距进一步缩小：相同的 Tensor Core，相同的 NVLink 4（每张 GPU 900 GB/s），在我们的产品目录中主机配置也相同。两款 HGX 服务器都配备两颗 Xeon 8480+ 处理器（共 112 核）、2 TB DDR5 内存、8 块 3.84 TB NVMe 硬盘和 8 块 400G ConnectX-7 网卡。如果训练任务在合理的批大小下已经能装入 8× H100，H100 服务器能以每月便宜 US$7,000 的价格完成同样的工作。

微调也遵循同样的逻辑。对 70B 模型做 QLoRA 时，权重以 4 位加载，约 35 GB，因此在单张 H100 上即可运行，还能为激活值留出空间。在 BF16 精度下对同一模型做 LoRA，则需要在显存中保留约 140 GB 的冻结权重，两种 GPU 的单卡都装不下；这类任务请规划使用 8 卡服务器。

在大规模场景下，显存依然重要。使用 Adam 做全参数微调时，不计激活值，每个参数大约需要 16–20 字节，因此 30B 模型约需 480–600 GB：8× H100（640 GB）装得下，但留给激活值的空间很少；8× H200（1,128 GB）则绰绰有余。在推理服务方面，一台 8× H200 服务器就能装下 FP8 精度的 671B 参数混合专家（MoE）模型，即约 671 GB 权重；640 GB 的 H100 显存则装不下。这类模型请参阅我们的 DeepSeek 硬件要求指南；两款服务器都列在 8 卡服务器页面中。

每月成本与性价比

单张 H200 每月 US$3,090，H100 为 US$2,190：多 US$900，即高 41%。8 卡服务器为 US$23,900 对比 US$16,900，同样高 41%。多付的钱能买到什么：

• 显存 容量多 76%，因此 H200 每 GB 的价格更低：每月约 US$21.91 对比 US$27.38。
• 带宽 高出 43%，与价格涨幅大致相当：每 TB/s 每月约 US$644 对比 US$654。
• 算力 没有任何增加，因此对于受算力限制的任务，H100 每美元能买到更多厂商标称的 FLOPS。

举个例子：FP8 精度的 70B 模型同时处理 30 个 8K token 的对话，需要约 40 GB 的 KV 缓存。单张 H100 一次能容纳其中三四个；单张 H200 能容纳全部 30 个，还有富余。把模型拆分到两台单卡 H100 服务器上并不现实，因为相互独立的服务器之间没有 NVLink，所以 H100 的下一级方案就是一整台每月 US$16,900 的 8 卡服务器。对于这类工作负载，每月 US$3,090 的 H200 显然是更便宜的选择。

如何选择

1. 估算权重：参数量 × 您所用精度下每个参数的字节数。
2. 加上 KV 缓存：按最长上下文乘以目标并发量计算。
3. 再加 10–30% 的余量。低于约 70 GB，从 H100 开始；在 70 到 125 GB 之间，选择 H200；超过这个范围，请参阅我们的 H200 与 B200 对比。

两款 GPU 运行相同的 CUDA 构建版本，因此在两者之间迁移无需修改代码；我们的 Ubuntu 镜像也预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。两款 GPU 的单卡和 8 卡服务器均有现货，每个订单都会在付款前显示承诺交付日期。如需为生产环境部署规划规模，请参阅在独享 GPU 上运行推理。