H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？

在 H200 与 B200 之间做选择，意味着跨越一代 GPU。H200 是 Hopper 的大显存版本：141 GB HBM3e，带宽 4.8 TB/s。B200 则属于 Blackwell 架构：180 GB HBM3e，带宽 8 TB/s，原生支持 FP4，采用 NVLink 5；根据 NVIDIA 公布的规格，其 FP8 和 BF16 稠密吞吐量约为 H200 的 2.3 倍。它的价格也更高：每月 US$4,590，而 H200 为 US$3,090。多付的这部分钱是否值得，取决于您的工作负载受什么限制：显存容量、显存带宽，还是算力。

H200 与 B200：简要结论

如果您能让 B200 保持忙碌，就选它：训练、大规模微调、高并发推理服务，或每张 GPU 需要超过 141 GB 显存的模型。按每美元计算，它提供的算力和带宽都比 H200 多。

如果您的模型能装进 141 GB，流量也不会让 Hopper 的算力饱和，就选 H200。它每张 GPU 便宜 US$1,500，每台 8 卡服务器便宜 US$11,000，按每 GB 显存计算也是两者中更便宜的。对于流量适中、以 FP8 精度运行的 70B 级推理，这让它成为更划算的选择。

显存：每张 GPU 能装下什么

B200 每张 GPU 多出 39 GB；每张 GPU 物理上搭载 192 GB HBM3e，NVIDIA 的 HGX B200 开放其中的 180 GB。这部分差额对 BF16 精度的 70B 级模型最为重要，H200 无法用单张 GPU 为这类模型提供推理服务。下表用显存容量减去权重的近似值。剩余显存中，请预留 10–30% 给运行时开销，其余留给 KV 缓存。

在 8 卡服务器上，两代 GPU 都能以 FP8 精度在单台机器内装下超大型开源模型。B200 能为 KV 缓存留出更多空间，这意味着每台服务器可以支持更长的上下文和更多并发请求。训练则更紧张：使用 Adam 对 70B 模型做全参数微调，不计激活值大约需要 1.1–1.4 TB；如果不做卸载，8× H200（1,128 GB）上实际已没有余地，8× B200（1,440 GB）也处于极限边缘。显存计算器可以针对您自己的模型和上下文长度算出这些数字。

算力与精度：FP8、BF16 和 FP4

NVIDIA 标称 H200 的 FP8 稠密算力为 1,979 TFLOPS，BF16 稠密算力为 989 TFLOPS。B200 的对应数字为 4.5 和 2.25 PFLOPS，约为 H200 的 2.3 倍；Blackwell 还新增了 FP4，稠密算力 9 PFLOPS。这些都是厂商公布的峰值数字，无论哪款 GPU，实际任务都只能达到其中一部分；但对于真正受算力限制的工作，这个比例仍是合理的参考：大批次训练、长提示词的预填充（prefill），以及同时为大量用户提供推理服务。两款 GPU 都能借助 NVIDIA 的 Transformer 引擎以 FP8 进行训练和推理；Blackwell 搭载的第二代 Transformer 引擎又增加了 FP4。

与 FP8 相比，FP4 让权重显存再减一半；NVIDIA 为 Blackwell 标称的 FP4 峰值算力是 FP8 的两倍。但这并非没有代价：输出质量取决于模型本身及其量化方式，因此切换之前，请先在您自己的评测集上检查。在 H200 上，您仍可以通过仅权重量化以 4 位存储权重，这能节省显存，但运算仍以更高的精度执行。我们的 FP8 与 FP4 指南介绍了其中的权衡。

带宽与 NVLink：推理服务与多 GPU 扩展

生成 token 时，每一步都要从显存中读取权重和 KV 缓存，因此在中小批大小下，生成速度受带宽限制。B200 的 8 TB/s 比 H200 的 4.8 TB/s 高出 67%。对于交互式推理服务，这是最直接的提升，因为每个用户都在等待解码（decode）；无论您是否使用 FP4，这一提升都同样有效。

在 GPU 之间，NVLink 5 为每张 B200 提供 1.8 TB/s 带宽，而 H200 的 NVLink 4 为 900 GB/s。张量并行在每一层都要交换激活值，因此更快的链路能缩短 8 张 GPU 相互等待的时间。在服务器之间，我们的 HGX B200 和 HGX H200 使用相同的 8 块 400G ConnectX-7 网卡，两台主机也都配备两颗 Xeon 处理器（共 112 核）、2 TB DDR5 内存和 8 块 3.84 TB NVMe 硬盘；区别仅在于 GPU。我们关于 NVLink 与 PCIe 的文章解释了互联链路为何重要。

每月成本，以及 US$1,000 能买到什么

单张 B200 每月 US$4,590，比每月 US$3,090 的 H200 多 US$1,500（49%）。8 卡 HGX B200 每月 US$34,900，HGX H200 为 US$23,900，前者多 US$11,000（46%）。以单卡套餐每月每 US$1,000 的支出折算：

论带宽和算力，B200 更划算；论容量，H200 更划算。来看两个具体例子。流量适中时，FP8 精度的 70B 模型可以装进一张 H200，并为 KV 缓存留出充足空间；如果一张 H200 就跟得上，换成 B200 只是每月多花 US$1,500，买来用不上的余量。反过来，如果您受算力限制，原本需要运行两张 H200（US$6,180），那么一张 B200（US$4,590）提供的厂商标称 FP8 算力比两张 H200 加起来还多（4.5 对比 3.96 PFLOPS），不过总显存（180 对比 282 GB）和带宽（8 对比 9.6 TB/s）更少。

对于训练，要比较的是每次运行的成本，而不是每月成本。HGX B200 的价格约为 HGX H200 的 1.46 倍，而 NVIDIA 标称的稠密算力约为后者的 2.3 倍，带宽之比约为 1.67。两者都高于价格之比，因此，如果您的任务随算力或带宽扩展，一台保持忙碌的 B200 服务器是完成同样工作更便宜的方式。如果 B200 要等待数据加载、受困于小批次，或任务队列空闲，这一优势就不复存在。

软件、库存与如何选择

Hopper 是较老的平台，因此几乎所有框架、内核库和容器都已支持它。Blackwell 需要 CUDA 12.8 或更高版本，以及针对它编译的框架版本。主流框架和推理引擎的当前版本都已支持 Blackwell，但锁定旧版 CUDA 的容器，或为 Hopper 手工调优的内核，可能需要重新构建或移植。我们的镜像包含哪些组件，请参阅 NVIDIA 驱动与 CUDA。两款 GPU 的单卡和 8 卡服务器均有现货。

• 流量适中，模型加 KV 缓存约在 125 GB 以内：H200。
• 每张 GPU 需要约 125 至 160 GB，或运行 BF16 精度的 70B 模型：B200。
• 受算力限制的训练，或能用上额外吞吐量的高负载推理服务：B200。
• 每张 GPU 需要更多显存：请在我们的 B200 与 B300 对比中，将 B200 与配备 288 GB 显存的 B300 进行比较。