RTX PRO 6000 与 H100 对比：要更大的显存，还是更高的带宽？

RTX PRO 6000 与 H100 的对比有些不寻常：较新的那张卡更便宜、显存也更大，而较老的那张显存带宽却是它的两倍多。NVIDIA 的 RTX PRO 6000 Blackwell Server Edition 配备 96 GB GDDR7 显存，带宽约 1.6 TB/s。H100 SXM 配备 80 GB HBM3 显存，带宽 3.35 TB/s，并通过 NVLink 与相邻的 GPU 互联。我们出租的 RTX PRO 6000 每月 US$1,390，H100 每月 US$2,190。

RTX PRO 6000 与 H100：简要结论

对于单卡推理，尤其是 FP8 或 4 位精度的 70B 级模型，RTX PRO 6000 通常更值得选：能为权重和 KV 缓存留出更多空间，每月还便宜 US$800。对于训练、全参数微调以及任何需要拆分到多张 GPU 上的工作，请选择 H100。它的 HBM3、NVLink 和 Hopper 架构设计正是为这类工作打造的，而 RTX PRO 6000 没有 NVLink。

显存：96 GB 能为 70B 级模型推理带来什么

70B 模型在 FP8 精度下约占 70 GB，在 4 位格式下约占 35 GB，因此两种精度在两张卡上都装得下。区别在于还剩多少空间留给 KV 缓存，而 KV 缓存会随上下文中的每个 token 和每个并发请求不断增长。

采用分组查询注意力时（80 层、8 个 KV 头，与 Llama 3 70B 相同），FP8 KV 缓存每个 token 约占 0.16 MB。装入 FP8 权重后，H100 剩余的 10 GB 在所有请求之间合计大约能容纳 60,000 个 token 的上下文，而且其中一部分还会被运行时开销占去。RTX PRO 6000 剩余的 26 GB 大约能容纳 160,000 个：足以容纳一个完整的 128k token 上下文，或许多较短的对话。如果采用 4 位权重，两张卡都有充足空间，差距也就没那么重要了。

对于 BF16 精度的 70B 模型，单靠其中任何一张卡都不够。您需要两张通过 NVLink 互联的 GPU（例如在我们的 8 卡 HGX H100 服务器中），或一张配备 180 GB 显存的 NVIDIA B200。我们的大语言模型推理最佳 GPU 选型指南介绍了更多选择。

带宽与算力：H100 领先之处

根据 NVIDIA 公布的规格，H100 的 HBM3 带宽为 3.35 TB/s，RTX PRO 6000 的 GDDR7 约为 1.6 TB/s。生成 token 时，每一步都要从显存中流式读取权重和 KV 缓存，因此当模型在两张卡上都装得下时，H100 的读取速度约为 RTX PRO 6000 的 2.1 倍。对于 80 GB 装得下的模型，如果推理服务对延迟敏感，这就是实打实的优势。

厂商公布的算力数据也指向同一结论。NVIDIA 给出的 H100 FP8 稠密算力为 1,979 TFLOPS，稀疏算力为 3,958 TFLOPS；RTX PRO 6000 的 FP8 稀疏算力为 2 PFLOPS。按稀疏算力计算，H100 约为 RTX PRO 6000 的两倍。大批次（batch）推理服务和长提示词的预填充（prefill）都依赖算力，因此这既影响延迟，也影响吞吐量。

RTX PRO 6000 的应对之道是 FP4。Blackwell 的 Tensor Core 支持 FP4，NVIDIA 给出这张卡的 FP4 稀疏算力为 4 PFLOPS，与 H100 的 FP8 稀疏算力大致相当。Hopper 支持的最低精度浮点格式是 FP8；在 H100 上，AWQ 或 GPTQ 等 4 位格式可以减少显存占用，但计算仍以更高的精度进行。如果您的模型在 FP4 下能保持准确度，纸面上的算力差距就会大幅缩小。我们的 FP8 与 FP4 详解介绍了准确度方面的情况。

NVLink、多 GPU 扩展与训练

这是 H100 的主场。在我们的 HGX H100 服务器中，每张 GPU 通过 NVLink 交换机获得 900 GB/s 的 NVLink 4 带宽。张量并行、FSDP 以及其他分片训练方法会持续交换梯度、参数和激活值，这些流量都在 NVLink 上传输。RTX PRO 6000 没有 NVLink：我们的 8× RTX PRO 6000 服务器中，GPU 之间通过 PCIe Gen5 通信，带宽只有 NVLink 的一小部分。

训练所需的显存增长得很快。使用 Adam 优化器做全参数微调时，不计激活值，每个参数大约需要 16–20 字节：7B 模型约需 112–140 GB，70B 模型则远超 1 TB。这属于多 GPU 工作，应当放在 8× H100 这类通过 NVLink 互联的 GPU 上运行。适配器方法所需的显存则少得多。对 70B 模型做 QLoRA 时，4 位权重约 35 GB，再加上适配器和激活值，两种卡单张都能装下，而 RTX PRO 6000 多出的 16 GB 可以换来更长的序列或更大的批次。我们的微调页面逐一介绍了可选方案。

跨服务器时，差距会进一步拉大。HGX H100 配备 8 块 400G ConnectX-7 网卡，每张 GPU 一块；8× RTX PRO 6000 服务器则配备 2× 100 GbE 网络。关于多节点工作，请参阅大语言模型训练：H100 平台正是为此打造的。

每月成本与性价比

单张 RTX PRO 6000 每月 US$1,390，约合每 GPU 小时 US$1.90；单张 H100 每月 US$2,190，约合 US$3.00。按每 GB 显存计算，分别约为每月 US$14.48 和 US$27.38：RTX PRO 6000 每 GB 的价格大约只有 H100 的一半。

按整台服务器计算，8× RTX PRO 6000 每月 US$10,490，提供 768 GB 显存。HGX H100 每月 US$16,900，提供 640 GB 显存，并配有 NVLink 和 3.2 Tb/s 的网络带宽。如果您要部署许多相互独立的模型副本，RTX PRO 6000 服务器能装下更多，每月还便宜 US$6,410。如果您要在全部 8 张 GPU 上训练同一个模型，您花钱买的正是 H100 的互联能力。可以用 GPU 成本计算器比较各种计费条件。

举个例子：部署 FP8 精度的 70B 模型推理服务。在 8× RTX PRO 6000 上，每张 GPU 各自装下一份模型，还剩约 26 GB 留给 KV 缓存，因此您可以运行 8 个相互独立的副本，GPU 之间没有任何通信流量。在 HGX H100 上，每张 GPU 装一份副本后只剩约 10 GB 留给 KV 缓存，因此您更可能通过 NVLink 将 GPU 两两配对，运行 4 个副本，每个副本约有 90 GB 余量。

如何选择

1. 单张 GPU、FP8 或 4 位精度的 70B 级模型、大量用户或长上下文：RTX PRO 6000。
2. 单张 GPU、装进 80 GB 后仍有余量的模型、追求最低的单请求延迟：H100。
3. 跨多张 GPU 训练或做全参数微调：配备 NVLink 的 8× H100。
4. 大量相互独立的副本、渲染或生成式媒体：8× RTX PRO 6000。

如果您希望在单张 GPU 上兼顾容量和带宽，可以再往上看一级：H200 配备 141 GB HBM3e 显存，带宽 4.8 TB/s，每月 US$3,090；请参阅 H100 与 H200 对比。

两者都运行 CUDA，我们的 Ubuntu 镜像也预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。只要您的构建版本支持 Blackwell（需要 CUDA 12.8 或更高版本），在两者之间迁移就只是规格选型的问题，而不涉及代码移植。