H100 与 B200 对比：2026年还值得租用 H100 吗？

H100 与 B200 对比跨越了整整一代 GPU。B200 配备 180 GB HBM3e 显存，H100 为 80 GB HBM3；带宽 8 TB/s 对比 3.35 TB/s；NVIDIA 标称的 FP8 和 BF16 稠密算力约为 H100 的 2.3 倍；还原生支持 FP4，并采用 NVLink 5。价格方面，B200 每月 US$4,590，H100 为 US$2,190。2026年真正需要考虑的问题，不是哪款 GPU 更好，而是您的工作能否用上 B200 新增的能力。

H100 与 B200：简要结论

当 H100 成为瓶颈时，请选择 B200：模型超过 80 GB、长上下文、高并发推理服务，或者值得为提前完成而多付钱的训练任务。当您的工作在 80 GB 内装得下、单张 GPU 也跟得上时，请选择 H100。一张半闲置的 B200，比一张被充分利用的 H100 花费更多。

用数字看代际跨越

显存、带宽和算力的倍数都略高于价格的倍数，因此按每美元计算，B200 在这几方面都略多一些，还多了 FP4。但这种优势只有在您用得上时才存在。如果您的工作负载只需要 40 GB 显存，流量峰值也只是中等水平，多出来的容量就会闲置，用 H100 完成工作更便宜。

显存：单张 GPU 能装下什么

按粗略估算，权重每个参数在 BF16 精度下约占 2 字节，FP8 为 1 字节，FP4 为 0.5 字节，再为运行时开销预留 10–30% 的余量：

• BF16 精度、约 30B 参数以内：H100 就能胜任，并为 KV 缓存留有空间。
• FP8 精度的 70B 模型，约 70 GB：能装入 H100，但只剩几 GB 留给 KV 缓存，这意味着只能处理短提示词和少量用户。一张 B200 则能为 KV 缓存留出约 110 GB。
• BF16 精度的 70B 模型，约 140 GB：一张 B200 即可，还富余约 40 GB。在 H100 上则需要多张 GPU，在我们的产品目录中，这意味着一台 8 卡服务器。
• 超大模型：8× H100 提供 640 GB，8× B200 提供 1,440 GB。FP8 精度的 671B 混合专家（MoE）模型能装入 B200 服务器，却装不进 H100 服务器。
• 全参数微调：使用 Adam 时，不计激活值，每个参数大约需要 16–20 字节。30B 模型约需 480–600 GB，8× H100 只能勉强装下；70B 模型约需 1.1–1.4 TB，超出了 8× H100 的能力范围，也已逼近 8× B200 的极限。

如果您需要超过 80 GB 的显存，但用不着 Blackwell 的算力，配备 141 GB 显存的 H200 正好介于两者之间；请参阅我们的 H100 与 H200 对比。

FP4 与 NVLink 5：H100 所缺少的

H100 带来了 FP8 Tensor Core 和 NVIDIA 的 Transformer 引擎。B200 保留了 FP8，并新增 FP4：权重显存再减一半；根据 NVIDIA 的数据，在同一张 GPU 上，FP4 的稠密峰值算力是 FP8 的两倍。FP4 精度的 70B 模型，权重约为 35 GB。FP4 需要细致的量化，并在您自己的评测中检查精度；我们的 FP8 与 FP4 指南介绍了这些格式。在 H100 上，您仍可以通过仅权重量化加载 4 位权重来节省显存，但运算会以更高的精度执行。

对于多 GPU 工作，NVLink 5 将每张 GPU 的链路带宽翻倍至 1.8 TB/s。张量并行推理和训练在每一层都要在 GPU 之间交换数据，因此在 B200 服务器上，每次交换耗时更短。在服务器之间，我们的这两款 8 卡服务器都使用 8 块 400G ConnectX-7 网卡。

2026年 H100 还值得选择吗？

值得，对相当大一部分实际工作而言都是如此。H100 支持 FP8，所有主流框架和推理引擎都能在它上面运行，80 GB 显存足以覆盖 BF16 精度下约 30B 参数以内的大多数模型。根据 FullGPU 于 2026年10月对公开价目表的调研，过去一年按需价格（每 GPU 小时）的中位数，H100 上涨了约 13%，B200 上涨了约 20%：市场对 Hopper 的需求并未消退。在以下注重成本的场景中，H100 仍是正确的选择：

• LoRA 和 QLoRA 微调，包括 4 位精度的 70B 模型，这类任务的显存需求不大。请参阅在独享 GPU 上做微调。
• 为中小模型提供推理服务，流量稳定，单张 H100 即可承接。
• 开发、评测和 CI，在这些场景中，B200 在两次运行之间会处于闲置状态。
• 预算固定的科研工作，每月总支出是限制因素。

在软件适配方面，H100 也更省心。CUDA、PyTorch 和主流推理引擎支持 Hopper 已有多年，而 Blackwell 需要 CUDA 12.8 或更高版本，以及针对它编译的框架版本。当前版本对两者都已支持，但锁定了版本的旧容器在 B200 上运行之前，可能需要重新构建。

每月成本与每个任务的成本

每月差价为每张 GPU US$2,400，每台 8 卡服务器 US$18,000。按整月 730 小时折算成每 GPU 小时，单卡为 US$6.29 对比 US$3.00，8 卡服务器为 US$5.98 对比 US$2.89。

对于推理，问题往往在于一个模型需要几张 GPU。以常见的采用分组查询注意力（GQA）的 70B 模型结构为例，FP8 精度的 70B 模型同时服务 30 个 8K token 的对话，除约 70 GB 权重外，还需要约 40 GB 的 FP8 KV 缓存。这远远超出单张 H100 的容量，而每月 US$4,590 的单张 B200 则能从容应对。若走 H100 路线，就需要一台每月 US$16,900 的 8 卡服务器；如果 Hopper 的算力跟得上您的流量，每月 US$3,090 的 H200 是更便宜的选择。

对于训练，要比较的是每次运行的成本，而不是每月成本。假设一个任务能让一台 8× H100 服务器满负荷运转一整个月。如果它能按 NVIDIA 标称的稠密算力之比（约 2.3）完美扩展，一台 8× B200 服务器约 13 天就能完成；若有源源不断的同类任务排队，在 B200 上每次运行的成本约为 US$15,300，而在 H100 上为 US$16,900。实际任务很难完美扩展：如果提速比为 2，每次运行的成本为 US$17,450，略高于 H100。盈亏平衡点就是价格之比，8 卡服务器约为 2.07。如果在您的任务上，一台 B200 服务器完成的工作量超过一台 H100 服务器的 2.07 倍，它就是更便宜的方案；如果达不到，或者您只需运行一次，则 H100 胜出。显存也可能改变天平：如果每张 GPU 180 GB 的显存让您可以不再使用张量并行或卸载，B200 的收益可能超过算力之比。

GPU 成本计算器可以针对您的情况算出这些数字。