B200 与 B300 对比：Blackwell Ultra 值得升级吗？

在 B200 与 B300 之间做选择，需要权衡的差别比看上去要少。两者都是 Blackwell 一代的 GPU，显存带宽约 8 TB/s，NVLink 5 为每张 GPU 提供 1.8 TB/s；根据 NVIDIA 公布的规格，两者的 FP8 稠密算力（4.5 PFLOPS）和 BF16 稠密算力（2.25 PFLOPS）也相同。B300 即 NVIDIA 的 Blackwell Ultra，它改变了三点：HBM3e 显存从 180 GB 增至 288 GB，FP4 稠密算力从 9 PFLOPS 增至 13.5 PFLOPS，并且在我们的 HGX 服务器上，每张 GPU 的网络从 400G 升级到 800G。本页的所有内容都源自这三项差异。

B200 与 B300：简要结论

如果您的工作以 FP8 或 BF16 精度运行，并且每张 GPU 180 GB 显存装得下，B200 能完成同样的任务，每张 GPU 每月便宜 US$600，每台 8 卡服务器每月便宜 US$5,000，而且有现货。当显存不够用、需要以 FP4 提供推理服务，或者跨多台服务器训练、需要服务器之间更快的链路时，B300 才值得多付这笔溢价。

288 GB 对比 180 GB：多出的显存改变了什么

每张 GPU 多出 108 GB 显存，是 B300 的主要优势。下表将大致的显存需求与容量做了对比，未计入运行时开销；您应为这部分开销预留 10–30% 的空间：

更多的显存还能换来更高的并发。在单张 GPU 上以 FP8 精度提供 70B 模型推理服务时，B200 还剩约 110 GB 可用于 KV 缓存，B300 则剩约 218 GB，同时处理中的 token 数约为前者的两倍。对于长上下文推理服务和大批次推理，这可能比任何算力数字都更重要。它还可能改变一个模型所需的 GPU 数量：必须拆分到两张 B200 上的模型，也许一张 B300 就能装下，两张 GPU 之间的通信也就完全省掉了。

算力：FP4 的提升，以及不变的部分

NVIDIA 标称 B300 的 FP4 稠密算力为 13.5 PFLOPS，B200 为 9 PFLOPS，高出 50%。两者的 FP4 稀疏算力都是 18 PFLOPS，FP8 和 BF16 稠密算力则完全相同。实际影响如下：

• 以 FP4 提供推理服务：受算力限制的阶段，例如长提示词的预填充（prefill）和大批次解码（decode），可以受益于更高的 FP4 稠密峰值算力。
• 以 BF16 或 FP8 训练和微调：算力没有差别。B300 只在显存方面有帮助：更大的微批次、更长的序列、每个模型副本所需的 GPU 更少。
• 受带宽限制的解码：两者都约为 8 TB/s，因此在任一 GPU 上读取权重和 KV 缓存的速度都相同。

FP4 在精度和工具链方面也有自己的取舍：质量取决于模型和量化方案，因此请在您自己的评测集上验证。我们的 FP8 与 FP4 详解介绍了这些格式。

哪些工作负载从 B300 中获益最多

• 混合专家（MoE）模型。它们每个 token 只激活一小部分参数，因此每个 token 的计算量不大，但每个专家都必须常驻显存。决定它们需要几张 GPU 的是容量而不是算力，而这恰恰是 B300 的不同之处。
• 长上下文推理服务。KV 缓存随上下文长度和并发量增长；空闲显存翻倍，同时处理中的 token 数也大约翻倍。
• 单张 GPU 上运行多个模型。主模型加上用于推测解码的草稿模型、嵌入模型和重排序模型，在 288 GB 中更容易同时装下。
• 在单个节点上完成大型微调。70B 模型的全参数微调可以装入一台 HGX B300，而不必扩展到第二台服务器。

举个例子：一个约 670B 参数的混合专家模型，以 BF16 精度提供推理服务时，仅权重就需要约 1,340 GB。一台 HGX B300 就能装下，还富余约 960 GB，每月 US$39,900。若用 B200，则需要两台 HGX 服务器，每月 US$69,800，还要加上连接两台服务器的网络。如果您的模型在每张 GPU 180 GB 内装得下，以上这些都不适用，B200 是更划算的选择。

800G 对比 400G：服务器之间的网络

在服务器内部，两种 HGX 平台都通过 NVLink 5 连接 8 张 GPU，每张 GPU 1.8 TB/s，因此单节点任务感受不到差别。服务器之间则不同：我们的 HGX B300 配备 8 块 800G ConnectX-8 网卡，每张 GPU 一块；HGX B200 则是 8 块 400G ConnectX-7。每张 GPU 的网络带宽翻倍，能缩短数据并行训练中梯度交换的耗时，以及跨节点流水线并行和专家并行中数据传输的耗时。主机配置也更高：两颗 Xeon 6776P 处理器（共 128 核）和 4 TB DDR5 内存，而 B200 服务器为两颗 Xeon 8570（共 112 核）和 2 TB 内存。

如果您计划连接多台服务器，请在下单时通过给工程师的备注，申请为这些服务器配置私有网络。如果只用单台服务器，仅凭 800G 网卡并不足以成为选择 B300 的理由。

每月成本、每 GB 成本与库存

单卡 B300 每月 US$5,190，B200 为 US$4,590：多 US$600，即高 13%，换来多 60% 的显存。8 卡 HGX B300 每月 US$39,900，HGX B200 为 US$34,900，多 US$5,000（14%）。按每 GB 显存计算，B300 明显更便宜：单卡套餐每 GB 每月约 US$18.02 对比 US$25.50，8 卡服务器为 US$17.32 对比 US$24.24。按每单位带宽或每单位 FP8 和 BF16 算力计算，则是 B200 更便宜，因为这些指标两者相同，而 B200 价格更低。

除 GPU 外，两种单卡套餐的其他配置也不同：B300 配备 28 个 vCPU、384 GB 内存和 3.5 TB NVMe 存储，B200 配备 26 个 vCPU、256 GB 内存和 2.75 TB NVMe 存储。对于超出单台服务器规模的部署，GB300 NVL72 机架将 72 张 Blackwell Ultra GPU 置于同一个 NVLink 域中，租期为 12–36 个月。

如何选择

1. 估算显存：按您采用的精度计算权重，加上您的上下文长度和并发量所需的 KV 缓存，再加 10–30% 的余量。如果每张 GPU 所需显存低于约 160 GB，B200 就够用。
2. 确认精度：在 FP8 或 BF16 精度下两者算力相同，因此只有在需要更多显存时才值得为 B300 付费。
3. 确认拓扑：单台服务器上，两者都可以；如果多台服务器协同训练，800G 链路会有帮助。
4. 确认时间：B200 有现货；B300 库存有限，部署页面会在付款前显示其承诺交付日期。

交付时间不一定会耽误您。租期按月计算，取消不收任何费用，因此您可以先用今天就有现货的 B200 开始工作，同时按付款前显示的承诺交付日期订购 B300，并在 B200 的已付费月份结束时将其取消。