机架级 GPU 系统：GB300 NVL72 与 Vera Rubin NVL72

机架级 GPU 系统把整个机架变成一个 NVLink 域。在 NVIDIA GB300 NVL72 中，72 张 Blackwell Ultra GPU 和 36 颗 Grace CPU 相互连接，张量并行、专家并行和流水线并行的流量都可以在全部 72 张 GPU 之间经由 NVLink 传输，而不必跨越网络。我们出租 GB300 NVL72，租期 12 至 36 个月；Vera Rubin NVL72 也已开放预订。

72 卡 NVLink 域如何运作

在 8 卡 HGX 服务器中，NVLink 连接的是 8 张 GPU。超出这 8 张的通信都要经过集群网络，而集群网络为每张 GPU 提供的带宽远低于 NVLink。大型训练和推理服务任务通常围绕这条边界来规划：服务器内部用张量并行，服务器之间用数据并行或流水线并行。

NVL72 把这条边界推到了 72 张 GPU。NVIDIA 公布的机架 NVLink 总带宽为 130 TB/s。每张 GPU 依然配备 288 GB HBM3e，带宽约 8 TB/s，整个机架合计约 20 TB HBM3e；36 颗 Grace CPU 另外提供 17 TB LPDDR5X 内存。NVIDIA 公布的厂商数据还显示，NVL72 中每张 GPU 的 FP8 稠密算力为 5 PFLOPS，而 HGX 服务器中的 B300 为 4.5 PFLOPS。

机架采用液冷。如此高密度的散热需要数据中心设施层面的支持，而这正是您租用、而不必自建的部分。完整的厂商规格请参阅我们的 GB300 NVL72 页面。

GB300 NVL72 租用：租期与价格

GB300 NVL72 每 GPU 每月 US$7,990 起。按这一起步价计算，72 张 GPU 的整个机架每月为 US$575,280。租期为 12 至 36 个月，这一点与我们可以按月租用的服务器不同。在您付款之前，我们的团队会在您的控制台中确认每套系统的配置、价格、部署地点和交付时间窗口。

12 个月的最短期限适合持续进行的工作计划，例如先完成一轮预训练，再进行后训练和评测。如果您不确定自己的工作负载是否需要 72 卡 NVLink 域，请先阅读下文的对比，或者先按月租用一台 HGX B300 服务器。

Vera Rubin NVL72 预订

Vera Rubin NVL72 是 NVIDIA 下一代机架级系统：一个液冷机架中有 72 张 Rubin GPU（每张配备 288 GB HBM4）、36 颗 Vera CPU 和 NVLink 6。2026年底供货有限，现已开放预订。目前还没有公开标价：价格会随您的预订确认一并给出。请在预订申请的备注中写明您需要的规模、需要的日期以及您考虑的租期，我们会就能够交付的内容给您答复。提交申请时不收取任何费用，交付时间窗口会在您付款前以书面形式确认。

选择机架级 GPU 系统，还是多台 HGX 服务器？

72 张 B300 GPU 也可以是 9 台 HGX B300 服务器。正确的选择取决于您的模型需要拆分到什么程度。

当张量并行或专家并行必须用到超过 8 张 GPU 时，请选择 NVL72：例如超大型混合专家（MoE）模型，否则它们的 all-to-all 流量就要经过网络；又如权重和 KV 缓存超出一台 8 卡服务器容量的推理服务部署。当您的并行方式在 8 张 GPU 内即可完成、其余部分交给数据并行处理时，请选择 HGX 服务器。这样您可以保留按月租用的灵活性，按 GPU 计成本也更低，我们还可以通过私有网络连接这些服务器。

机架级订单的流程

1. 在部署页面提交预订申请，可在同一表单中免费创建账户或登录，并在备注中说明工作负载、规模、起始日期和租期。提交申请时不收取任何费用。
2. 我们的工程师根据您的申请确定系统方案：配置、部署地点，以及我们能够承诺的最早交付时间窗口。
3. 根据我们的客户身份验证政策，机架级订单可能需要进行身份验证。我们会明确告诉您需要提供什么，以及原因。
4. 在您付款之前，我们会在您的控制台中并通过电子邮件，以书面形式确认配置、价格、部署地点和交付时间窗口。如果我们未能在该时间窗口内交付，您可以在控制台取消订单，全额退款至余额。

如果您能提供以下信息，方案确定得会更快：

• 模型规模、精度，以及您计划采用的并行布局，例如张量并行、专家并行和流水线并行各自的规模；
• 您需要导入多少数据，以及检查点应复制到哪里；
• 您的软件栈。Grace 是 Arm 架构的 CPU，因此容器和 Python 依赖需要 arm64 版本。在确定租期之前，请先检查您的自定义软件包。

在整个租期内，工程师均提供 7×24 小时支持。