8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct

FullGPU 的 8 卡 GPU 服务器租用，为您提供一整台物理机器：8 张完整的 GPU、两颗服务器级 CPU、1.5 至 4 TB 系统内存和本地 NVMe 存储，没有虚拟化层（hypervisor），也没有其他租户。您可以选择 NVIDIA HGX B300、B200、H200 或 H100，AMD Instinct MI355X，或配备 8 张 RTX PRO 6000 Blackwell 显卡、适合 PCIe 互联工作负载的服务器，每种配置均为固定月价。

8 卡 GPU 服务器租用：您能获得什么

裸金属 8 卡服务器直接在硬件上运行您的操作系统。您可以通过 SSH 获得 root 权限，使用每一个 CPU 核心、全部 8 张 GPU 和所有本地硬盘。在我们的可接受使用政策允许的范围内，您可以调优内核、把数据加载进程绑定到正确的 NUMA 节点、更换驱动分支，或运行您自己的容器运行时。

NVIDIA 服务器交付时预装 Ubuntu 22.04 或 24.04，以及 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。MI355X 服务器使用 ROCm 镜像。每台服务器的电力、网络和硬件都享有 99.9% 月度可用性 SLA（服务等级协议）；如果我们未能达标，您将获得服务赔偿额度。

六种配置对比

按每月 730 小时计算，HGX B300 约合每 GPU 小时 US$6.83，HGX H200 约合 US$4.09，RTX PRO 6000 服务器约合 US$1.80。

NVLink 域，以及何时 PCIe 就已足够

在 HGX 基板上，全部 8 张 GPU 共享同一个 NVLink 域。张量并行分片之间的流量、梯度 all-reduce，以及混合专家（MoE）模型中的专家路由，都经由 NVLink 传输，而不经过 PCIe 或网络。根据 NVIDIA 公布的规格，NVLink 5 为每张 B300 和 B200 GPU 提供 1.8 TB/s 带宽，NVLink 4 为每张 H200 和 H100 提供 900 GB/s。AMD 标称每张 MI355X GPU 配有 7 条 153.6 GB/s 的 Infinity Fabric 链路。交付后，运行一次 NCCL all-reduce 测试即可确认链路表现符合预期；我们的多 GPU 与 NCCL 指南介绍了具体的运行方法。

8× RTX PRO 6000 服务器则不同：它的 GPU 之间通过 PCIe Gen5 通信，没有 NVLink。这适合每张 GPU 各自独立运行的工作，例如每张 GPU 运行一个模型副本来提供推理服务、渲染或批处理任务。对于 GPU 之间每一步都要交换数据的张量并行训练，它就不那么合适了。我们的 NVLink 与 PCIe 对比指南更详细地解释了其中的取舍。

何时选择 8 张 GPU

• 模型单卡装不下。一个 405B 参数的模型，仅 BF16 权重就需要约 810 GB。拥有 1,128 GB 显存的 HGX H200 可以装下它，还能为 KV 缓存留出空间。只有 640 GB 的 HGX H100 则装不下，不过它可以装下 FP8 精度的同一模型，约 405 GB。
• 大模型全参数微调。使用 Adam 优化器时，不计激活值，每个参数大约需要 16–20 字节。对于 70B 模型，这约为 1.1–1.4 TB，HGX B300 或 MI355X 服务器的 2,304 GB 显存可以容纳，还能为激活值留出空间。
• 单机吞吐量。数据并行训练或多个推理副本，由本地 NVMe 和最高 4 TB 内存供给数据。
• 每张 GPU 的成本。一台 HGX H200 服务器每月 US$23,900，而 8 个单卡 H200 套餐每月合计 US$24,720。

如果一张 GPU 就够用，单卡服务器的费用更低。如果一台服务器不够用，可以通过私有网络连接多台服务器，或者选择 GB300 NVL72 机架，获得一个包含 72 张 GPU 的 NVLink 域。

HGX 服务器租用：存储、流量与订购

HGX 和 MI355X 服务器配备 8 块 3.84 TB NVMe 硬盘，原始容量约 30.7 TB；RTX PRO 6000 服务器配备 4 块。除非另有书面约定，我们不备份本地存储，因此请把不能丢失的检查点另存一份到别处。入站流量不计入额度，因此把数据集和模型权重拉取到服务器上，不会占用您每月 50 TB 的流量额度。

订购流程与 FullGPU 的其他订单相同：在部署页面选择服务器，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），免费创建账户或登录，然后用余额支付首月费用。承诺交付日期会在您付款前显示，自付款时起按工作日计算：现货 8 卡服务器为 3 个工作日，库存有限时为 7 个工作日。每次充值金额为 US$100 至 US$10,000，因此为较大的服务器支付首月费用，可能需要多次加密货币充值；赠送额度也可用于支付。如果余额不足，订单将保留 72 小时，并在您的充值足以支付时自动付款；如果届时仍未付款，订单将被取消，不收取任何费用。

服务器会在该日期前交付，IP 地址和 SSH 登录信息显示在您的控制台中。如果我们未能按期交付，您可以取消订单，全额退款至余额。订购多台 8 卡服务器可能需要进行身份验证。拥有运行中的服务器后，您可以通过工单咨询 6 至 12 个月的长期价格和批量价格；当前标价请见我们的价格页面。