# 8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct

> 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，付款后 10 分钟内交付。

来源：https://fullgpu.com/zh/products/8-gpu-servers  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

## 要点

- **裸金属，无虚拟化层:** 两颗 CPU、全部系统内存、每一块 NVMe 硬盘和全部 8 张 GPU 都由您独享，并可通过 SSH 获得 root 权限。
- **每台 HGX 服务器都配备 NVLink:** 据 NVIDIA 标称，B300 和 B200 通过 NVLink 5 为每张 GPU 提供 1.8 TB/s，H200 和 H100 通过 NVLink 4 提供 900 GB/s。
- **显存最高 2,304 GB:** HGX B300 和 MI355X 为 8 × 288 GB，HGX B200 为 1,440 GB，HGX H200 为 1,128 GB，HGX H100 为 640 GB。
- **为横向扩展做好准备:** HGX B300 配备 8 块 800G ConnectX-8 网卡，HGX B200、H200 和 H100 配备 8 块 400G ConnectX-7，MI355X 配备 8 块 400G RoCE 网卡。
- **含 50 TB 流量:** 每月 50 TB 出站流量，遵循合理使用原则，不收取出站流量费；另含公网 IPv4、一个 IPv6 /64 网段和 DDoS 防护。
- **按月租用:** 固定月价，无开通费，任何月份均可取消。拥有运行中的服务器后，可通过工单咨询长期价格和批量价格。

## 推荐配置

- [8× NVIDIA HGX B300](https://fullgpu.com/zh/gpus/nvidia-b300): 每月 US$39,900 — 2,304 GB HBM3e，适合最大的模型和最长的上下文
- [8× NVIDIA HGX B200](https://fullgpu.com/zh/gpus/nvidia-b200): 每月 US$34,900 — Blackwell 架构，1,440 GB HBM3e，适合训练和推理服务
- [8× NVIDIA HGX H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$23,900 — 1,128 GB HBM3e：单台服务器即可运行 BF16 精度的 405B 模型

## 概览

FullGPU 的 8 卡 GPU 服务器租用，为您提供一整台物理机器：8 张完整的 GPU、两颗服务器级 CPU、1.5 至 4 TB 系统内存和本地 NVMe 存储，没有虚拟化层（hypervisor），也没有其他租户。您可以选择 NVIDIA HGX B300、B200、H200 或 H100，AMD Instinct MI355X，或配备 8 张 RTX PRO 6000 Blackwell 显卡、适合 PCIe 互联工作负载的服务器，每种配置均为固定月价。

## 8 卡 GPU 服务器租用：您能获得什么

裸金属 8 卡服务器直接在硬件上运行您的操作系统。您可以通过 SSH 获得 root 权限，使用每一个 CPU 核心、全部 8 张 GPU 和所有本地硬盘。在我们的可接受使用政策允许的范围内，您可以调优内核、把数据加载进程绑定到正确的 NUMA 节点、更换驱动分支，或运行您自己的容器运行时。

NVIDIA 服务器交付时预装 Ubuntu 22.04 或 24.04，以及 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。MI355X 服务器使用 ROCm 镜像。每台服务器的电力、网络和硬件都享有 99.9% 月度可用性 SLA（服务等级协议）；如果我们未能达标，您将获得服务赔偿额度。

## 六种配置对比

| 服务器 | GPU | GPU 互联 | CPU 与内存 | 存储与网络 | 月价 |
| --- | --- | --- | --- | --- | --- |
| NVIDIA HGX B300 | 8 × 288 GB HBM3e | NVLink 5 | 2× Xeon 6776P，128 核，4 TB 内存 | 8× 3.84 TB NVMe，8× 800G ConnectX-8 | US$39,900 |
| NVIDIA HGX B200 | 8 × 180 GB HBM3e | NVLink 5 | 2× Xeon 8570，112 核，2 TB 内存 | 8× 3.84 TB NVMe，8× 400G ConnectX-7 | US$34,900 |
| NVIDIA HGX H200 | 8 × 141 GB HBM3e | NVLink 4 | 2× Xeon 8480+，112 核，2 TB 内存 | 8× 3.84 TB NVMe，8× 400G ConnectX-7 | US$23,900 |
| NVIDIA HGX H100 | 8 × 80 GB HBM3 | NVLink 4 | 2× Xeon 8480+，112 核，2 TB 内存 | 8× 3.84 TB NVMe，8× 400G ConnectX-7 | US$16,900 |
| AMD Instinct MI355X | 8 × 288 GB HBM3e | Infinity Fabric | 2× EPYC 9575F，128 核，3 TB 内存 | 8× 3.84 TB NVMe，8× 400G RoCE | US$19,900 |
| 8× RTX PRO 6000 Blackwell | 8 × 96 GB GDDR7 | PCIe Gen5，无 NVLink | 2× EPYC 9555，128 核，1.5 TB 内存 | 4× 3.84 TB NVMe，2× 100 GbE | US$10,490 |

按每月 730 小时计算，HGX B300 约合每 GPU 小时 US$6.83，HGX H200 约合 US$4.09，RTX PRO 6000 服务器约合 US$1.80。

## NVLink 域，以及何时 PCIe 就已足够

在 HGX 基板上，全部 8 张 GPU 共享同一个 NVLink 域。张量并行分片之间的流量、梯度 all-reduce，以及混合专家（MoE）模型中的专家路由，都经由 NVLink 传输，而不经过 PCIe 或网络。根据 NVIDIA 公布的规格，NVLink 5 为每张 B300 和 B200 GPU 提供 1.8 TB/s 带宽，NVLink 4 为每张 H200 和 H100 提供 900 GB/s。AMD 标称每张 MI355X GPU 配有 7 条 153.6 GB/s 的 Infinity Fabric 链路。交付后，运行一次 NCCL all-reduce 测试即可确认链路表现符合预期；我们的[多 GPU 与 NCCL 指南](https://fullgpu.com/zh/docs/multi-gpu-nccl)介绍了具体的运行方法。

8× RTX PRO 6000 服务器则不同：它的 GPU 之间通过 PCIe Gen5 通信，没有 NVLink。这适合每张 GPU 各自独立运行的工作，例如每张 GPU 运行一个模型副本来提供推理服务、渲染或批处理任务。对于 GPU 之间每一步都要交换数据的张量并行训练，它就不那么合适了。我们的 [NVLink 与 PCIe 对比指南](https://fullgpu.com/zh/blog/nvlink-vs-pcie)更详细地解释了其中的取舍。

## 何时选择 8 张 GPU

- **模型单卡装不下。**一个 405B 参数的模型，仅 BF16 权重就需要约 810 GB。拥有 1,128 GB 显存的 HGX H200 可以装下它，还能为 KV 缓存留出空间。只有 640 GB 的 HGX H100 则装不下，不过它可以装下 FP8 精度的同一模型，约 405 GB。
- **大模型全参数微调。**使用 Adam 优化器时，不计激活值，每个参数大约需要 16–20 字节。对于 70B 模型，这约为 1.1–1.4 TB，HGX B300 或 MI355X 服务器的 2,304 GB 显存可以容纳，还能为激活值留出空间。
- **单机吞吐量。**数据并行训练或多个推理副本，由本地 NVMe 和最高 4 TB 内存供给数据。
- **每张 GPU 的成本。**一台 HGX H200 服务器每月 US$23,900，而 8 个单卡 H200 套餐每月合计 US$24,720。

如果一张 GPU 就够用，[单卡服务器](https://fullgpu.com/zh/products/single-gpu-servers)的费用更低。如果一台服务器不够用，可以通过[私有网络](https://fullgpu.com/zh/products/private-networking)连接多台服务器，或者选择 [GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 机架，获得一个包含 72 张 GPU 的 NVLink 域。

## HGX 服务器租用：存储、流量与订购

HGX 和 MI355X 服务器配备 8 块 3.84 TB NVMe 硬盘，原始容量约 30.7 TB；RTX PRO 6000 服务器配备 4 块。除非另有书面约定，我们不备份本地存储，因此请把不能丢失的检查点另存一份到别处。入站流量不计入额度，因此把数据集和模型权重拉取到服务器上，不会占用您每月 50 TB 的流量额度。

订购流程与 FullGPU 的其他订单相同：在[部署页面](https://fullgpu.com/zh/deploy)选择服务器，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），免费创建账户或登录，然后用余额支付首月费用。每次充值金额为 US$100 至 US$10,000，因此为较大的服务器支付首月费用，可能需要多次[加密货币充值](https://fullgpu.com/zh/pay-with-crypto)；赠送额度也可用于支付。如果余额不足，订单将保留 72 小时，并在您的充值足以支付时自动付款；如果届时仍未付款，订单将被取消，不收取任何费用。

服务器在付款后 10 分钟内交付，即使库存有限也是如此；IP 地址和 SSH 登录信息显示在您的控制台中。如果已付款的服务器未能在当天交付，您可以取消订单，全额退款至余额。订购多台 8 卡服务器可能需要进行身份验证。拥有运行中的服务器后，您可以通过工单咨询 6 至 12 个月的长期价格和批量价格；当前标价请见我们的[价格页面](https://fullgpu.com/zh/pricing)。

## 常见问题

### 8 卡服务器是裸金属服务器还是虚拟机？

是裸金属服务器。整台物理服务器仅分配给您一人，您通过 SSH 获得 root 权限，您与 8 张 GPU 之间没有任何虚拟化层。

### 8× RTX PRO 6000 服务器有 NVLink 吗？

没有。它的 GPU 之间通过 PCIe Gen5 连接，比起张量并行训练，更适合每张 GPU 运行一个模型、渲染和批处理任务。如需 NVLink，请选择 HGX 服务器。

### 8 卡服务器含多少流量？

每月 50 TB 出站流量，遵循合理使用原则，不收取出站流量费。入站流量不计入。

### 可以把多台 8 卡服务器连接在一起吗？

可以。多台 8 卡服务器可以通过私有网络连接，您可以在订单备注中提出申请；每台 HGX 服务器仍保留其所列的网卡，例如 8× 400G ConnectX-7。如需一个包含 72 张 GPU 的单一 NVLink 域，请选择 GB300 NVL72 机架。

### 有长期价格或批量价格吗？

有，面向拥有运行中服务器的客户，可通过工单咨询。我们提供 6 至 12 个月的长期价格，以及多台服务器的批量价格，通常从三台起。

## 相关页面

- [GPU 服务器之间的私有网络](https://fullgpu.com/zh/products/private-networking): GPU 服务器之间的私有网络，可应要求开通：将您租用的各台 FullGPU 服务器连接到同一个隔离网络中，用于数据流水线和多节点任务。了解私有网络的运作方式。
- [租用 NVIDIA B300 与 HGX B300 服务器，每月 US$5,190 起](https://fullgpu.com/zh/gpus/nvidia-b300): B300 按月租用：独享一张 288 GB B300，US$5,190/月（按全天候满载计算，约合每 GPU 小时 US$7.11）；或租用一台 8 卡 HGX B300 服务器，US$39,900/月。使用加密货币支付。
- [B200 与 B300 对比：Blackwell Ultra 值得升级吗？](https://fullgpu.com/zh/compare/b200-vs-b300): B200 与 B300 对比：HBM3e 显存 180 GB 对比 288 GB，FP4 算力提升，网络 400G 对比 800G。了解各自能装下什么、每 GB 成本，以及什么情况下 B200 就已够用。
- [MI355X 与 B200 对比：显存、软件与成本](https://fullgpu.com/zh/compare/mi355x-vs-b200): MI355X 与 B200 对比：HBM 显存 288 GB 对比 180 GB，ROCm 对比 CUDA 软件栈，4 位精度格式，以及每张 GPU 的月成本。了解哪款 8 卡服务器更适合您的模型和预算。
- [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。
- [NVLink 与 PCIe 对比：带宽、拓扑，以及何时真正重要](https://fullgpu.com/zh/blog/nvlink-vs-pcie): NVLink 与 PCIe 对比：每张 GPU 的带宽、NVSwitch 与 NVL72 机架，哪些多 GPU 工作负载离不开 NVLink、哪些在 PCIe 上就能良好运行，并附具体的计算示例。