# 大模型训练 GPU 服务器：独享 8 卡节点

> 大模型训练 GPU 服务器：HGX B300、B200 和 H200 裸金属节点，GPU 之间通过 NVLink 互联，并配备 400–800G 网络，按月租用。下单前，先看看显存该怎么算。

来源：https://fullgpu.com/zh/solutions/llm-training  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

## 要点

- **8 卡裸金属节点:** 8 张通过 NVLink 互联的整卡 GPU，只分配给您，并可通过 SSH 获得 root 权限。
- **400G 与 800G 网络:** 每个 HGX 节点配备 8 块 400G ConnectX-7 网卡，HGX B300 则配备 8 块 800G ConnectX-8 网卡，适合多节点任务。
- **30 TB 本地 NVMe:** 每个节点配备 8 块 3.84 TB NVMe 硬盘，用于存放数据集、分片和检查点。
- **不会被抢占:** 在整个已付费月份内，节点都归您使用，没有分时共享，也没有其他租户。
- **99.9% 可用性 SLA:** 电力、网络和硬件的可用性由服务赔偿额度保障，最高可达月费的 100%。
- **私有网络与机架:** 多台 8 卡服务器可通过私有网络互联，另有租期 12–36 个月的 GB300 NVL72 机架。

## 推荐配置

- [8× NVIDIA HGX B300](https://fullgpu.com/zh/gpus/nvidia-b300): 每月 US$39,900 — 2.3 TB HBM3e：单节点容纳 70B 模型的完整训练状态
- [8× NVIDIA HGX B200](https://fullgpu.com/zh/gpus/nvidia-b200): 每月 US$34,900 — 1.44 TB HBM3e 与 NVLink 5，适合 8B 至 32B 级训练
- [8× NVIDIA HGX H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$23,900 — 1.13 TB HBM3e，适合后训练和中等规模模型

## 概览

为大语言模型（LLM）训练选择 GPU 服务器，要从显存入手，而不是 FLOPS：在第一步运行之前，权重、梯度和优化器状态必须能分摊装入各张 GPU，激活值还要另算。我们按月出租 NVIDIA HGX 裸金属节点，每个节点配备 8 张通过 NVLink 互联的整卡 GPU，因此从预热阶段到最终评测，同一批机器、数据和检查点始终归您使用。

## 大模型训练需要多少显存

使用 AdamW 和混合精度时，不计激活值，每个参数大约需要 16–20 字节：BF16 权重 2 字节，梯度 2 字节，FP32 主副本 4 字节，两个 Adam 矩 8 字节；如果以 FP32 保存梯度，还要再多几个字节。激活值随微批次大小、序列长度、隐藏层维度和层数增长。激活检查点和 FlashAttention 能把激活值控制住，代价是一些重计算。

| 模型规模 | 训练状态（不计激活值） | 留有余量的最小配置 |
| --- | --- | --- |
| 8B | 约 130–160 GB | 一个 HGX H100 节点（640 GB HBM3） |
| 32B | 约 510–640 GB | 一个 HGX H200 节点（1,128 GB HBM3e） |
| 70B | 约 1.1–1.4 TB | 一个 HGX B300 节点（2,304 GB），或两个 H200 或 B200 节点 |
| 405B | 约 6.5–8.1 TB | 四个或更多通过私有网络互联的 HGX B300 节点 |

FSDP 或 DeepSpeed ZeRO-3 会把这些状态分片到各张 GPU 上，因此每张 GPU 大约只需存放总量除以分片组大小的那一部分。如果显存稍有不足，两者都可以把优化器状态卸载到 CPU 内存，代价是每一步耗时增加；HGX H100、H200 和 B200 节点配备 2 TB DDR5 内存，HGX B300 为 4 TB。

## 如何选择大模型训练 GPU 服务器

显存决定能装下什么，算力决定要花多长时间。训练所需的浮点运算次数约为 6 × 参数量 × token 数，因此用 1 万亿个 token 训练一个 7B 模型，约需 4.2 × 10^22 次浮点运算（FLOPs）。根据厂商公布的数据，一个 HGX B200 节点的 BF16 稠密峰值算力为 18 PFLOPS（8 × 2.25）。如果您的任务能持续达到其中的 40%，这次训练约需 67 天。在 HGX H200 节点上，根据 NVIDIA 公布的规格，BF16 稠密算力为 8 × 989 TFLOPS，同样的训练约需五个月。正因如此，大多数从零开始的预训练都在多节点集群上运行；而后训练、token 预算较小的继续预训练以及小模型相关的工作，用单个节点和按月套餐就能满足。

- **HGX B300：**每张 GPU 288 GB，每个节点 2.3 TB，配备 8 块 800G ConnectX-8 网卡。它是我们产品目录中显存最宽裕的 NVIDIA 节点，适合 70B 级模型的全参数训练和长上下文。
- **HGX B200：**每张 GPU 180 GB，NVLink 5 每张 GPU 1.8 TB/s，厂商标称每张 GPU 的 FP8 稠密算力为 4.5 PFLOPS，适合借助 Transformer 引擎进行 FP8 训练。
- **HGX H200：**基于 Hopper 架构，每张 GPU 141 GB，每个节点 1.13 TB，适合 8B 至 32B 模型的训练和后训练。
- **8× AMD Instinct MI355X：**每张 GPU 288 GB，使用 ROCm；前提是您的训练软件栈已经能在 AMD 上运行。

## 分片、NVLink 与多节点网络

在节点内部，8 张 GPU 通过 NVLink 交换数据：根据 NVIDIA 公布的规格，H100 和 H200 每张 GPU 为 900 GB/s，B200 和 B300 每张 GPU 为 1.8 TB/s。正是这样的带宽，让张量并行和全分片数据并行在单台机器内高效运行。一个实用的起步布局如下：

- **约 30B 参数以内：**在 8 张 GPU 上使用 FSDP 或 ZeRO-3，跨节点则使用普通的数据并行。
- **70B 及以上：**在节点内使用 Megatron-Core 或 PyTorch 内置的张量并行，跨节点再加上流水线并行或 FSDP。
- **混合专家（MoE）：**专家并行需要大量 all-to-all 通信，因此请尽可能把专家组保持在同一个 NVLink 域内。

在节点之间，每台 HGX 服务器配备 8 块 400G ConnectX-7 网卡，HGX B300 则配备 8 块 800G ConnectX-8 网卡。如需互联您的多台服务器，请申请[私有网络](https://fullgpu.com/zh/products/private-networking)：在[部署服务器](https://fullgpu.com/zh/deploy)时，于订单备注中提出，并注明节点数量以及任务的通信方式。在长时间训练之前，请用 `nvidia-smi topo -m` 检查拓扑，并在节点内和节点间运行 nccl-tests，具体做法见我们的[多 GPU 与 NCCL 指南](https://fullgpu.com/zh/docs/multi-gpu-nccl)。

## 检查点、数据集与本地 NVMe

每个 HGX 节点配备 8 块 3.84 TB NVMe 硬盘，原始容量约 30 TB。包含优化器状态的完整检查点，每个参数大约需要 12–16 字节，70B 模型接近 1 TB，因此请在本地保留最近几个检查点，并用 PyTorch Distributed Checkpoint 以分片、并行的方式写入。以 32 位 token ID 存储的 1 万亿 token 分词数据集约为 4 TB，放在检查点旁边仍有余地。

除非另有书面约定，我们不会备份本地存储，因此请把里程碑检查点复制到服务器之外。入站流量不计，8 卡服务器每月含 50 TB 出站流量，不收取出站流量费，足以每周把一个 1 TB 的检查点传出去。服务器结束租用后，其磁盘会被安全擦除。

## 按月独享节点何时合适，何时不合适

当训练能让节点保持忙碌时，按月租用就很合适：以周计的训练、排成队列的一系列消融实验，或者每天都在同一份数据上迭代的后训练循环。2026年，GPU 算力紧张，许多服务商更倾向于签订一年期合同；因此，一个按月持有、任何月份均可免费取消的节点，往往是务实的折中方案。

如果只有一个三天的任务，之后整月闲置，按月租用就不合适。每月 US$34,900 的 HGX B200 节点，全天候满载时约合每 GPU 小时 US$5.98；但如果当月只用 72 小时，有效费率约为每 GPU 小时 US$60，在别处按小时计费会更便宜。做决定之前，请阅读[按月与按小时 GPU 计费对比](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing)。另一个极端是，需要同时动用数百张 GPU 的前沿规模预训练，适合在 [GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 机架上进行，租期 12–36 个月，每 GPU 每月 US$7,990 起。

## 开始使用

1. 在[部署页面](https://fullgpu.com/zh/deploy)选择配置，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），并在同一表单中免费创建账户或登录。您可以在给我们工程师的选填备注中，说明模型规模、token 预算和节点数量。
2. 核对配置和价格，它们会在付款前显示。如果已付款的服务器未能在当天交付，您可以取消订单，全额退款至余额。
3. 用预付余额支付首月费用；如果余额不足，可用加密货币充值。IP 地址和 SSH 登录信息会在付款后 10 分钟内显示在您的控制台中。
4. 从我们预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04 镜像开始，拉取您的训练容器，并在第一次长时间训练之前验证 NCCL。

如果您计划的是适配器训练或单卡任务，请参阅[适合大模型微调的 GPU](https://fullgpu.com/zh/solutions/fine-tuning)。各节点的硬件详情，请浏览我们的 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)。

## 常见问题

### 训练 70B 模型需要多少张 GPU？

使用 AdamW 和混合精度做全参数训练时，不计激活值，权重、梯度和优化器状态大约需要 1.1–1.4 TB。这可以装入一个配备 2.3 TB HBM3e 的 HGX B300 节点，或通过分片分布到两个 HGX H200 或 B200 节点上；如果 token 预算很大，则需要多个节点才能在合理时间内完成。

### 可以跨多台 8 卡服务器进行训练吗？

可以。您可以通过私有网络连接多台 8 卡服务器（在订单备注中申请），每台 HGX 服务器仍保留各自的 8 块 400G 或 800G 网卡。如需一个包含 72 张 GPU 的 NVLink 域，可以选择租期 12 到 36 个月的 GB300 NVL72 机架。

### 在长时间训练过程中，我的节点会被抢占吗？

不会。在整个已付费月份内，GPU 只分配给您，没有分时共享；电力、网络和硬件的可用性受我们 99.9% SLA 的保障，并附服务赔偿额度。因此，请照常保存检查点。

### FullGPU 会备份我的检查点吗？

不会。除非另有书面约定，本地 NVMe 存储不做备份。请把重要的检查点复制到服务器之外：入站流量不计，8 卡服务器每月含 50 TB 出站流量。

### 预装了哪些软件？

我们的 Ubuntu 22.04 和 24.04 镜像包含 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit，AMD 服务器则使用 ROCm 镜像。您拥有 root 权限，可以自行安装 PyTorch、Megatron、DeepSpeed 或您需要的任何框架。

## 相关页面

- [8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct](https://fullgpu.com/zh/products/8-gpu-servers): 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，付款后 10 分钟内交付。
- [GPU 服务器之间的私有网络](https://fullgpu.com/zh/products/private-networking): GPU 服务器之间的私有网络，可应要求开通：将您租用的各台 FullGPU 服务器连接到同一个隔离网络中，用于数据流水线和多节点任务。了解私有网络的运作方式。
- [适合大模型微调的 GPU：从 QLoRA 到全参数微调](https://fullgpu.com/zh/solutions/fine-tuning): 为大模型微调选择合适的 GPU：本文给出 8B 至 70B 模型做 QLoRA、LoRA 和全参数微调所需的显存估算，覆盖 H100、H200 和 B200。下单前，先确认哪些配置装得下。
- [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。
- [H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？](https://fullgpu.com/zh/compare/h200-vs-b200): H200 与 B200 对比：141 GB 对比 180 GB，4.8 TB/s 对比 8 TB/s，FP4 与 NVLink 5。了解各自能装下什么、每月多花 US$1,500 能换来什么，以及何时 H200 更划算。
- [NVLink 与 PCIe 对比：带宽、拓扑，以及何时真正重要](https://fullgpu.com/zh/blog/nvlink-vs-pcie): NVLink 与 PCIe 对比：每张 GPU 的带宽、NVSwitch 与 NVL72 机架，哪些多 GPU 工作负载离不开 NVLink、哪些在 PCIe 上就能良好运行，并附具体的计算示例。