大模型训练 GPU 服务器：独享 8 卡节点

为大语言模型（LLM）训练选择 GPU 服务器，要从显存入手，而不是 FLOPS：在第一步运行之前，权重、梯度和优化器状态必须能分摊装入各张 GPU，激活值还要另算。我们按月出租 NVIDIA HGX 裸金属节点，每个节点配备 8 张通过 NVLink 互联的整卡 GPU，因此从预热阶段到最终评测，同一批机器、数据和检查点始终归您使用。

大模型训练需要多少显存

使用 AdamW 和混合精度时，不计激活值，每个参数大约需要 16–20 字节：BF16 权重 2 字节，梯度 2 字节，FP32 主副本 4 字节，两个 Adam 矩 8 字节；如果以 FP32 保存梯度，还要再多几个字节。激活值随微批次大小、序列长度、隐藏层维度和层数增长。激活检查点和 FlashAttention 能把激活值控制住，代价是一些重计算。

FSDP 或 DeepSpeed ZeRO-3 会把这些状态分片到各张 GPU 上，因此每张 GPU 大约只需存放总量除以分片组大小的那一部分。如果显存稍有不足，两者都可以把优化器状态卸载到 CPU 内存，代价是每一步耗时增加；HGX H100、H200 和 B200 节点配备 2 TB DDR5 内存，HGX B300 为 4 TB。

如何选择大模型训练 GPU 服务器

显存决定能装下什么，算力决定要花多长时间。训练所需的浮点运算次数约为 6 × 参数量 × token 数，因此用 1 万亿个 token 训练一个 7B 模型，约需 4.2 × 10²² 次浮点运算（FLOPs）。根据厂商公布的数据，一个 HGX B200 节点的 BF16 稠密峰值算力为 18 PFLOPS（8 × 2.25）。如果您的任务能持续达到其中的 40%，这次训练约需 67 天。在 HGX H200 节点上，根据 NVIDIA 公布的规格，BF16 稠密算力为 8 × 989 TFLOPS，同样的训练约需五个月。正因如此，大多数从零开始的预训练都在多节点集群上运行；而后训练、token 预算较小的继续预训练以及小模型相关的工作，用单个节点和按月套餐就能满足。

• HGX B300：每张 GPU 288 GB，每个节点 2.3 TB，配备 8 块 800G ConnectX-8 网卡。它是我们产品目录中显存最宽裕的 NVIDIA 节点，适合 70B 级模型的全参数训练和长上下文。
• HGX B200：每张 GPU 180 GB，NVLink 5 每张 GPU 1.8 TB/s，厂商标称每张 GPU 的 FP8 稠密算力为 4.5 PFLOPS，适合借助 Transformer 引擎进行 FP8 训练。
• HGX H200：基于 Hopper 架构，每张 GPU 141 GB，每个节点 1.13 TB，适合 8B 至 32B 模型的训练和后训练。
• 8× AMD Instinct MI355X：每张 GPU 288 GB，使用 ROCm；前提是您的训练软件栈已经能在 AMD 上运行。

分片、NVLink 与多节点网络

在节点内部，8 张 GPU 通过 NVLink 交换数据：根据 NVIDIA 公布的规格，H100 和 H200 每张 GPU 为 900 GB/s，B200 和 B300 每张 GPU 为 1.8 TB/s。正是这样的带宽，让张量并行和全分片数据并行在单台机器内高效运行。一个实用的起步布局如下：

• 约 30B 参数以内：在 8 张 GPU 上使用 FSDP 或 ZeRO-3，跨节点则使用普通的数据并行。
• 70B 及以上：在节点内使用 Megatron-Core 或 PyTorch 内置的张量并行，跨节点再加上流水线并行或 FSDP。
• 混合专家（MoE）：专家并行需要大量 all-to-all 通信，因此请尽可能把专家组保持在同一个 NVLink 域内。

在节点之间，每台 HGX 服务器配备 8 块 400G ConnectX-7 网卡，HGX B300 则配备 8 块 800G ConnectX-8 网卡。如需互联您的多台服务器，请申请私有网络：在部署服务器时，于订单备注中提出，并注明节点数量以及任务的通信方式。在长时间训练之前，请用 nvidia-smi topo -m 检查拓扑，并在节点内和节点间运行 nccl-tests，具体做法见我们的多 GPU 与 NCCL 指南。

检查点、数据集与本地 NVMe

每个 HGX 节点配备 8 块 3.84 TB NVMe 硬盘，原始容量约 30 TB。包含优化器状态的完整检查点，每个参数大约需要 12–16 字节，70B 模型接近 1 TB，因此请在本地保留最近几个检查点，并用 PyTorch Distributed Checkpoint 以分片、并行的方式写入。以 32 位 token ID 存储的 1 万亿 token 分词数据集约为 4 TB，放在检查点旁边仍有余地。

除非另有书面约定，我们不会备份本地存储，因此请把里程碑检查点复制到服务器之外。入站流量不计，8 卡服务器每月含 50 TB 出站流量，不收取出站流量费，足以每周把一个 1 TB 的检查点传出去。服务器结束租用后，其磁盘会被安全擦除。

按月独享节点何时合适，何时不合适

当训练能让节点保持忙碌时，按月租用就很合适：以周计的训练、排成队列的一系列消融实验，或者每天都在同一份数据上迭代的后训练循环。2026年，GPU 算力紧张，许多服务商更倾向于签订一年期合同；因此，一个按月持有、任何月份均可免费取消的节点，往往是务实的折中方案。

如果只有一个三天的任务，之后整月闲置，按月租用就不合适。每月 US$34,900 的 HGX B200 节点，全天候满载时约合每 GPU 小时 US$5.98；但如果当月只用 72 小时，有效费率约为每 GPU 小时 US$60，在别处按小时计费会更便宜。做决定之前，请阅读按月与按小时 GPU 计费对比。另一个极端是，需要同时动用数百张 GPU 的前沿规模预训练，适合在 GB300 NVL72 机架上进行，租期 12–36 个月，每 GPU 每月 US$7,990 起。

开始使用

1. 在部署页面选择配置，设置操作系统镜像和您的 SSH 密钥，并在同一表单中免费创建账户或登录。您可以在给我们工程师的选填备注中，说明模型规模、token 预算和节点数量。
2. 核对承诺交付日期，它会在付款前显示。如果我们未能按期交付，您可以取消订单，全额退款至余额。
3. 用预付余额支付首月费用；如果余额不足，可用加密货币充值。IP 地址和 SSH 登录信息会在交付日期前显示在您的控制台中。
4. 从我们预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04 镜像开始，拉取您的训练容器，并在第一次长时间训练之前验证 NCCL。

如果您计划的是适配器训练或单卡任务，请参阅适合大模型微调的 GPU。各节点的硬件详情，请浏览我们的 8 卡服务器。