如何为 AI 选择 GPU 服务器

懂得如何为 AI 选择 GPU 服务器，很大程度上就是懂得按正确的顺序提出问题。显存容量决定了任务究竟能不能运行。显存带宽和精度支持决定了运行速度。互联，以及 GPU 周边的 CPU、内存和存储，决定了您能否获得与所付费用相称的性能。软件和计费方式决定了这台服务器是否适合您的团队和预算。本框架逐一讲解每个步骤，然后把常见的工作负载对应到具体配置。

如何为 AI 选择 GPU 服务器：先看显存

首先算出您的工作负载需要多少显存，因为在考虑其他任何因素之前，它就决定了哪些选项可以入围、哪些直接出局。

• 推理：权重（参数量 × 每个参数的字节数）加上 KV 缓存，再加 10–30% 的额外开销。不计缓存，70B 模型在 BF16 精度下约需 140 GB，在 FP8 精度下约需 70 GB。
• 使用 Adam 的全参数微调：不计激活值，每个参数大约需要 16–20 字节，因此 70B 模型约需 1.1–1.4 TB。
• LoRA 和 QLoRA：需求要少得多，因为基座模型的权重是冻结的。对 70B 模型做 QLoRA，单张 80 GB GPU 就能装下。

然后判断这一需求能否装入单张 GPU。我们产品目录中的单卡显存从 32 GB（RTX 5090）起，依次为 48 GB（L40S）、80 GB（H100）、96 GB（RTX PRO 6000）、141 GB（H200）和 180 GB（B200），最高可达 288 GB（B300）。如果一个模型必须跨多张 GPU 运行，就要看整台服务器的总显存以及互联方式，下文会具体介绍。我们的 LLM 显存需求指南给出了计算公式和计算示例，显存计算器则可以替您完成计算。

显存带宽与精度格式

模型装得下之后，推理速度在很大程度上取决于显存带宽。每生成一个 token，GPU 都要从显存中读取模型参与计算的权重和 KV 缓存，因此在小批次下，每个 token 的耗时不可能短于读取的字节数除以带宽。提示词处理和训练更多受算力限制，因此厂商标称的 FLOPS 在这些场景中更重要。

关键在于比值。H200 的带宽比 H100 高 43%，B200 约为 H100 的 2.4 倍。RTX PRO 6000 的显存比 H100 大，但带宽还不到后者的一半，因此它更适合能宽裕装下的模型、大量并行副本和渲染，而不是对延迟要求严苛的大模型推理服务。

精度支持会放大这一效果。与 BF16 相比，FP8 能把权重显存和每个 token 读取的字节数减半，FP4 则再减一半。Hopper 和 Ada 架构的 GPU 在硬件层面支持 FP8；Blackwell GPU 和 MI355X 还增加了对 FP4 的支持。降低精度会带来一定的质量损失，4 位比 8 位更明显，因此请在您自己的评测集上测试。我们关于 FP8 与 FP4 精度的解读文章详细介绍了这些格式。

互联与网络

如果一个模型或一个训练任务跨多张 GPU 运行，GPU 之间的链路就成了计算的一部分。张量并行在每一层都要交换激活值，分片训练（FSDP 或 ZeRO-3）在每一步都要收集权重，混合专家（MoE）模型则要在专家之间来回传送 token。NVLink 4 为每张 H100 或 H200 提供 900 GB/s，NVLink 5 为每张 B200 或 B300 提供 1.8 TB/s，而一个 PCIe Gen5 x16 插槽的双向合计带宽约为 128 GB/s：前两者分别约为后者的 7 倍和 14 倍。我们的 NVLink 与 PCIe 对比一文有更深入的分析。

当 GPU 各自独立工作时，PCIe 完全够用：例如在负载均衡器后面每张 GPU 运行一个模型副本、运行相互独立的实验，或者做渲染。但要把一个大模型拆分到多张卡上，它就不太合适了。

服务器之间的通信，要看网卡。我们的 HGX 服务器为每张 GPU 配备一块网卡：H100、H200 和 B200 服务器为 8 块 400G ConnectX-7，B300 服务器为 8 块 800G ConnectX-8。MI355X 服务器配备 8 块 400G RoCE 网卡，8× RTX PRO 6000 服务器则配备 2 个 100 GbE 端口。如果您计划进行多节点训练，请在订单备注中申请在您的服务器之间开通私有网络。公网方面，单卡套餐配备 10 或 25 Gbps 端口，每月含 20 TB 出站流量；8 卡服务器每月含 50 TB。在 10 Gbps 下，140 GB 的模型以线速下载只需约两分钟，而 10 TB 的数据集则需要两个多小时，因此请提前规划大规模数据传输。

CPU、内存与 NVMe：喂饱 GPU

再快的 GPU，如果要等待慢吞吞的主机，也只是在昂贵地空转。以下三项主机资源很重要：

• CPU 核心负责分词、数据加载、图像或视频解码，以及推理服务器的调度。视觉和视频流水线所需的 CPU 远多于文本。我们的 8 卡服务器配备 112 到 128 个核心，每张 GPU 对应 14 到 16 个；单卡套餐配备 16 到 28 个 vCPU。
• 系统内存用于存放加载中的检查点、您缓存的数据集，以及您卸载出来的任何数据。常见的经验法则是：内存至少与 GPU 总显存相当；如果要把优化器状态卸载到 CPU，或在 CPU 上合并大型适配器，则需要更多。把 LoRA 适配器合并进 BF16 精度的 70B 模型约需 140 GB 内存：我们的单卡 H100 套餐配备 225 GB 内存，可以轻松完成；64 GB 内存的机器则根本无法完成。
• 本地 NVMe 存放权重、数据集和检查点。70B 模型全参数微调的可续训检查点连同优化器状态，超过 1 TB。我们的 HGX 服务器配备 8 块 3.84 TB NVMe 硬盘；单卡套餐配备 1 到 3.5 TB。

软件生态：CUDA 还是 ROCm

NVIDIA 的 CUDA 软件栈支持最广泛：PyTorch、JAX、vLLM、SGLang 和 TensorRT-LLM 都能在上面运行，大多数科研代码和自定义内核也默认以 CUDA 为前提。AMD 的 ROCm 支持 PyTorch、vLLM 和 SGLang，MI355X 每张 GPU 配备 288 GB 显存；我们的 8× MI355X 服务器每月 US$19,900，约合每 GPU 小时 US$3.41。问题出在长尾上：自定义 CUDA 内核、部分量化库和小众工具可能需要移植，甚至根本无法运行。决定采用 AMD 之前，请把您实际使用的整套技术栈端到端跑一遍；我们的 AMD ROCm 文档是不错的起点。

计费模式：按小时、预留还是按月

同一款 GPU，付费方式不同，成本可能相差悬殊。按秒或按小时计费的按需模式适合短期、难以预测的工作。Spot 或可中断容量更便宜，但可能在运行中途被收回。预留期限以长期承诺换取更低的费率。固定月价的独立服务器适合稳定的工作负载：持续数周的训练、全天候提供服务的推理，以及希望预算固定的团队。

要把月价与小时报价进行比较，用前者除以后者即可：盈亏平衡小时数 = 月价 ÷ 小时费率。如果您每月使用 GPU 的小时数超过这个值，按月计费更便宜。我们的按月与按小时计费对比深入分析了其中的权衡。供应情况同样重要：2026年 GPU 算力紧张，按需库存常常售罄，因此只有在您需要时 GPU 确实可用，低费率才有意义。我们按月预付计费，最短期限一个月，不收取开通费，任何月份均可取消；费用从您用加密货币充值的预付余额中支付，银行卡支付即将推出。

工作负载与配置对照

下表把常见的 AI 工作负载对应到我们产品目录中的配置。请把它当作起点，并核算您自己的数字。

对于前沿规模的训练，GB300 NVL72 等机架级系统按申请供货，每 GPU 每月 US$7,990 起，租期 12 至 36 个月。

下单前检查清单

1. 写下模型、精度、最大上下文长度和预期并发量；如果是训练，则写下训练方法、序列长度和微批次大小。
2. 计算每张 GPU 所需的显存并留出 10–30% 的余量，再决定用单张 GPU 还是多张。
3. 如果一个模型要跨多张 GPU 运行，请选择带 NVLink 的配置，或者在充分了解 PCIe 的取舍之后再接受它。
4. 确认您的推理或训练方案所依赖的精度格式，例如 FP8 或 FP4。
5. 检查 CPU 核心数、内存（至少与显存总量相当），以及存放权重、数据集和检查点的 NVMe 空间。
6. 对照套餐所含流量估算每月出站流量，并规划服务器之外的备份：除非另有书面约定，我们不会备份本地磁盘。
7. 确认软件栈：CUDA 还是 ROCm、驱动和 CUDA 版本，以及操作系统镜像（Ubuntu 22.04 或 24.04；Debian 或 Rocky Linux 可应要求提供）。
8. 在服务器交付之前，准备好您的 SSH 公钥和防火墙方案。
9. 选择租期：按月续租；或者在拥有运行中的服务器后，通过工单申请 6 到 12 个月的长期租用，如需多台服务器还可申请批量价格。
10. 付款前核对配置、价格和交付日期。我们的服务器在付款后 10 分钟内交付；如果已付款的服务器未能在当天交付，您可以取消订单，全额退款至账户余额。如果您需要特定的国家或地区，请在订单备注中注明。

核对完这份清单后，在我们的价格页面比较各项配置，然后部署您的服务器：选择配置、免费创建账户或登录，再用余额支付首月费用，全部在同一个表单中完成。服务器在付款后 10 分钟内交付；如果余额不足，您可以在同一表单中用加密货币充值。

常见问题

为 AI 选择 GPU 服务器时，最重要的是什么？

首先是显存容量，因为它决定了您的模型、KV 缓存或训练状态到底能否装下。其次再比较显存带宽、精度支持、互联，以及 GPU 周边的 CPU、内存和存储。

我需要 NVLink 吗？

当一个模型或一个训练任务要拆分到多张 GPU 上时（例如张量并行或分片训练），就需要 NVLink，因为这些方式在每一层或每一步都要交换数据。对于相互独立的任务，或每张 GPU 运行一个模型副本的情况，PCIe 就足够了。

GPU 服务器应该配多少系统内存？

常见的经验法则是：内存至少与 GPU 总显存相当；如果要把优化器状态卸载到 CPU、合并大型适配器，或把数据集缓存在内存中，则需要更多。

AI 应该选 NVIDIA 还是 AMD？

NVIDIA 的 CUDA 软件栈拥有最广泛的软件支持，而 AMD 的 MI355X 在 ROCm 上为每张 GPU 提供 288 GB 显存。做出决定之前，请在 ROCm 上测试您实际使用的框架、内核和量化工具。

GPU 服务器按月计费和按小时计费，哪个更好？

用月价除以小时费率，即可得到盈亏平衡小时数。一个月中大部分时间都在运行的稳定工作负载，选择按月套餐更便宜；短期或偶尔运行的任务，通常按小时计费更便宜。