# 如何为 AI 选择 GPU 服务器

> 如何为 AI 选择 GPU 服务器？本文提供一套完整的选型框架，逐项讲解显存、显存带宽、精度、互联、CPU 与存储、软件生态和计费方式，并附一份下单前检查清单。

来源：https://fullgpu.com/zh/blog/how-to-choose-a-gpu-server  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

懂得如何为 AI 选择 GPU 服务器，很大程度上就是懂得按正确的顺序提出问题。显存容量决定了任务究竟能不能运行。显存带宽和精度支持决定了运行速度。互联，以及 GPU 周边的 CPU、内存和存储，决定了您能否获得与所付费用相称的性能。软件和计费方式决定了这台服务器是否适合您的团队和预算。本框架逐一讲解每个步骤，然后把常见的工作负载对应到具体配置。

## 如何为 AI 选择 GPU 服务器：先看显存

首先算出您的工作负载需要多少显存，因为在考虑其他任何因素之前，它就决定了哪些选项可以入围、哪些直接出局。

- **推理：**权重（参数量 × 每个参数的字节数）加上 KV 缓存，再加 10–30% 的额外开销。不计缓存，70B 模型在 BF16 精度下约需 140 GB，在 FP8 精度下约需 70 GB。
- **使用 Adam 的全参数微调：**不计激活值，每个参数大约需要 16–20 字节，因此 70B 模型约需 1.1–1.4 TB。
- **LoRA 和 QLoRA：**需求要少得多，因为基座模型的权重是冻结的。对 70B 模型做 QLoRA，单张 80 GB GPU 就能装下。

然后判断这一需求能否装入单张 GPU。我们产品目录中的单卡显存从 32 GB（RTX 5090）起，依次为 48 GB（L40S）、80 GB（H100）、96 GB（RTX PRO 6000）、141 GB（H200）和 180 GB（B200），最高可达 288 GB（B300）。如果一个模型必须跨多张 GPU 运行，就要看整台服务器的总显存以及互联方式，下文会具体介绍。我们的 [LLM 显存需求指南](https://fullgpu.com/zh/blog/vram-for-llms)给出了计算公式和计算示例，[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)则可以替您完成计算。

## 显存带宽与精度格式

模型装得下之后，推理速度在很大程度上取决于显存带宽。每生成一个 token，GPU 都要从显存中读取模型参与计算的权重和 KV 缓存，因此在小批次下，每个 token 的耗时不可能短于读取的字节数除以带宽。提示词处理和训练更多受算力限制，因此厂商标称的 FLOPS 在这些场景中更重要。

| GPU | 显存 | 带宽（厂商标称） | 低精度格式 | GPU 间互联 |
| --- | --- | --- | --- | --- |
| RTX 5090 | 32 GB GDDR7 | 1.79 TB/s | FP8、FP4 | PCIe Gen5 |
| L40S | 48 GB GDDR6 | 864 GB/s | FP8 | PCIe Gen4 |
| H100 SXM | 80 GB HBM3 | 3.35 TB/s | FP8 | NVLink 4，900 GB/s |
| RTX PRO 6000 | 96 GB GDDR7 | 1.6 TB/s | FP8、FP4 | PCIe Gen5 |
| H200 | 141 GB HBM3e | 4.8 TB/s | FP8 | NVLink 4，900 GB/s |
| B200 | 180 GB HBM3e | 8 TB/s | FP8、FP4 | NVLink 5，1.8 TB/s |
| B300 | 288 GB HBM3e | ~8 TB/s | FP8、FP4 | NVLink 5，1.8 TB/s |
| MI355X | 288 GB HBM3e | 8 TB/s | FP8、MXFP4 | Infinity Fabric，7 × 153.6 GB/s |

关键在于比值。H200 的带宽比 H100 高 43%，B200 约为 H100 的 2.4 倍。RTX PRO 6000 的显存比 H100 大，但带宽还不到后者的一半，因此它更适合能宽裕装下的模型、大量并行副本和渲染，而不是对延迟要求严苛的大模型推理服务。

精度支持会放大这一效果。与 BF16 相比，FP8 能把权重显存和每个 token 读取的字节数减半，FP4 则再减一半。Hopper 和 Ada 架构的 GPU 在硬件层面支持 FP8；Blackwell GPU 和 MI355X 还增加了对 FP4 的支持。降低精度会带来一定的质量损失，4 位比 8 位更明显，因此请在您自己的评测集上测试。我们关于 [FP8 与 FP4 精度](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)的解读文章详细介绍了这些格式。

## 互联与网络

如果一个模型或一个训练任务跨多张 GPU 运行，GPU 之间的链路就成了计算的一部分。张量并行在每一层都要交换激活值，分片训练（FSDP 或 ZeRO-3）在每一步都要收集权重，混合专家（MoE）模型则要在专家之间来回传送 token。NVLink 4 为每张 H100 或 H200 提供 900 GB/s，NVLink 5 为每张 B200 或 B300 提供 1.8 TB/s，而一个 PCIe Gen5 x16 插槽的双向合计带宽约为 128 GB/s：前两者分别约为后者的 7 倍和 14 倍。我们的 [NVLink 与 PCIe 对比](https://fullgpu.com/zh/blog/nvlink-vs-pcie)一文有更深入的分析。

当 GPU 各自独立工作时，PCIe 完全够用：例如在负载均衡器后面每张 GPU 运行一个模型副本、运行相互独立的实验，或者做渲染。但要把一个大模型拆分到多张卡上，它就不太合适了。

服务器之间的通信，要看网卡。我们的 HGX 服务器为每张 GPU 配备一块网卡：H100、H200 和 B200 服务器为 8 块 400G ConnectX-7，B300 服务器为 8 块 800G ConnectX-8。MI355X 服务器配备 8 块 400G RoCE 网卡，8× RTX PRO 6000 服务器则配备 2 个 100 GbE 端口。如果您计划进行多节点训练，请在订单备注中申请在您的服务器之间开通私有网络。公网方面，单卡套餐配备 10 或 25 Gbps 端口，每月含 20 TB 出站流量；8 卡服务器每月含 50 TB。在 10 Gbps 下，140 GB 的模型以线速下载只需约两分钟，而 10 TB 的数据集则需要两个多小时，因此请提前规划大规模数据传输。

## CPU、内存与 NVMe：喂饱 GPU

再快的 GPU，如果要等待慢吞吞的主机，也只是在昂贵地空转。以下三项主机资源很重要：

- **CPU 核心**负责分词、数据加载、图像或视频解码，以及推理服务器的调度。视觉和视频流水线所需的 CPU 远多于文本。我们的 8 卡服务器配备 112 到 128 个核心，每张 GPU 对应 14 到 16 个；单卡套餐配备 16 到 28 个 vCPU。
- **系统内存**用于存放加载中的检查点、您缓存的数据集，以及您卸载出来的任何数据。常见的经验法则是：内存至少与 GPU 总显存相当；如果要把优化器状态卸载到 CPU，或在 CPU 上合并大型适配器，则需要更多。把 LoRA 适配器合并进 BF16 精度的 70B 模型约需 140 GB 内存：我们的单卡 H100 套餐配备 225 GB 内存，可以轻松完成；64 GB 内存的机器则根本无法完成。
- **本地 NVMe** 存放权重、数据集和检查点。70B 模型全参数微调的可续训检查点连同优化器状态，超过 1 TB。我们的 HGX 服务器配备 8 块 3.84 TB NVMe 硬盘；单卡套餐配备 1 到 3.5 TB。

## 软件生态：CUDA 还是 ROCm

NVIDIA 的 CUDA 软件栈支持最广泛：PyTorch、JAX、vLLM、SGLang 和 TensorRT-LLM 都能在上面运行，大多数科研代码和自定义内核也默认以 CUDA 为前提。AMD 的 ROCm 支持 PyTorch、vLLM 和 SGLang，MI355X 每张 GPU 配备 288 GB 显存；我们的 8× MI355X 服务器每月 US$19,900，约合每 GPU 小时 US$3.41。问题出在长尾上：自定义 CUDA 内核、部分量化库和小众工具可能需要移植，甚至根本无法运行。决定采用 AMD 之前，请把您实际使用的整套技术栈端到端跑一遍；我们的 [AMD ROCm 文档](https://fullgpu.com/zh/docs/amd-rocm)是不错的起点。

## 计费模式：按小时、预留还是按月

同一款 GPU，付费方式不同，成本可能相差悬殊。按秒或按小时计费的按需模式适合短期、难以预测的工作。Spot 或可中断容量更便宜，但可能在运行中途被收回。预留期限以长期承诺换取更低的费率。固定月价的独立服务器适合稳定的工作负载：持续数周的训练、全天候提供服务的推理，以及希望预算固定的团队。

要把月价与小时报价进行比较，用前者除以后者即可：盈亏平衡小时数 = 月价 ÷ 小时费率。如果您每月使用 GPU 的小时数超过这个值，按月计费更便宜。我们的[按月与按小时计费对比](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing)深入分析了其中的权衡。供应情况同样重要：2026年 GPU 算力紧张，按需库存常常售罄，因此只有在您需要时 GPU 确实可用，低费率才有意义。我们按月预付计费，最短期限一个月，不收取开通费，任何月份均可取消；费用从您用加密货币充值的预付余额中支付，银行卡支付即将推出。

## 工作负载与配置对照

下表把常见的 AI 工作负载对应到我们产品目录中的配置。请把它当作起点，并核算您自己的数字。

| 工作负载 | 典型显存需求 | 配置 | 月价 |
| --- | --- | --- | --- |
| 原型开发、7–8B 模型推理、图像生成 | 32 GB 以内 | 1× RTX 5090，32 GB | US$449 |
| BF16 精度的 14B 或 FP8 精度的 32B 模型推理、7–8B 模型的 LoRA | 30–48 GB | 1× L40S，48 GB | US$890 |
| BF16 精度的 32B 模型、视频生成、渲染 | 48–96 GB | 1× RTX PRO 6000，96 GB | US$1,390 |
| 70B 模型的 QLoRA、较小模型的算力密集型训练 | 80 GB 以内 | 1× H100，80 GB | US$2,190 |
| FP8 精度的 70B 模型，承载真实并发和长上下文 | 80–141 GB | 1× H200，141 GB | US$3,090 |
| 在单张 GPU 上运行 BF16 精度的 70B 模型 | 140–180 GB | 1× B200，180 GB | US$4,590 |
| 大批次、超长上下文、FP8 精度的 120B 级模型 | 288 GB 以内 | 1× B300，288 GB | US$5,190 |
| 大量相互独立的推理副本、繁重的渲染任务 | 每张 GPU 96 GB | 8× RTX PRO 6000，768 GB | US$10,490 |
| 70B 模型的 LoRA、8–14B 模型的全参数微调、张量并行推理服务 | 160–640 GB | 8× H100，640 GB | US$16,900 |
| 基于 ROCm 的大显存推理 | 2.3 TB 以内 | 8× MI355X，2,304 GB | US$19,900 |
| BF16 精度的 405B 模型、FP8 精度的 DeepSeek-V3 级 MoE 模型 | 0.7–1 TB | 8× H200，1,128 GB | US$23,900 |
| 70B 模型的全参数微调、预训练 | 1.1 TB 以上 | 8× B200，1,440 GB；或 8× B300，2,304 GB | US$34,900 或 US$39,900 |

对于前沿规模的训练，GB300 NVL72 等机架级系统按申请供货，每 GPU 每月 US$7,990 起，租期 12 至 36 个月。

## 下单前检查清单

1. 写下模型、精度、最大上下文长度和预期并发量；如果是训练，则写下训练方法、序列长度和微批次大小。
2. 计算每张 GPU 所需的显存并留出 10–30% 的余量，再决定用单张 GPU 还是多张。
3. 如果一个模型要跨多张 GPU 运行，请选择带 NVLink 的配置，或者在充分了解 PCIe 的取舍之后再接受它。
4. 确认您的推理或训练方案所依赖的精度格式，例如 FP8 或 FP4。
5. 检查 CPU 核心数、内存（至少与显存总量相当），以及存放权重、数据集和检查点的 NVMe 空间。
6. 对照套餐所含流量估算每月出站流量，并规划服务器之外的备份：除非另有书面约定，我们不会备份本地磁盘。
7. 确认软件栈：CUDA 还是 ROCm、驱动和 CUDA 版本，以及操作系统镜像（Ubuntu 22.04 或 24.04；Debian 或 Rocky Linux 可应要求提供）。
8. 在服务器交付之前，准备好您的 SSH 公钥和防火墙方案。
9. 选择租期：按月续租；或者在拥有运行中的服务器后，通过工单申请 6 到 12 个月的长期租用，如需多台服务器还可申请批量价格。
10. 付款前核对配置、价格和交付日期。我们的服务器在付款后 10 分钟内交付；如果已付款的服务器未能在当天交付，您可以取消订单，全额退款至账户余额。如果您需要特定的国家或地区，请在订单备注中注明。

核对完这份清单后，在我们的[价格页面](https://fullgpu.com/zh/pricing)比较各项配置，然后[部署您的服务器](https://fullgpu.com/zh/deploy)：选择配置、免费创建账户或登录，再用余额支付首月费用，全部在同一个表单中完成。服务器在付款后 10 分钟内交付；如果余额不足，您可以在同一表单中用加密货币充值。

## 常见问题

### 为 AI 选择 GPU 服务器时，最重要的是什么？

首先是显存容量，因为它决定了您的模型、KV 缓存或训练状态到底能否装下。其次再比较显存带宽、精度支持、互联，以及 GPU 周边的 CPU、内存和存储。

### 我需要 NVLink 吗？

当一个模型或一个训练任务要拆分到多张 GPU 上时（例如张量并行或分片训练），就需要 NVLink，因为这些方式在每一层或每一步都要交换数据。对于相互独立的任务，或每张 GPU 运行一个模型副本的情况，PCIe 就足够了。

### GPU 服务器应该配多少系统内存？

常见的经验法则是：内存至少与 GPU 总显存相当；如果要把优化器状态卸载到 CPU、合并大型适配器，或把数据集缓存在内存中，则需要更多。

### AI 应该选 NVIDIA 还是 AMD？

NVIDIA 的 CUDA 软件栈拥有最广泛的软件支持，而 AMD 的 MI355X 在 ROCm 上为每张 GPU 提供 288 GB 显存。做出决定之前，请在 ROCm 上测试您实际使用的框架、内核和量化工具。

### GPU 服务器按月计费和按小时计费，哪个更好？

用月价除以小时费率，即可得到盈亏平衡小时数。一个月中大部分时间都在运行的稳定工作负载，选择按月套餐更便宜；短期或偶尔运行的任务，通常按小时计费更便宜。

## 相关页面

- [大语言模型需要多少显存？](https://fullgpu.com/zh/blog/vram-for-llms): LLM 需要多少显存？快速解答 7B、14B、32B、70B 和 405B 模型在 BF16、FP8 和 4 位精度下的显存需求，另附按上下文长度计算的 KV 缓存，以及装得下模型的 GPU。
- [2026年大语言模型推理最佳 GPU：按模型规模选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference): 大语言模型（LLM）推理的最佳 GPU 取决于模型规模、精度、KV 缓存和显存带宽。使用我们的 2026年选型表，在从 RTX 5090 到 8× B300 的各款配置中做出选择。
- [GPU 服务器价格：全部 GPU 月租价格一览](https://fullgpu.com/zh/pricing): GPU 服务器租用价格 US$449/月起：独立 GPU 按固定月价租用，含流量、IPv4 和工程师 7×24 小时支持，不收开通费，也不收出站流量费。查看全部配置的价格。
- [全部 GPU](https://fullgpu.com/zh/gpus): 我们出租的每款 GPU，附显存、带宽、库存和月价。