# NVLink 与 PCIe 对比：带宽、拓扑，以及何时真正重要

> NVLink 与 PCIe 对比：每张 GPU 的带宽、NVSwitch 与 NVL72 机架，哪些多 GPU 工作负载离不开 NVLink、哪些在 PCIe 上就能良好运行，并附具体的计算示例。

来源：https://fullgpu.com/zh/blog/nvlink-vs-pcie  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

NVLink 与 PCIe 的区别，说到底是 GPU 之间交换数据的速度问题。PCIe 是把 GPU 连接到服务器其余部分的通用总线。NVLink 则是 NVIDIA 专为 GPU 间通信设计的链路，每张 GPU 的带宽约为 PCIe Gen5 x16 插槽的 7 到 14 倍。您是否需要它，取决于 GPU 之间的通信量有多大：对张量并行和大规模训练而言，它起决定性作用；对单卡任务和数据并行推理服务而言，它几乎无关紧要。下面给出具体数字，以及分属两边的工作负载。

## NVLink 与 PCIe：带宽数据

先说一个陷阱：PCIe 的数字通常按单向给出，而 NVIDIA 给出的 NVLink 数字是双向合计。比较时要统一口径。表中 PCIe 和 NVLink 的数字按每张 GPU 计，网络链路按每块网卡计。

| 链路 | 双向合计 | 单向 | 见于 |
| --- | --- | --- | --- |
| PCIe Gen4 x16 | ≈ 64 GB/s | ≈ 32 GB/s | L40S |
| PCIe Gen5 x16 | ≈ 128 GB/s | ≈ 64 GB/s | RTX PRO 6000、RTX 5090 |
| NVLink 4 | 900 GB/s | 450 GB/s | HGX 基板上的 H100 和 H200 |
| NVLink 5 | 1.8 TB/s | 900 GB/s | HGX 基板上的 B200 和 B300；GB300 NVL72 |
| 400G 网卡 | ≈ 100 GB/s | 50 GB/s | 服务器之间 |
| 800G 网卡 | ≈ 200 GB/s | 100 GB/s | 服务器之间 |

因此，NVLink 4 为每张 GPU 提供的带宽约为 PCIe Gen5 x16 插槽的 7 倍，NVLink 5 约为 14 倍。PCIe 的数字依据 PCIe 规范推算（Gen5 每通道 32 GT/s，Gen4 每通道 16 GT/s，已扣除编码开销），均为峰值；实际传输速率会略低一些。NVLink 的数字来自 NVIDIA。

## NVSwitch、HGX 基板与 NVL72 机架

每张 GPU 的带宽只是问题的一半。另一半是拓扑，也就是哪张 GPU 能以全速访问哪些其他 GPU。

- **PCIe 服务器。**GPU 挂在 CPU 根端口或 PCIe 交换芯片上。GPU 之间的流量要经过这些交换芯片；跨 CPU 插槽时，还要经过 CPU 之间的链路。此外，这些流量可能与网卡和 NVMe 硬盘共享带宽。
- **HGX 基板。**8 张 SXM GPU 位于同一块基板上，由 NVSwitch 芯片以完整的 NVLink 带宽把每张 GPU 与其余每张 GPU 连接起来。全部 8 张 GPU 可以同时以任意模式交换数据，这正是集合通信所需要的。
- **NVL72 机架。**[GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 把 NVLink 域从 8 张 GPU 扩展到整个液冷机架中的 72 张 GPU；根据 NVIDIA 的数据，NVLink 总带宽为 130 TB/s。跨全部 72 张 GPU 的集合通信完全不经过网络。
- **AMD MI355X。**AMD 的 8 卡平台采用了第三种方案：不用交换芯片，而是每张 GPU 配备 7 条 Infinity Fabric 链路，分别连向其余 7 张 GPU；根据 AMD 的数据，每条链路的带宽为 153.6 GB/s。

## 什么时候互联至关重要

以下三种模式会让 GPU 间带宽成为瓶颈。

### 张量并行

张量并行把每一层都切分到多张 GPU 上，在标准方案中，每次前向传播的每个 Transformer 层都需要两次 all-reduce 操作。以一个 70B 级模型（80 层，隐藏维度 8,192）为例：用张量并行部署在 8 张 GPU 上，以 BF16 处理一个 8K token 的提示词。每次 all-reduce 涉及 8,192 个 token × 8,192 个值 × 2 字节 = 128 MiB。按标准的环形算法估算，每次 all-reduce 中每张 GPU 要发送其中的 2 × 7/8，共 160 次：一次预填充（prefill）下来，每张 GPU 约传输 37.6 GB。按理想的单向带宽计算：

| 链路 | 单向带宽 | 传输 37.6 GB 的理想耗时 |
| --- | --- | --- |
| PCIe Gen5 x16 | 64 GB/s | ≈ 0.59 s |
| NVLink 4 | 450 GB/s | ≈ 0.08 s |
| NVLink 5 | 900 GB/s | ≈ 0.04 s |

这些都是下限，没有计入延迟，也没有考虑与计算的重叠，但关键在于比值。在解码（decode）阶段，消息非常小，因此起主导作用的是延迟而不是带宽；在 PCIe 上，每个解码步骤 160 次小规模 all-reduce 累积起来，开销也相当可观。

### 训练中的大规模 all-reduce

数据并行训练在每一步都要同步梯度。7B 模型的 BF16 梯度约为 14 GB，在 8 张 GPU 上做一次环形 all-reduce，每张 GPU 约传输 24.5 GB：按 PCIe Gen5 的单向速率约需 0.38 s，而在 NVLink 4 上约为 0.05 s，而且每一步都是如此。框架会让通信与反向传播重叠进行，因此只有当通信时间超过计算时间时才会造成影响；但 FSDP 和 ZeRO-3 等分片方法还要额外执行参数 all-gather，进一步增加通信量。

### 混合专家模型的 all-to-all

在专家并行中，每个 token 的隐藏状态要发送到存放其所选专家的 GPU 上，再传回来：每个 MoE 层需要两次 all-to-all 交换。all-to-all 会同时占用每一对 GPU 之间的链路，这恰恰是交换式 NVLink 互联擅长、而 PCIe 树形结构不擅长处理的。

| 工作负载 | GPU 间流量 | 对互联的敏感度 |
| --- | --- | --- |
| 张量并行 | 每一步、每一层两次 all-reduce | 高 |
| 全分片训练（FSDP、ZeRO-3） | 逐层执行参数 all-gather 和梯度 reduce-scatter | 高 |
| 专家并行（MoE） | 每个 MoE 层两次 all-to-all 交换 | 高 |
| 数据并行训练 | 每一步一次梯度 all-reduce，与计算重叠进行 | 中；大模型为高 |
| 流水线并行 | 在各阶段边界传递激活值 | 低到中 |
| 数据并行推理，每张 GPU 一个模型副本 | 无 | 无 |
| 单卡任务、渲染、批处理 | 无 | 无 |

## 什么时候 PCIe 就够用

- **对单卡装得下的模型做数据并行推理。**每张 GPU 运行自己的模型副本，由负载均衡器分发请求。GPU 之间从不交换张量，因此无论用什么连接，吞吐量都会随副本数量增长。我们的[大语言模型推理最佳 GPU 选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference)列出了哪些模型单卡就能装下。
- **单卡工作。**对单卡装得下的模型做 LoRA 微调、图像和视频生成、渲染、嵌入向量计算，以及大部分开发工作。
- **流水线并行。**当一个模型确实需要多张 GPU 时，按层切分只需在每个边界传递激活值：同样是在 70B 级模型上处理 8K token 的提示词，每个边界约 134 MB，按 PCIe Gen5 的速度约需 2 ms，而张量并行下每张 GPU 要传输 37.6 GB。代价是延迟，因为对每个请求而言，各个阶段是依次执行的。
- **易并行任务。**批量推理、超参数搜索和渲染农场都能干净利落地拆分到多张 GPU 上。

无论是 HGX 服务器还是 PCIe 服务器，GPU 都要通过 PCIe 与主机通信，以加载数据和权重，因此主机侧的 PCIe 在任何服务器上都很重要。NVLink 从总线上移走的，是 GPU 之间的流量。

## 我们产品线中的 NVLink 服务器与 PCIe 服务器

两类 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)我们都出租，而互联方式正是它们之间的一大区别。

| 服务器 | GPU 间互联 | 显存 | 网络 | 月价 |
| --- | --- | --- | --- | --- |
| HGX H100 | NVLink 4，每张 GPU 900 GB/s | 8 × 80 GB | 8 × 400G ConnectX-7 | US$16,900 |
| HGX H200 | NVLink 4，每张 GPU 900 GB/s | 8 × 141 GB | 8 × 400G ConnectX-7 | US$23,900 |
| HGX B200 | NVLink 5，每张 GPU 1.8 TB/s | 8 × 180 GB | 8 × 400G ConnectX-7 | US$34,900 |
| HGX B300 | NVLink 5，每张 GPU 1.8 TB/s | 8 × 288 GB | 8 × 800G ConnectX-8 | US$39,900 |
| 8× MI355X | Infinity Fabric 全互联，7 × 153.6 GB/s | 8 × 288 GB | 8 × 400G RoCE | US$19,900 |
| 8× RTX PRO 6000 | PCIe Gen5，无 NVLink | 8 × 96 GB | 2 × 100 GbE | US$10,490 |

[RTX PRO 6000](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000) 服务器是我们产品目录中价格最低的 8 卡服务器，配备 768 GB 显存；对于合适的工作负载，没有 NVLink 不会带来任何损失。它适合：

- 运行 8 个相互独立的模型副本（模型需能装入 96 GB），例如每张卡运行一个 FP8 精度的 70B 模型。
- 渲染、图像和视频生成，以及其他按 GPU 独立进行的工作。
- 以流水线并行方式为单卡装不下的模型提供推理服务。

如果您依赖大规模张量并行、要训练必须跨 GPU 分片的模型、运行专家并行的 MoE 模型，或者计划进行多节点训练，请改选 HGX 服务器：HGX 服务器配备 8 块 400G 或 800G 网卡，而这台 PCIe 服务器只有 2 个 100 GbE 端口。我们的 [RTX PRO 6000 与 H100 对比](https://fullgpu.com/zh/compare/rtx-pro-6000-vs-h100)从单卡的角度分析了同一个选择。

## 跨服务器：InfiniBand 与 RoCE

除 NVL72 机架外，NVLink 止步于服务器边界。在服务器之间，GPU 通过网卡使用 RDMA 通信，底层可以是 InfiniBand，也可以是采用 RoCE（RDMA over Converged Ethernet，融合以太网上的 RDMA）的以太网。一块 400G 网卡的单向带宽为 50 GB/s，因此即使每张 GPU 配备一块网卡，GPU 与另一台服务器通信时，也只能获得其 NVLink 4 带宽的约九分之一。

这一差距决定了多节点训练的标准布局：把张量并行限制在服务器内部，也就是 NVLink 所在的地方；跨服务器则采用流水线并行和数据并行。NCCL（AMD 平台上为 RCCL）会自动选择传输方式：节点内走 NVLink，节点之间走网络。设置 `NCCL_DEBUG=INFO` 可以查看它选择了什么；当服务器有多个网络接口时，可以用 `NCCL_IB_HCA` 和 `NCCL_SOCKET_IFNAME` 来引导它。[您的服务器之间的私有网络](https://fullgpu.com/zh/products/private-networking)可应要求开通，我们的[多 GPU 与 NCCL 指南](https://fullgpu.com/zh/docs/multi-gpu-nccl)详细介绍了相关配置。

## 如何查看 GPU 之间的互联方式

不要轻信规格表。在 NVIDIA 服务器上，三条命令就能告诉您实际拿到的是什么：

```
# Connection matrix: NV# means NVLink; PIX, PXB, PHB, NODE and SYS are
# paths of increasing distance through PCIe switches, host bridges and CPUs
nvidia-smi topo -m

# State and speed of each NVLink link (HGX servers)
nvidia-smi nvlink --status

# Measured all-reduce bandwidth across all eight GPUs, from NVIDIA's nccl-tests
./build/all_reduce_perf -b 8M -e 4G -f 2 -g 8
```

在 all-reduce 的输出中，“busbw”一列经过归一化，可以直接与链路带宽比较，因此能直观地看出您得到的是 NVLink 级还是 PCIe 级的性能。在 MI355X 服务器上，rccl-tests 提供同样的基准测试。请在交付时运行一次，之后每当性能看起来不对劲时再运行一次：在这里发现性能下降的链路，比在训练日志里容易得多。

## 常见问题

### NVLink 比 PCIe 快吗？

是的，而且快得多。根据 NVIDIA 公布的数据，H100 和 H200 上的 NVLink 4 每张 GPU 为 900 GB/s，B200 和 B300 上的 NVLink 5 为 1.8 TB/s；而一个 PCIe Gen5 x16 插槽的双向合计带宽约为 128 GB/s。

### LLM 推理需要 NVLink 吗？

只有当模型必须通过张量并行拆分到多张 GPU 上时才需要。如果模型单卡就能装下，每张 GPU 运行一个副本，GPU 之间不会产生流量，PCIe 就足够了。

### RTX PRO 6000 支持 NVLink 吗？

不支持。RTX PRO 6000 Blackwell Server Edition 通过 PCIe Gen5 连接，没有 NVLink，因此我们的 8× RTX PRO 6000 服务器更适合相互独立的副本、渲染和流水线并行推理服务，而不是高强度的张量并行。

### NVSwitch 是什么？

NVSwitch 是 NVIDIA HGX 基板上的交换芯片，它以完整的 NVLink 带宽把全部 8 张 GPU 两两互联，使每一对 GPU 都能同时通信。NVL72 机架把同样的思路扩展到由 72 张 GPU 组成的 NVLink 域。

### 服务器之间没有 NVLink，也能跨多台服务器训练吗？

可以。NVLink 连接的是一台服务器或一个 NVL72 机架内部的 GPU，服务器之间的流量则通过 InfiniBand 或 RoCE 网卡传输。请把张量并行限制在服务器内部，跨服务器则采用数据并行或流水线并行。

## 相关页面

- [8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct](https://fullgpu.com/zh/products/8-gpu-servers): 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，提供承诺交付日期。
- [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。
- [租用 RTX PRO 6000 Blackwell 服务器，每月 US$1,390 起](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000): RTX PRO 6000 租用：单张 96 GB Blackwell GPU US$1,390/月（全天候满载约合每 GPU 小时 US$1.90），8 卡服务器 US$10,490/月。独享，使用加密货币支付。
- [RTX PRO 6000 与 H100 对比：要更大的显存，还是更高的带宽？](https://fullgpu.com/zh/compare/rtx-pro-6000-vs-h100): RTX PRO 6000 与 H100 对比：US$1,390/月的 96 GB GDDR7 显存，还是 US$2,190/月、带 NVLink 的 80 GB HBM3 显存？看看哪款更适合 70B 推理或多 GPU 训练。