# NVLink или PCIe: пропускная способность, топология и когда это важно

> Сравнение NVLink и PCIe: пропускная способность на GPU, NVSwitch и NVL72, каким задачам на нескольких GPU нужен NVLink, а каким хватает PCIe. С расчётами.

Источник: https://fullgpu.com/ru/blog/nvlink-vs-pcie  
Обновлено: 2026-10-22  
Издатель: FullGPU (https://fullgpu.com/)

Сравнение NVLink и PCIe сводится к одному вопросу: насколько быстро GPU могут обмениваться данными друг с другом. PCIe — универсальная шина, которая соединяет GPU с остальными компонентами сервера. NVLink — специализированный канал NVIDIA для связи между GPU: в расчёте на один GPU его пропускная способность примерно в 7–14 раз выше, чем у слота PCIe Gen5 x16. Нужен ли он вам, зависит от того, насколько интенсивно ваши GPU обмениваются данными: для тензорного параллелизма и масштабного обучения он решающий, а для задач на одном GPU и инференса с параллелизмом по данным почти ничего не меняет. Ниже — цифры и задачи для обоих случаев.

## NVLink или PCIe: пропускная способность в цифрах

Сначала об одной ловушке: для PCIe цифры часто приводят для одного направления, а NVIDIA указывает для NVLink сумму по обоим направлениям. Сравнивайте сопоставимое. Для PCIe и NVLink цифры даны в расчёте на один GPU, для сетевых каналов — на один адаптер.

| Канал | В обоих направлениях | В одном направлении | Где встречается |
| --- | --- | --- | --- |
| PCIe Gen4 x16 | ≈ 64 ГБ/с | ≈ 32 ГБ/с | L40S |
| PCIe Gen5 x16 | ≈ 128 ГБ/с | ≈ 64 ГБ/с | RTX PRO 6000, RTX 5090 |
| NVLink 4 | 900 ГБ/с | 450 ГБ/с | H100 и H200 на платах HGX |
| NVLink 5 | 1,8 ТБ/с | 900 ГБ/с | B200 и B300 на платах HGX; GB300 NVL72 |
| Сетевой адаптер 400G | ≈ 100 ГБ/с | 50 ГБ/с | Между серверами |
| Сетевой адаптер 800G | ≈ 200 ГБ/с | 100 ГБ/с | Между серверами |

Получается, что NVLink 4 даёт каждому GPU примерно в 7 раз больше пропускной способности, чем слот PCIe Gen5 x16, а NVLink 5 — примерно в 14 раз больше. Цифры для PCIe следуют из спецификации PCIe (32 ГТ/с на линию для Gen5 и 16 ГТ/с для Gen4, с учётом накладных расходов на кодирование) и являются пиковыми; реальная передача данных идёт несколько медленнее. Цифры для NVLink приводит NVIDIA.

## NVSwitch, платы HGX и стойки NVL72

Пропускная способность на GPU — лишь половина дела. Вторая половина — топология, то есть то, какой GPU может обращаться к какому другому GPU на полной скорости.

- **Серверы с PCIe.** GPU подключены к корневым портам CPU или к коммутаторам PCIe. Трафик между GPU проходит через эти коммутаторы, а между процессорными сокетами — ещё и через канал между CPU. Кроме того, он может делить пропускную способность с сетевыми адаптерами и NVMe-накопителями.
- **Платы HGX.** Восемь GPU SXM установлены на одной базовой плате вместе с чипами NVSwitch, которые соединяют каждый GPU с каждым другим на полной пропускной способности NVLink. Все восемь могут обмениваться данными одновременно и по любой схеме — именно это и нужно коллективным операциям.
- **Стойки NVL72.** [GB300 NVL72](https://fullgpu.com/ru/gpus/nvidia-gb300-nvl72) расширяет домен NVLink с 8 до 72 GPU в пределах стойки с жидкостным охлаждением; суммарная пропускная способность NVLink, по данным NVIDIA, — 130 ТБ/с. Коллективные операции на всех 72 GPU вообще не затрагивают сеть.
- **AMD MI355X.** 8-GPU-платформа AMD использует третий подход: коммутатора нет, зато у каждого GPU семь каналов Infinity Fabric — по данным AMD, по 153,6 ГБ/с каждый, — по одному к каждому из остальных семи GPU.

## Когда интерконнект имеет значение

Пропускная способность между GPU становится узким местом в трёх сценариях.

### Тензорный параллелизм

Тензорный параллелизм делит каждый слой между GPU, и стандартная схема требует двух операций all-reduce на каждый слой трансформера при каждом прямом проходе. Возьмём модель класса 70B (80 слоёв, скрытая размерность 8 192), которая обслуживается с тензорным параллелизмом на 8 GPU и обрабатывает промпт на 8K токенов в BF16. Каждая операция all-reduce охватывает 8 192 токена × 8 192 значения × 2 байта = 128 МиБ. По стандартной оценке для кольцевого алгоритма каждый GPU отправляет за одну операцию all-reduce 2 × 7/8 этого объёма, а всего таких операций 160: около 37,6 ГБ на GPU за один этап prefill. При идеальной пропускной способности в одном направлении:

| Канал | В одном направлении | Идеализированное время передачи 37,6 ГБ |
| --- | --- | --- |
| PCIe Gen5 x16 | 64 ГБ/с | ≈ 0,59 с |
| NVLink 4 | 450 ГБ/с | ≈ 0,08 с |
| NVLink 5 | 900 ГБ/с | ≈ 0,04 с |

Это нижние оценки: они не учитывают задержку и какое-либо перекрытие с вычислениями, но важно именно соотношение. На этапе декодирования (decode) сообщения крошечные, поэтому решающую роль играет уже не пропускная способность, а задержка, и 160 маленьких операций all-reduce на каждом шаге декодирования через PCIe складываются в заметное время.

### Большие операции all-reduce при обучении

При обучении с параллелизмом по данным градиенты синхронизируются на каждом шаге. У модели 7B около 14 ГБ градиентов в BF16, и кольцевой all-reduce на 8 GPU передаёт около 24,5 ГБ на каждый GPU: примерно 0,38 с при скорости PCIe Gen5 в одном направлении против примерно 0,05 с через NVLink 4 — и так на каждом шаге. Фреймворки совмещают этот обмен с обратным проходом, поэтому он мешает, только когда обмен данными длится дольше вычислений, но подходы с шардированием, такие как FSDP и ZeRO-3, добавляют сверху операции all-gather для параметров и ещё больше увеличивают трафик.

### All-to-all в MoE-моделях (mixture of experts)

При параллелизме экспертов скрытое состояние каждого токена отправляется на GPU, где находятся выбранные для него эксперты, и обратно: два обмена all-to-all на каждый MoE-слой. All-to-all нагружает все пары GPU одновременно — именно с такой нагрузкой хорошо справляется коммутируемая фабрика NVLink и плохо справляется древовидная топология PCIe.

| Задача | Трафик между GPU | Чувствительность к интерконнекту |
| --- | --- | --- |
| Тензорный параллелизм | Две операции all-reduce на слой на каждом шаге | Высокая |
| Обучение с полным шардированием (FSDP, ZeRO-3) | All-gather параметров и reduce-scatter градиентов, слой за слоем | Высокая |
| Экспертный параллелизм (MoE) | Два обмена all-to-all на каждый MoE-слой | Высокая |
| Обучение с параллелизмом по данным | Один all-reduce градиентов на шаг, совмещённый с вычислениями | Средняя; высокая для больших моделей |
| Конвейерный параллелизм (pipeline parallelism) | Активации на границах между этапами | От низкой до средней |
| Инференс с параллелизмом по данным, по копии модели на каждом GPU | Нет | Нет |
| Задачи на одном GPU, рендеринг, пакетная обработка | Нет | Нет |

## Когда достаточно PCIe

- **Инференс с параллелизмом по данным для модели, которая помещается на один GPU.** Каждый GPU обслуживает собственную копию модели, а балансировщик нагрузки распределяет запросы. GPU никогда не обмениваются тензорами, поэтому производительность растёт с числом реплик независимо от того, чем они соединены. Какие модели помещаются на одну карту, показано в нашем руководстве [о лучшем GPU для инференса LLM (больших языковых моделей)](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference).
- **Задачи на одном GPU.** Дообучение (fine-tuning) с LoRA для модели, которая помещается на карту, генерация изображений и видео, рендеринг, эмбеддинги и большая часть разработки.
- **Конвейерный параллелизм.** Если модели всё же нужно несколько GPU, при разделении по слоям через каждую границу передаются только активации: для того же промпта на 8K токенов и модели класса 70B — около 134 МБ на границу, примерно 2 мс на скорости PCIe Gen5, против 37,6 ГБ на GPU при тензорном параллелизме. Платить за это приходится задержкой, поскольку для каждого запроса этапы работают последовательно.
- **Тривиально распараллеливаемые задачи.** Пакетный инференс, перебор гиперпараметров и рендер-фермы без труда распределяются по GPU.

И в серверах HGX, и в серверах с PCIe GPU обмениваются данными с хостом по PCIe, чтобы загружать данные и веса, так что PCIe на стороне хоста важен везде. NVLink снимает с шины именно трафик между GPU.

## Серверы с NVLink и с PCIe в нашей линейке

Мы сдаём в аренду [8-GPU-серверы](https://fullgpu.com/ru/products/8-gpu-servers) обоих типов, и интерконнект во многом определяет разницу между ними.

| Сервер | Связь между GPU | Память GPU | Сеть | Цена в месяц |
| --- | --- | --- | --- | --- |
| HGX H100 | NVLink 4, 900 ГБ/с на GPU | 8 × 80 ГБ | 8 × 400G ConnectX-7 | 16 900 $ |
| HGX H200 | NVLink 4, 900 ГБ/с на GPU | 8 × 141 ГБ | 8 × 400G ConnectX-7 | 23 900 $ |
| HGX B200 | NVLink 5, 1,8 ТБ/с на GPU | 8 × 180 ГБ | 8 × 400G ConnectX-7 | 34 900 $ |
| HGX B300 | NVLink 5, 1,8 ТБ/с на GPU | 8 × 288 ГБ | 8 × 800G ConnectX-8 | 39 900 $ |
| 8× MI355X | Полносвязная топология Infinity Fabric, 7 × 153,6 ГБ/с | 8 × 288 ГБ | 8 × 400G RoCE | 19 900 $ |
| 8× RTX PRO 6000 | PCIe Gen5, без NVLink | 8 × 96 ГБ | 2 × 100 GbE | 10 490 $ |

Сервер с [RTX PRO 6000](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000) — самый доступный по цене 8-GPU-сервер в нашем каталоге, с 768 ГБ видеопамяти (VRAM), и для подходящих задач отсутствие NVLink ничего не стоит. Он подходит для таких задач:

- Восемь независимых реплик моделей, которые помещаются в 96 ГБ, — например, модель 70B в FP8 на каждой карте.
- Рендеринг, генерация изображений и видео и другие задачи, где каждый GPU работает сам по себе.
- Инференс с конвейерным параллелизмом для моделей, слишком больших для одного GPU.

Выбирайте вместо него сервер HGX, если вы полагаетесь на тензорный параллелизм в больших масштабах, обучаете модели, которые нужно шардировать между GPU, запускаете MoE-модели с параллелизмом экспертов или планируете обучение на нескольких узлах: в серверах HGX восемь адаптеров 400G или 800G, а в сервере с PCIe — два порта 100 GbE. Тот же выбор для конфигураций с одним GPU разобран в нашем [сравнении RTX PRO 6000 и H100](https://fullgpu.com/ru/compare/rtx-pro-6000-vs-h100).

## За пределами одного сервера: InfiniBand и RoCE

Если не считать стоек NVL72, NVLink заканчивается на границе сервера. Между серверами GPU обмениваются данными через сетевые адаптеры по RDMA — через InfiniBand или через Ethernet с RoCE (RDMA over Converged Ethernet). Адаптер 400G передаёт 50 ГБ/с в одном направлении, поэтому даже при одном адаптере на GPU каждому GPU при обмене с другим сервером достаётся примерно девятая часть его пропускной способности NVLink 4.

Этот разрыв диктует стандартную схему обучения на нескольких узлах: тензорный параллелизм держат внутри сервера, где есть NVLink, а между серверами используют конвейерный параллелизм и параллелизм по данным. NCCL (на AMD — RCCL) выбирает транспорт автоматически: NVLink внутри узла и сеть между узлами. Если задать `NCCL_DEBUG=INFO`, вы увидите, что именно выбрано, а `NCCL_IB_HCA` и `NCCL_SOCKET_IFNAME` позволяют управлять выбором, когда у сервера несколько интерфейсов. [Частная сеть между вашими серверами](https://fullgpu.com/ru/products/private-networking) доступна по запросу, а настройка подробно разобрана в нашем [руководстве по работе с несколькими GPU и NCCL](https://fullgpu.com/ru/docs/multi-gpu-nccl).

## Как проверить, чем соединены ваши GPU

Не верьте спецификациям на слово. Три команды покажут, что на самом деле установлено в сервере NVIDIA:

```
# Connection matrix: NV# means NVLink; PIX, PXB, PHB, NODE and SYS are
# paths of increasing distance through PCIe switches, host bridges and CPUs
nvidia-smi topo -m

# State and speed of each NVLink link (HGX servers)
nvidia-smi nvlink --status

# Measured all-reduce bandwidth across all eight GPUs, from NVIDIA's nccl-tests
./build/all_reduce_perf -b 8M -e 4G -f 2 -g 8
```

В выводе all-reduce столбец «busbw» нормирован так, чтобы его можно было сравнивать с пропускной способностью канала, поэтому он сразу показывает, какую производительность вы получаете — уровня NVLink или уровня PCIe. На сервере с MI355X тот же тест есть в rccl-tests. Запустите его один раз при выдаче сервера и затем каждый раз, когда производительность кажется подозрительной: деградировавший канал здесь заметить гораздо проще, чем в логе обучения.

## Часто задаваемые вопросы

### Быстрее ли NVLink, чем PCIe?

Да, и намного. NVIDIA указывает 900 ГБ/с на GPU для NVLink 4 на H100 и H200 и 1,8 ТБ/с для NVLink 5 на B200 и B300, тогда как у слота PCIe Gen5 x16 — около 128 ГБ/с в обоих направлениях.

### Нужен ли NVLink для инференса LLM?

Только если модель нужно разделить между GPU с помощью тензорного параллелизма. Если модель помещается на один GPU, при запуске отдельной копии на каждом GPU трафика между GPU нет, и PCIe вполне достаточно.

### Поддерживает ли RTX PRO 6000 NVLink?

Нет. RTX PRO 6000 Blackwell Server Edition подключается через PCIe Gen5 и не имеет NVLink, поэтому наш сервер 8× RTX PRO 6000 лучше подходит для независимых реплик, рендеринга и инференса с конвейерным параллелизмом, чем для интенсивного тензорного параллелизма.

### Что такое NVSwitch?

NVSwitch — это чип-коммутатор на базовых платах NVIDIA HGX, который соединяет все восемь GPU друг с другом на полной пропускной способности NVLink, так что все пары могут обмениваться данными одновременно. Стойки NVL72 распространяют ту же идею на домен NVLink из 72 GPU.

### Можно ли обучать модель на нескольких серверах без NVLink между ними?

Да. NVLink соединяет GPU внутри сервера или стойки NVL72, а трафик между серверами идёт через сетевые адаптеры InfiniBand или RoCE. Держите тензорный параллелизм внутри сервера, а между серверами используйте параллелизм по данным или конвейерный параллелизм.

## Связанные страницы

- [Аренда сервера с 8 GPU: bare metal на базе NVIDIA HGX и AMD Instinct](https://fullgpu.com/ru/products/8-gpu-servers): Аренда bare-metal-сервера с 8 GPU: NVIDIA HGX B300, B200, H200, H100, AMD MI355X или 8× RTX PRO 6000. 50 ТБ трафика, помесячно, выдача менее чем за 10 минут.
- [Тесты NCCL на сервере с несколькими GPU: all_reduce_perf шаг за шагом](https://fullgpu.com/ru/docs/multi-gpu-nccl): Как запустить тесты NCCL на сервере с несколькими GPU: проверка топологии NVLink, сборка nccl-tests, busbw в all_reduce_perf и запуск задач torchrun на 8 GPU.
- [Аренда серверов RTX PRO 6000 Blackwell от 1 390 $ в месяц](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000): Аренда RTX PRO 6000: один GPU Blackwell с 96 ГБ за 1 390 $/мес. (≈ 1,90 $ за GPU-час 24/7) или 8-GPU-сервер за 10 490 $. Выделенные GPU, оплата криптовалютой.
- [RTX PRO 6000 vs H100: больше памяти или больше пропускной способности?](https://fullgpu.com/ru/compare/rtx-pro-6000-vs-h100): RTX PRO 6000 vs H100: 96 ГБ GDDR7 за 1 390 $/мес. или 80 ГБ HBM3 с NVLink за 2 190 $. Узнайте, что лучше для инференса 70B или обучения на нескольких GPU.