# RTX PRO 6000 vs H100: больше памяти или больше пропускной способности?

> RTX PRO 6000 vs H100: 96 ГБ GDDR7 за 1 390 $/мес. или 80 ГБ HBM3 с NVLink за 2 190 $. Узнайте, что лучше для инференса 70B или обучения на нескольких GPU.

Источник: https://fullgpu.com/ru/compare/rtx-pro-6000-vs-h100  
Обновлено: 2026-10-22  
Издатель: FullGPU (https://fullgpu.com/)

**Коротко:** Для инференса больших квантованных моделей на одном GPU RTX PRO 6000 даёт больше памяти за меньшие деньги; для обучения на нескольких GPU и инференса, упирающегося в пропускную способность, правильный инструмент — H100.

## Характеристики RTX PRO 6000 и H100

| Характеристика | NVIDIA RTX PRO 6000 Blackwell | NVIDIA H100 SXM |
| --- | --- | --- |
| Архитектура | Blackwell | Hopper |
| Видеопамять | 96 ГБ GDDR7 ECC | 80 ГБ HBM3 |
| Пропускная способность памяти | 1,6 ТБ/с | 3,35 ТБ/с |
| FP4 | 4 000 AI TOPS | — |
| FP8 | Поддерживается | 1 979 TFLOPS |
| BF16 / FP16 | Поддерживается | 989 TFLOPS |
| Интерконнект GPU | PCIe Gen5 x16 | NVLink 4 · 900 ГБ/с |
| Форм-фактор | Двухслотовая карта PCIe · Server Edition | Модуль SXM5 · HGX H100 |
| Макс. энергопотребление | До 600 Вт | 700 Вт |

## Помесячные цены в FullGPU

| Конфигурация | Тип | Видеопамять | Процессор | ОЗУ | Накопители | Сеть | Цена в месяц (USD) | За GPU-час | Наличие |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| [NVIDIA RTX PRO 6000 Blackwell](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000) | Один GPU | 96 ГБ GDDR7 | 16 vCPU | 188 ГБ | 1,92 ТБ NVMe | 10 Гбит/с | 1 390 $ | 1,90 $ | В наличии, выдача менее чем за 10 минут после оплаты |
| [8× NVIDIA RTX PRO 6000 Blackwell](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000) | 8-GPU-сервер | 8 × 96 ГБ GDDR7 | 2× EPYC 9555 · 128 ядер | 1,5 ТБ DDR5 | 4× 3,84 ТБ NVMe | 2× 100 GbE | 10 490 $ | 1,80 $ | В наличии, выдача менее чем за 10 минут после оплаты |
| [NVIDIA H100 SXM](https://fullgpu.com/ru/gpus/nvidia-h100) | Один GPU | 80 ГБ HBM3 | 24 vCPU | 225 ГБ | 2 ТБ NVMe | 25 Гбит/с | 2 190 $ | 3,00 $ | В наличии, выдача менее чем за 10 минут после оплаты |
| [8× NVIDIA HGX H100](https://fullgpu.com/ru/gpus/nvidia-h100) | 8-GPU-сервер | 8 × 80 ГБ HBM3 | 2× Xeon 8480+ · 112 ядер | 2 ТБ DDR5 | 8× 3,84 ТБ NVMe | 8× 400G ConnectX-7 | 16 900 $ | 2,89 $ | В наличии, выдача менее чем за 10 минут после оплаты |

За GPU-час = цена в месяц ÷ число GPU ÷ 730 часов. Это значение приводится только для сравнения с почасовыми предложениями: каждый тариф оплачивается по фиксированной цене в месяц.

## Выбирайте RTX PRO 6000, если…

- Вы обслуживаете модель класса 70B в FP8 или в 4-битном формате на одном GPU, и вам нужно место для KV-кэша.
- Вам нужно больше видеопамяти на каждый доллар: около 14,48 $ за ГБ в месяц против 27,38 $.
- Вам нужен инференс в FP4 или рендеринг на GPU наряду с задачами ИИ.
- Ваши задачи на нескольких GPU используют параллелизм по данным и не требуют NVLink.

## Выбирайте H100, если…

- Вы обучаете модели или выполняете их полное дообучение на нескольких GPU.
- Для вашего инференса важна задержка, а модель с запасом помещается в 80 ГБ.
- Ваш стек оптимизирован под Hopper, включая обучение в FP8 с Transformer Engine.
- Вы планируете многоузловые задачи, которым нужна сеть 400G на каждый GPU.

## Обзор

Сравнение RTX PRO 6000 и H100 необычно: более новая карта стоит меньше и вмещает больше, а у более старой пропускная способность памяти выше более чем вдвое. У NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ GDDR7 с пропускной способностью около 1,6 ТБ/с. У H100 SXM — 80 ГБ HBM3 с пропускной способностью 3,35 ТБ/с, а с соседними GPU он соединён через NVLink. Мы сдаём в аренду RTX PRO 6000 за 1 390 $ в месяц и H100 за 2 190 $.

## RTX PRO 6000 или H100: краткий ответ

Для инференса на одном GPU, особенно моделей класса 70B в FP8 или в 4-битном формате, RTX PRO 6000 обычно выгоднее: больше места для весов и KV-кэша, а стоит он на 800 $ в месяц меньше. Для обучения, полного дообучения (fine-tuning) и всего, что распределяется между несколькими GPU, выбирайте H100. Его HBM3, NVLink и архитектура Hopper созданы именно для такой работы, а у RTX PRO 6000 нет NVLink.

## Память: что дают 96 ГБ для инференса моделей класса 70B

Модель 70B занимает примерно 70 ГБ в FP8 и 35 ГБ в 4-битном формате, так что оба варианта помещаются на обе карты. Разница в том, что остаётся для KV-кэша, который растёт с каждым токеном контекста и с каждым одновременным запросом.

| Модель класса 70B | Веса, примерно | Остаётся на H100, 80 ГБ | Остаётся на RTX PRO 6000, 96 ГБ |
| --- | --- | --- | --- |
| Веса в FP8 | 70 ГБ | Около 10 ГБ | Около 26 ГБ |
| 4-битные веса | 35 ГБ | Около 45 ГБ | Около 61 ГБ |
| Веса в BF16 | 140 ГБ | Не помещается | Не помещается |

С механизмом grouped-query attention (80 слоёв и 8 KV-голов, как у Llama 3 70B) KV-кэш в FP8 занимает около 0,16 МБ на токен. После весов в FP8 оставшиеся на H100 10 ГБ вмещают примерно 60 000 токенов контекста на все запросы вместе, причём часть этого объёма забирают накладные расходы среды выполнения. На RTX PRO 6000 остаётся 26 ГБ — это примерно 160 000 токенов: достаточно для одного полного контекста в 128K токенов или для множества более коротких диалогов. С 4-битными весами места хватает на обеих картах, и разница менее важна.

Для модели 70B в BF16 ни одной из карт в одиночку не хватит. Нужны два GPU, соединённых через NVLink, — например, в нашем 8-GPU-сервере HGX H100, — или один [NVIDIA B200](https://fullgpu.com/ru/gpus/nvidia-b200) со 180 ГБ. Более широкий выбор разобран в нашем [руководстве по выбору лучшего GPU для инференса LLM (больших языковых моделей)](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference).

## Пропускная способность и вычислительная мощность: где H100 впереди

NVIDIA указывает для HBM3 в H100 пропускную способность 3,35 ТБ/с, а для GDDR7 в RTX PRO 6000 — около 1,6 ТБ/с. При генерации токенов на каждом шаге из памяти считываются веса и KV-кэш, поэтому, когда модель помещается на обе карты, H100 считывает её примерно в 2,1 раза быстрее. Для инференса, чувствительного к задержке, с моделью, которая помещается в 80 ГБ, это реальное преимущество.

Данные производителя о вычислительной мощности говорят о том же. Для H100 NVIDIA указывает 1 979 TFLOPS в FP8 без разреженности и 3 958 с разреженностью, а для RTX PRO 6000 — 2 PFLOPS в FP8 с разреженностью. По показателям с разреженностью H100 примерно вдвое впереди. Инференс с большими батчами и этап prefill на длинных промптах опираются на вычислительную мощность, поэтому это влияет как на производительность, так и на задержку.

Ответ RTX PRO 6000 — FP4. Blackwell поддерживает FP4 в тензорных ядрах, и NVIDIA указывает для этой карты 4 PFLOPS в FP4 с разреженностью — примерно столько же, сколько у H100 в FP8 с разреженностью. Самая низкая точность с плавающей запятой, которую поддерживает Hopper, — FP8; на H100 4-битные форматы, такие как AWQ или GPTQ, сокращают расход памяти, но вычисления идут в более высокой точности. Если ваша модель сохраняет качество в FP4, на бумаге большая часть разрыва в вычислительной мощности исчезает. О качестве — в нашем [разборе форматов FP8 и FP4](https://fullgpu.com/ru/blog/fp8-fp4-precision-explained).

## NVLink, масштабирование на несколько GPU и обучение

Здесь H100 на своём поле. В нашем сервере HGX H100 у каждого GPU 900 ГБ/с по NVLink 4 через коммутаторы NVLink. Тензорный параллелизм, FSDP и другие методы обучения с шардированием постоянно передают градиенты, параметры и активации, и весь этот трафик идёт по NVLink. У RTX PRO 6000 нет NVLink: GPU в нашем сервере 8× RTX PRO 6000 обмениваются данными через PCIe Gen5, у которого пропускная способность — лишь малая доля этой.

При обучении потребность в памяти быстро растёт. Полное дообучение с Adam требует примерно 16–20 байт на параметр без учёта активаций: около 112–140 ГБ для модели 7B и намного больше 1 ТБ для модели 70B. Это работа для нескольких GPU, и место ей — на GPU, соединённых через NVLink, таких как 8× H100. Методам с адаптерами нужно гораздо меньше. QLoRA для модели 70B — около 35 ГБ 4-битных весов плюс адаптеры и активации — помещается на одну карту любого из двух типов, а дополнительные 16 ГБ у RTX PRO 6000 позволяют взять более длинные последовательности или более крупные батчи. Варианты разобраны на нашей странице о [дообучении](https://fullgpu.com/ru/solutions/fine-tuning).

Между серверами разрыв ещё больше. У HGX H100 — 8 сетевых адаптеров ConnectX-7 400G, по одному на GPU, а у сервера 8× RTX PRO 6000 — 2× 100 GbE. О многоузловых задачах читайте на странице [об обучении LLM](https://fullgpu.com/ru/solutions/llm-training): именно платформа H100 создана для такой работы.

## Цена в месяц и выгодность

Один RTX PRO 6000 стоит 1 390 $ в месяц, около 1,90 $ за GPU-час; один H100 — 2 190 $, около 3,00 $. В пересчёте на гигабайт видеопамяти (VRAM) это около 14,48 $ против 27,38 $ в месяц: на RTX PRO 6000 гигабайт обходится примерно вдвое дешевле.

На уровне серверов 8× RTX PRO 6000 стоит 10 490 $ в месяц за 768 ГБ видеопамяти. HGX H100 стоит 16 900 $ за 640 ГБ с NVLink и сетью на 3,2 Тбит/с. Если вы обслуживаете много независимых реплик модели, сервер с RTX PRO 6000 вмещает больше и стоит на 6 410 $ в месяц меньше. Если вы обучаете одну модель на всех восьми GPU, вы платите именно за интерконнект H100. Сравните варианты в [калькуляторе стоимости GPU](https://fullgpu.com/ru/tools/gpu-cost-calculator).

Пример расчёта: инференс модели 70B в FP8. На 8× RTX PRO 6000 каждый GPU держит собственную копию модели, и для KV-кэша остаётся около 26 ГБ, поэтому вы запускаете восемь независимых реплик без обмена данными между GPU. На HGX H100 одна копия на GPU оставляет для KV-кэша лишь около 10 ГБ, поэтому вы, скорее всего, объедините GPU в пары через NVLink и запустите четыре реплики, у каждой из которых будет около 90 ГБ запаса.

## Как выбрать

1. Один GPU, модель класса 70B в FP8 или в 4-битном формате, много пользователей или длинные контексты: RTX PRO 6000.
2. Один GPU, модель, которая с запасом помещается в 80 ГБ, минимальная задержка на запрос: H100.
3. Обучение или полное дообучение на нескольких GPU: 8× H100 с NVLink.
4. Много независимых реплик, рендеринг или генеративный контент: 8× RTX PRO 6000.

Если вам нужны и объём, и пропускная способность на одном GPU, посмотрите на ступень выше: у H200 — 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с за 3 090 $ в месяц; см. [сравнение H100 и H200](https://fullgpu.com/ru/compare/h100-vs-h200).

Оба GPU работают с CUDA, а в наших образах Ubuntu уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit. Переход с одного на другой — вопрос подбора конфигурации, а не портирования, при условии что ваши сборки поддерживают Blackwell, которому нужна CUDA 12.8 или новее.

## Часто задаваемые вопросы

### RTX PRO 6000 быстрее, чем H100?

По данным производителя — нет: у H100 примерно в 2,1 раза выше пропускная способность памяти и примерно вдвое выше заявленная производительность в FP8 с разреженностью. Зато у RTX PRO 6000 больше памяти и нативная поддержка FP4, а это важнее, когда модель едва помещается на H100.

### Какой GPU выбрать для модели 70B в FP8?

Веса занимают около 70 ГБ, поэтому для KV-кэша и накладных расходов остаётся примерно 10 ГБ на H100 и 26 ГБ на RTX PRO 6000. Для большого числа одновременных пользователей или длинных контекстов комфортный выбор — RTX PRO 6000 или H200 со 141 ГБ.

### Можно ли обучать модели на RTX PRO 6000?

Да, если задача выполняется на одном GPU, например LoRA и QLoRA: здесь 96 ГБ дают место для более длинных последовательностей. Для обучения на нескольких GPU из-за отсутствия NVLink лучше подходит платформа 8× H100.

### Поддерживает ли RTX PRO 6000 NVLink?

Нет. RTX PRO 6000 Blackwell Server Edition подключается только через PCIe Gen5, а H100 SXM в наших серверах HGX используют NVLink 4 со скоростью 900 ГБ/с на каждый GPU.

### Что лучше для рендеринга на GPU?

RTX PRO 6000: у него есть RT-ядра для аппаратной трассировки лучей. H100 — вычислительный GPU без RT-ядер, созданный для ИИ и HPC, а не для графики.

## Связанные страницы

- [Аренда серверов RTX PRO 6000 Blackwell от 1 390 $ в месяц](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000): Аренда RTX PRO 6000: один GPU Blackwell с 96 ГБ за 1 390 $/мес. (≈ 1,90 $ за GPU-час 24/7) или 8-GPU-сервер за 10 490 $. Выделенные GPU, оплата криптовалютой.
- [Аренда серверов NVIDIA H100 SXM от 2 190 $ в месяц](https://fullgpu.com/ru/gpus/nvidia-h100): Аренда выделенного NVIDIA H100 SXM за 2 190 $/мес. (≈ 3,00 $ за GPU-час 24/7) или 8-GPU HGX H100 за 16 900 $. Фиксированная цена, выдача менее чем за 10 минут.
- [RTX PRO 6000 vs L40S: стоит ли доплачивать за 96 ГБ?](https://fullgpu.com/ru/compare/rtx-pro-6000-vs-l40s): RTX PRO 6000 vs L40S для рендеринга, генеративного контента и инференса: 96 против 48 ГБ, FP4 против FP8, 1 390 $ против 890 $/мес. Узнайте, что вам подойдёт.
- [L40S vs H100: какой GPU подходит для вашей задачи и бюджета?](https://fullgpu.com/ru/compare/l40s-vs-h100): Сравнение L40S и H100: 48 ГБ GDDR6 и 864 ГБ/с за 890 $/мес. против 80 ГБ HBM3 и 3,35 ТБ/с за 2 190 $. Какие модели помещаются и для чего лучше каждый GPU.
- [H100 vs H200: одинаковая вычислительная мощность Hopper, очень разная память](https://fullgpu.com/ru/compare/h100-vs-h200): H100 vs H200: та же вычислительная мощность Hopper, 80 ГБ и 3,35 ТБ/с против 141 ГБ и 4,8 ТБ/с. Что помещается на один GPU, расчёт KV-кэша и цена в месяц.
- [GPU-серверы для инференса LLM: круглосуточно и по фиксированной цене](https://fullgpu.com/ru/solutions/inference): GPU-серверы для инференса LLM с vLLM, SGLang или TensorRT-LLM: расчёт KV-кэша, FP8 и FP4, 20–50 ТБ трафика включено. Посмотрите расчёты.