RTX PRO 6000 vs H100: больше памяти или больше пропускной способности?

Сравнение RTX PRO 6000 и H100 необычно: более новая карта стоит меньше и вмещает больше, а у более старой пропускная способность памяти выше более чем вдвое. У NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ GDDR7 с пропускной способностью около 1,6 ТБ/с. У H100 SXM — 80 ГБ HBM3 с пропускной способностью 3,35 ТБ/с, а с соседними GPU он соединён через NVLink. Мы сдаём в аренду RTX PRO 6000 за 1 390 $ в месяц и H100 за 2 190 $.

RTX PRO 6000 или H100: краткий ответ

Для инференса на одном GPU, особенно моделей класса 70B в FP8 или в 4-битном формате, RTX PRO 6000 обычно выгоднее: больше места для весов и KV-кэша, а стоит он на 800 $ в месяц меньше. Для обучения, полного дообучения (fine-tuning) и всего, что распределяется между несколькими GPU, выбирайте H100. Его HBM3, NVLink и архитектура Hopper созданы именно для такой работы, а у RTX PRO 6000 нет NVLink.

Память: что дают 96 ГБ для инференса моделей класса 70B

Модель 70B занимает примерно 70 ГБ в FP8 и 35 ГБ в 4-битном формате, так что оба варианта помещаются на обе карты. Разница в том, что остаётся для KV-кэша, который растёт с каждым токеном контекста и с каждым одновременным запросом.

С механизмом grouped-query attention (80 слоёв и 8 KV-голов, как у Llama 3 70B) KV-кэш в FP8 занимает около 0,16 МБ на токен. После весов в FP8 оставшиеся на H100 10 ГБ вмещают примерно 60 000 токенов контекста на все запросы вместе, причём часть этого объёма забирают накладные расходы среды выполнения. На RTX PRO 6000 остаётся 26 ГБ — это примерно 160 000 токенов: достаточно для одного полного контекста в 128K токенов или для множества более коротких диалогов. С 4-битными весами места хватает на обеих картах, и разница менее важна.

Для модели 70B в BF16 ни одной из карт в одиночку не хватит. Нужны два GPU, соединённых через NVLink, — например, в нашем 8-GPU-сервере HGX H100, — или один NVIDIA B200 со 180 ГБ. Более широкий выбор разобран в нашем руководстве по выбору лучшего GPU для инференса LLM (больших языковых моделей).

Пропускная способность и вычислительная мощность: где H100 впереди

NVIDIA указывает для HBM3 в H100 пропускную способность 3,35 ТБ/с, а для GDDR7 в RTX PRO 6000 — около 1,6 ТБ/с. При генерации токенов на каждом шаге из памяти считываются веса и KV-кэш, поэтому, когда модель помещается на обе карты, H100 считывает её примерно в 2,1 раза быстрее. Для инференса, чувствительного к задержке, с моделью, которая помещается в 80 ГБ, это реальное преимущество.

Данные производителя о вычислительной мощности говорят о том же. Для H100 NVIDIA указывает 1 979 TFLOPS в FP8 без разреженности и 3 958 с разреженностью, а для RTX PRO 6000 — 2 PFLOPS в FP8 с разреженностью. По показателям с разреженностью H100 примерно вдвое впереди. Инференс с большими батчами и этап prefill на длинных промптах опираются на вычислительную мощность, поэтому это влияет как на производительность, так и на задержку.

Ответ RTX PRO 6000 — FP4. Blackwell поддерживает FP4 в тензорных ядрах, и NVIDIA указывает для этой карты 4 PFLOPS в FP4 с разреженностью — примерно столько же, сколько у H100 в FP8 с разреженностью. Самая низкая точность с плавающей запятой, которую поддерживает Hopper, — FP8; на H100 4-битные форматы, такие как AWQ или GPTQ, сокращают расход памяти, но вычисления идут в более высокой точности. Если ваша модель сохраняет качество в FP4, на бумаге большая часть разрыва в вычислительной мощности исчезает. О качестве — в нашем разборе форматов FP8 и FP4.

NVLink, масштабирование на несколько GPU и обучение

Здесь H100 на своём поле. В нашем сервере HGX H100 у каждого GPU 900 ГБ/с по NVLink 4 через коммутаторы NVLink. Тензорный параллелизм, FSDP и другие методы обучения с шардированием постоянно передают градиенты, параметры и активации, и весь этот трафик идёт по NVLink. У RTX PRO 6000 нет NVLink: GPU в нашем сервере 8× RTX PRO 6000 обмениваются данными через PCIe Gen5, у которого пропускная способность — лишь малая доля этой.

При обучении потребность в памяти быстро растёт. Полное дообучение с Adam требует примерно 16–20 байт на параметр без учёта активаций: около 112–140 ГБ для модели 7B и намного больше 1 ТБ для модели 70B. Это работа для нескольких GPU, и место ей — на GPU, соединённых через NVLink, таких как 8× H100. Методам с адаптерами нужно гораздо меньше. QLoRA для модели 70B — около 35 ГБ 4-битных весов плюс адаптеры и активации — помещается на одну карту любого из двух типов, а дополнительные 16 ГБ у RTX PRO 6000 позволяют взять более длинные последовательности или более крупные батчи. Варианты разобраны на нашей странице о дообучении.

Между серверами разрыв ещё больше. У HGX H100 — 8 сетевых адаптеров ConnectX-7 400G, по одному на GPU, а у сервера 8× RTX PRO 6000 — 2× 100 GbE. О многоузловых задачах читайте на странице об обучении LLM: именно платформа H100 создана для такой работы.

Цена в месяц и выгодность

Один RTX PRO 6000 стоит 1 390 $ в месяц, около 1,90 $ за GPU-час; один H100 — 2 190 $, около 3,00 $. В пересчёте на гигабайт видеопамяти (VRAM) это около 14,48 $ против 27,38 $ в месяц: на RTX PRO 6000 гигабайт обходится примерно вдвое дешевле.

На уровне серверов 8× RTX PRO 6000 стоит 10 490 $ в месяц за 768 ГБ видеопамяти. HGX H100 стоит 16 900 $ за 640 ГБ с NVLink и сетью на 3,2 Тбит/с. Если вы обслуживаете много независимых реплик модели, сервер с RTX PRO 6000 вмещает больше и стоит на 6 410 $ в месяц меньше. Если вы обучаете одну модель на всех восьми GPU, вы платите именно за интерконнект H100. Сравните варианты в калькуляторе стоимости GPU.

Пример расчёта: инференс модели 70B в FP8. На 8× RTX PRO 6000 каждый GPU держит собственную копию модели, и для KV-кэша остаётся около 26 ГБ, поэтому вы запускаете восемь независимых реплик без обмена данными между GPU. На HGX H100 одна копия на GPU оставляет для KV-кэша лишь около 10 ГБ, поэтому вы, скорее всего, объедините GPU в пары через NVLink и запустите четыре реплики, у каждой из которых будет около 90 ГБ запаса.

Как выбрать

1. Один GPU, модель класса 70B в FP8 или в 4-битном формате, много пользователей или длинные контексты: RTX PRO 6000.
2. Один GPU, модель, которая с запасом помещается в 80 ГБ, минимальная задержка на запрос: H100.
3. Обучение или полное дообучение на нескольких GPU: 8× H100 с NVLink.
4. Много независимых реплик, рендеринг или генеративный контент: 8× RTX PRO 6000.

Если вам нужны и объём, и пропускная способность на одном GPU, посмотрите на ступень выше: у H200 — 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с за 3 090 $ в месяц; см. сравнение H100 и H200.

Оба GPU работают с CUDA, а в наших образах Ubuntu уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit. Переход с одного на другой — вопрос подбора конфигурации, а не портирования, при условии что ваши сборки поддерживают Blackwell, которому нужна CUDA 12.8 или новее.