H100 vs H200: одинаковая вычислительная мощность Hopper, очень разная память

Выбрать между H100 и H200 проще, чем в большинстве сравнений GPU. Оба — GPU NVIDIA поколения Hopper, и NVIDIA указывает для них одинаковую вычислительную мощность: 989 TFLOPS в BF16 и 1 979 TFLOPS в FP8 без разреженности. Различается память. У H200 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с, у H100 — 80 ГБ HBM3 с пропускной способностью 3,35 ТБ/с. Правильный выбор зависит от того, сколько памяти нужно вашей модели, её KV-кэшу и вашему батчу, а также от того, во что упирается ваша задача — в вычислительную мощность или в память.

H100 или H200: краткий ответ

Выбирайте H100, когда всё помещается в 80 ГБ на GPU с запасом: дообучение (fine-tuning) с LoRA, инференс моделей примерно до 30B параметров и задачи обучения, которые при шардировании уже свободно распределены по GPU. Вы получаете ту же вычислительную мощность за 2 190 $ в месяц вместо 3 090 $.

Выбирайте H200, когда ограничением становится память: модели класса 70B под реальным трафиком, длинные промпты, RAG (генерация, дополненная поиском) с большими контекстами или много одновременных пользователей. Здесь дополнительные 61 ГБ решают, будет ли задача работать на одном GPU или ей понадобится несколько.

Что помещается на один GPU

Веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и полбайта в 4-битных форматах. Сверху добавляются KV-кэш, который растёт вместе с длиной контекста и числом одновременных запросов, и запас 10–30% на активации и накладные расходы среды выполнения. Свободная память в таблице ниже — простая разность, без учёта KV-кэша и накладных расходов:

На 8-GPU-серверах в сумме 640 ГБ против 1 128 ГБ. Модель 405B в FP8, около 405 ГБ весов, помещается на оба, но под KV-кэш и накладные расходы на сервере с H100 остаётся около 235 ГБ, а на сервере с H200 — около 723 ГБ. В BF16, около 810 ГБ, она помещается только на сервер с H200. Калькулятор видеопамяти (VRAM) выполнит тот же расчёт для вашей конкретной модели, точности и длины контекста.

Длинные контексты и KV-кэш

Веса — лишь часть расхода памяти. Во время инференса каждый токен каждого активного диалога хранит свои ключи и значения в видеопамяти. Возьмём распространённую архитектуру моделей 70B с механизмом grouped-query attention (80 слоёв, 8 KV-голов размерностью 128): KV-кэшу нужно около 0,33 МБ на токен в BF16 или около 0,16 МБ в FP8.

• На одном H100 с моделью в FP8 после учёта накладных расходов под KV-кэш остаётся не больше примерно 5 ГБ: около 30 000 токенов в FP8 на все одновременные запросы.
• На одном H200 остаётся примерно 55–60 ГБ: больше 300 000 токенов в FP8.

Одному контексту длиной 128K токенов нужно около 21 ГБ KV-кэша в FP8: на H200 он помещается рядом с весами в FP8, а на H100 — нет. Когда кэш заполнен, движки инференса ставят запросы в очередь или прибегают к вытеснению (preemption), поэтому число одновременно обслуживаемых запросов падает, хотя у GPU ещё остаётся свободная вычислительная мощность. При инференсе моделей класса 70B обычно именно это и решает выбор.

Пропускная способность памяти и генерация токенов

Чтобы сгенерировать каждый новый токен, нужно считать из памяти веса модели и KV-кэш каждого запроса. Поэтому при малых и средних размерах батча декодирование (decode) упирается в память: тензорные ядра ждут HBM. H200 передаёт 4,8 ТБ/с против 3,35 ТБ/с у H100 — на 43% больше байт в секунду при той же вычислительной мощности, — поэтому он выигрывает больше всего именно там, где H100 ждёт память.

Prefill — обработка промпта — упирается в основном в вычислительную мощность, и здесь оба GPU близки. Задачи, в которых преобладают длинные промпты и короткие ответы, например классификация или извлечение данных, выигрывают от H200 меньше, чем чат-боты, агенты или генерация кода с длинными ответами.

Обучение, дообучение и 8-GPU-серверы

В обучении разрыв ещё меньше: те же тензорные ядра, тот же NVLink 4 со скоростью 900 ГБ/с на каждый GPU и, в нашем каталоге, та же хост-система. Оба сервера HGX оснащены двумя процессорами Xeon 8480+ (112 ядер), 2 ТБ DDR5, восемью NVMe-накопителями по 3,84 ТБ и восемью адаптерами ConnectX-7 400G. Если задача обучения уже помещается на 8× H100 при разумном размере батча, сервер с H100 сделает ту же работу на 7 000 $ в месяц дешевле.

С дообучением та же логика. QLoRA для модели 70B загружает веса в 4 битах — около 35 ГБ, — поэтому работает на одном H100 с запасом под активации. LoRA для той же модели в BF16 держит в памяти около 140 ГБ замороженных весов, а они не помещаются на один GPU ни того, ни другого типа; для такой задачи закладывайте 8-GPU-сервер.

При масштабировании память всё равно важна. Полному дообучению с Adam нужно примерно 16–20 байт на параметр без учёта активаций, поэтому модели 30B требуется около 480–600 ГБ: на 8× H100 (640 ГБ) это помещается, но для активаций почти ничего не остаётся, а на 8× H200 (1 128 ГБ) — свободно. Для инференса сервер 8× H200 вмещает на одной машине MoE-модель (mixture of experts) на 671B параметров в FP8 — около 671 ГБ весов; 640 ГБ памяти H100 для этого недостаточно. О моделях такого класса — в нашем руководстве по системным требованиям DeepSeek; оба сервера представлены в разделе 8-GPU-серверы.

Цена в месяц и выгода

Один H200 стоит 3 090 $ в месяц против 2 190 $ за H100: на 900 $, или на 41%, больше. На 8-GPU-серверах — 23 900 $ против 16 900 $, тоже на 41% больше. Что даёт доплата:

• Память Объём на 76% больше, поэтому гигабайт у H200 дешевле: около 21,91 $ против 27,38 $ в месяц.
• Пропускная способность На 43% выше, примерно соразмерно цене: около 644 $ против 654 $ в месяц за 1 ТБ/с.
• Вычислительная мощность Никакой прибавки, поэтому для задач, упирающихся в вычислительную мощность, H100 даёт больше заявленных производителем FLOPS на доллар.

Пример расчёта: 30 одновременных диалогов по 8K токенов с моделью 70B в FP8 требуют около 40 ГБ KV-кэша. Один H100 вмещает три-четыре таких диалога одновременно, один H200 — все 30, и ещё остаётся запас. Разделить модель между двумя серверами с одним H100 на практике не получится: у отдельных серверов нет общего NVLink, поэтому следующий шаг на H100 — целый 8-GPU-сервер за 16 900 $. Для такой нагрузки H200 за 3 090 $ — явно более дешёвый вариант.

Как выбрать

1. Оцените веса: число параметров × число байт на параметр в той точности, в которой будете запускать модель.
2. Добавьте KV-кэш для самого длинного контекста, умноженный на целевое число одновременных запросов.
3. Добавьте запас 10–30%. Если получилось меньше примерно 70 ГБ, начните с H100; от 70 до 125 ГБ — берите H200; если больше, смотрите наше сравнение H200 и B200.

Оба GPU работают с одними и теми же сборками CUDA, поэтому переход между ними не требует изменений в коде, а в наших образах Ubuntu уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit. Оба есть в наличии — и как отдельные GPU, и в составе 8-GPU-серверов, — и в каждом заказе гарантированная дата выдачи показывается до оплаты. О том, как рассчитать ресурсы для развёртывания в продакшене, — на странице об инференсе на выделенных GPU.