H200 vs B200: Hopper или Blackwell для вашего следующего GPU-сервера?

H200 или B200 — это выбор между двумя поколениями GPU. H200 — версия Hopper с увеличенным объёмом памяти: 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с. B200 — это уже Blackwell: 180 ГБ HBM3e с пропускной способностью 8 ТБ/с, нативная поддержка FP4, NVLink 5 и, согласно опубликованным спецификациям NVIDIA, примерно в 2,3 раза более высокая производительность в FP8 и BF16 без разреженности. Стоит он при этом 4 590 $ в месяц против 3 090 $. Окупится ли доплата, зависит от того, что ограничивает вашу задачу: объём памяти, пропускная способность памяти или вычислительная мощность.

H200 или B200: краткий ответ

Выбирайте B200, если сможете загрузить его работой: обучение, масштабное дообучение (fine-tuning), инференс с большим числом одновременных запросов или модели, которым нужно больше 141 ГБ на GPU. В пересчёте на каждый доллар он даёт больше вычислительной мощности и пропускной способности, чем H200.

Выбирайте H200, если ваша модель помещается в 141 ГБ, а трафик не упирается в вычислительную мощность Hopper. Он на 1 500 $ дешевле в расчёте на один GPU и на 11 000 $ — в расчёте на 8-GPU-сервер, а гигабайт памяти у него обходится дешевле, чем у B200. Поэтому для инференса моделей класса 70B в FP8 при умеренном трафике он выгоднее.

Память: что помещается на каждом GPU

У B200 на 39 ГБ больше памяти на GPU: в HGX B200 от NVIDIA каждому GPU доступно 180 ГБ из 192 ГБ HBM3e, физически установленных на нём. Этот запас важнее всего для моделей класса 70B в BF16, которые H200 не может обслуживать на одном GPU. В таблице из объёма памяти вычтен примерный размер весов. Оставьте 10–30% остатка на накладные расходы среды выполнения, а остальное пойдёт под KV-кэш.

На 8-GPU-серверах оба поколения вмещают очень большие открытые модели в FP8 в пределах одной машины. B200 оставляет больше места для KV-кэша, а значит, более длинные контексты и больше одновременных запросов на каждом сервере. С обучением теснее: полному дообучению модели 70B с Adam нужно примерно 1,1–1,4 ТБ без учёта активаций, так что на 8× H200 (1 128 ГБ) без выгрузки места на практике не остаётся, а для 8× B200 (1 440 ГБ) это предел. Калькулятор видеопамяти (VRAM) посчитает то же самое для вашей модели и длины контекста.

Вычислительная мощность и точность: FP8, BF16 и FP4

NVIDIA указывает для H200 1 979 TFLOPS в FP8 и 989 TFLOPS в BF16 без разреженности. Для B200 это 4,5 и 2,25 PFLOPS — примерно в 2,3 раза больше, а Blackwell к тому же добавляет FP4 с 9 PFLOPS без разреженности. Это пиковые показатели производителя, которых реальные задачи на обоих GPU достигают лишь частично, но их соотношение — разумный ориентир для задач, которые действительно упираются в вычислительную мощность: обучения с большими батчами, этапа prefill для длинных промптов и одновременного обслуживания множества пользователей. На обоих GPU обучение и инференс в FP8 идут через Transformer Engine от NVIDIA; его второе поколение в Blackwell добавляет FP4.

FP4 ещё раз вдвое сокращает память под веса по сравнению с FP8, а NVIDIA указывает для него на Blackwell вдвое более высокую пиковую производительность, чем для FP8. Но даром это не даётся: качество ответов зависит от модели и от того, как её квантовали, поэтому перед переходом проверьте его на собственном наборе данных для оценки. На H200 веса всё же можно хранить в 4 битах с помощью квантования только весов — это экономит память, но вычисления идут в более высокой точности. Компромиссы разобраны в нашем руководстве по FP8 и FP4.

Пропускная способность и NVLink: инференс и масштабирование на несколько GPU

При генерации токенов веса и KV-кэш считываются из памяти на каждом шаге, поэтому при малых и средних размерах батча генерация упирается в пропускную способность памяти. У B200 это 8 ТБ/с — на 67% больше, чем 4,8 ТБ/с у H200. Для интерактивного инференса, где каждый пользователь ждёт результатов декодирования (decode), это самое прямое улучшение, и оно работает независимо от того, используете ли вы FP4.

Для связи между GPU NVLink 5 даёт каждому B200 1,8 ТБ/с против 900 ГБ/с у NVLink 4 в H200. При тензорном параллелизме GPU обмениваются активациями на каждом слое, поэтому более быстрая связь сокращает время, которое восемь GPU тратят на ожидание друг друга. Для связи между серверами наши HGX B200 и HGX H200 используют одинаковую сеть 8 × 400G ConnectX-7, и в обоих стоят два процессора Xeon (всего 112 ядер), 2 ТБ DDR5 и 8 × 3,84 ТБ NVMe — различаются только GPU. Почему эта связь так важна, объясняет наша статья о сравнении NVLink и PCIe.

Стоимость в месяц и что дают 1 000 $

Один B200 стоит 4 590 $ в месяц — на 1 500 $ (49%) больше, чем H200 за 3 090 $. Сервер HGX B200 с восемью GPU стоит 34 900 $ против 23 900 $ за HGX H200 — на 11 000 $ (46%) больше. В пересчёте на каждые 1 000 $ ежемесячных расходов на тарифы с одним GPU:

По пропускной способности и вычислительной мощности на каждый доллар выгоднее B200, по объёму памяти — H200. Два примера с расчётами. Модель 70B в FP8 при умеренном трафике помещается на один H200 с большим запасом под KV-кэш; если один H200 справляется, B200 обойдётся на 1 500 $ в месяц дороже ради запаса, которым вы не воспользуетесь. Если же вы упираетесь в вычислительную мощность и иначе взяли бы два H200 (6 180 $), один B200 (4 590 $) даёт больше заявленной производителем вычислительной мощности в FP8, чем оба вместе (4,5 против 3,96 PFLOPS), хотя суммарно памяти у него меньше (180 против 282 ГБ) и пропускная способность ниже (8 против 9,6 ТБ/с).

Для обучения сравнивайте стоимость одного запуска, а не месяца. HGX B200 стоит примерно в 1,46 раза дороже HGX H200, тогда как NVIDIA указывает примерно в 2,3 раза большую вычислительную мощность без разреженности, а пропускная способность выше примерно в 1,67 раза. Оба соотношения выше соотношения цен, поэтому, если ваша задача масштабируется с ростом вычислительной мощности или пропускной способности, постоянно загруженный сервер B200 — более дешёвый способ выполнить ту же работу. B200, который ждёт загрузки данных, работает с маленькими батчами или простаивает из-за пустой очереди задач, это преимущество теряет.

Программное обеспечение, наличие и как сделать выбор

Hopper — более старая платформа, поэтому почти все фреймворки, библиотеки ядер (kernels) и контейнеры уже её поддерживают. Для Blackwell нужны CUDA 12.8 или новее и сборки фреймворков, скомпилированные под эту архитектуру. Blackwell поддерживают актуальные релизы основных фреймворков и движков инференса, но контейнеры, привязанные к старым версиям CUDA, или ядра, вручную оптимизированные под Hopper, может понадобиться пересобрать или портировать. Что входит в наши образы, смотрите на странице о драйверах NVIDIA и CUDA. Оба GPU есть в наличии — как по одному, так и в 8-GPU-серверах.

• Модель с KV-кэшем примерно до 125 ГБ при умеренном трафике: H200.
• Примерно от 125 до 160 ГБ на GPU или модели 70B в BF16: B200.
• Обучение, упирающееся в вычислительную мощность, или нагруженный инференс, которому пригодится дополнительная производительность: B200.
• Нужно ещё больше памяти на GPU: сравните B200 с B300 на 288 ГБ в нашем сравнении B200 и B300.