B200 vs B300: стоит ли переходить на Blackwell Ultra?

Выбор между B200 и B300 зависит от меньшего числа факторов, чем может показаться. Оба GPU относятся к поколению Blackwell: у обоих пропускная способность памяти около 8 ТБ/с, NVLink 5 со скоростью 1,8 ТБ/с на каждый GPU и, согласно опубликованным спецификациям NVIDIA, одинаковая производительность без разреженности в FP8 (4,5 PFLOPS) и BF16 (2,25 PFLOPS). B300, он же Blackwell Ultra от NVIDIA, меняет три вещи: 288 ГБ HBM3e вместо 180 ГБ, 13,5 PFLOPS в FP4 без разреженности вместо 9 и, на наших серверах HGX, сеть 800G на каждый GPU вместо 400G. Всё, о чём говорится на этой странице, вытекает из этих трёх различий.

B200 или B300: краткий ответ

Если ваши задачи работают в FP8 или BF16 и помещаются в 180 ГБ на GPU, B200 делает ту же работу, стоит на 600 $ меньше в расчёте на GPU и на 5 000 $ меньше за 8-GPU-сервер и есть в наличии. B300 оправдывает доплату, когда вам не хватает памяти, когда вы обслуживаете модели в FP4 или когда обучаете модели на нескольких серверах и вам нужны более быстрые каналы между ними.

288 ГБ против 180 ГБ: что меняет дополнительная память

Главное преимущество B300 — на 108 ГБ больше памяти на каждом GPU. В таблице примерная потребность в памяти сопоставлена с объёмом без учёта накладных расходов среды выполнения, под которые стоит оставить запас 10–30%:

Дополнительная память позволяет и обслуживать больше запросов одновременно. При инференсе модели 70B в FP8 на одном GPU у B200 под KV-кэш остаётся около 110 ГБ, а у B300 — около 218 ГБ, то есть в обработке одновременно может находиться примерно вдвое больше токенов. Для инференса с длинным контекстом и с большими батчами это может значить больше любых показателей вычислительной мощности. Память может изменить и число GPU, которое нужно модели: модель, которую приходится делить между двумя B200, может поместиться на один B300, и тогда обмен данными между ними исчезает полностью.

Вычислительная мощность: прирост в FP4 и что остаётся прежним

NVIDIA указывает для B300 13,5 PFLOPS в FP4 без разреженности против 9 PFLOPS у B200 — на 50% больше. С разреженностью в FP4 у обоих по 18 PFLOPS, а показатели без разреженности в FP8 и BF16 одинаковы. На практике:

• Инференс в FP4: фазы, упирающиеся в вычислительную мощность, например prefill длинных промптов и декодирование (decode) с большими батчами, могут выиграть от более высокого пикового показателя в FP4 без разреженности.
• Обучение и дообучение в BF16 или FP8: разницы в вычислительной мощности нет. B300 помогает только за счёт памяти: более крупные микробатчи, более длинные последовательности, меньше GPU на одну реплику модели.
• Декодирование, упирающееся в пропускную способность: у обоих около 8 ТБ/с, поэтому веса и KV-кэш считываются на любом из двух GPU с одинаковой скоростью.

У FP4 есть свои компромиссы — по качеству и по инструментарию: итоговое качество зависит от модели и рецепта квантования, поэтому проверяйте его на собственном наборе данных для оценки. Форматы подробно описаны в нашем разборе FP8 и FP4.

Каким задачам B300 даёт больше всего

• MoE-модели. На каждый токен они задействуют лишь часть своих параметров, поэтому вычислений на токен немного, а все эксперты должны оставаться в памяти. Сколько GPU им нужно, решает объём памяти, а не вычислительная мощность, — и именно этим B300 и отличается.
• Инференс с длинным контекстом. KV-кэш растёт вместе с длиной контекста и числом одновременных запросов; вдвое больше свободной памяти — это примерно вдвое больше токенов в обработке.
• Несколько моделей на одном GPU. Основную модель, черновую модель для спекулятивного декодирования, модель эмбеддингов и реранкер легче уместить вместе в 288 ГБ.
• Крупные задачи дообучения на одном узле. Полное дообучение модели 70B помещается на один HGX B300, и второй сервер не понадобится.

Пример расчёта: MoE-модели примерно на 670B параметров при инференсе в BF16 только под веса нужно около 1 340 ГБ. Один HGX B300 вмещает её с запасом около 960 ГБ — за 39 900 $ в месяц. На B200 ей нужны два сервера HGX — 69 800 $ в месяц — плюс сеть, чтобы их связать. Если ваши модели помещаются в 180 ГБ на GPU, всё это к вам не относится, и выгоднее выбрать B200.

800G против 400G: сеть между серверами

Внутри сервера обе платформы HGX соединяют восемь GPU через NVLink 5 со скоростью 1,8 ТБ/с на каждый GPU, поэтому для задач на одном узле разницы нет. Различаются они в связи между серверами: в нашем HGX B300 восемь адаптеров ConnectX-8 800G, по одному на каждый GPU, а в HGX B200 — восемь адаптеров ConnectX-7 400G. Вдвое большая пропускная способность сети на каждый GPU сокращает время обмена градиентами при обучении с параллелизмом по данным и время передачи данных между узлами при конвейерном параллелизме (pipeline parallelism) и параллелизме экспертов. Хост-система тоже мощнее: два процессора Xeon 6776P, всего 128 ядер, и 4 ТБ DDR5 против двух Xeon 8570 со 112 ядрами и 2 ТБ в сервере с B200.

Если вы планируете связать несколько серверов, при заказе попросите в примечаниях для наших инженеров настроить между ними частную сеть. Если сервер один, сами по себе адаптеры 800G — не повод выбирать B300.

Цена в месяц, цена гигабайта и наличие

Один B300 стоит 5 190 $ в месяц, а B200 — 4 590 $: доплата в 600 $, или 13%, даёт на 60% больше памяти. 8-GPU-сервер HGX B300 стоит 39 900 $ против 34 900 $ — на 5 000 $ (14%) больше. В пересчёте на гигабайт видеопамяти (VRAM) B300 заметно дешевле: около 18,02 $ против 25,50 $ в месяц в тарифах с одним GPU и 17,32 $ против 24,24 $ на 8-GPU-серверах. В пересчёте на единицу пропускной способности или вычислительной мощности в FP8 и BF16 дешевле B200: эти показатели у них одинаковы, а стоит он меньше.

Тарифы с одним GPU различаются не только самим GPU: с B300 вы получаете 28 vCPU, 384 ГБ оперативной памяти и 3,5 ТБ NVMe, с B200 — 26 vCPU, 256 ГБ и 2,75 ТБ. Для развёртываний больше одного сервера есть стойка GB300 NVL72: 72 GPU Blackwell Ultra в одном домене NVLink, срок аренды — 12–36 месяцев.

Как выбрать

1. Оцените объём памяти: веса в нужной вам точности, плюс KV-кэш для вашей длины контекста и числа одновременных запросов, плюс запас 10–30%. Если получается меньше примерно 160 ГБ на GPU, хватит B200.
2. Проверьте точность: в FP8 и BF16 вычислительная мощность одинакова, поэтому платите за B300, только если вам нужна память.
3. Проверьте топологию: на одном сервере подойдёт любой из двух; если несколько серверов обучают модель вместе, помогут каналы 800G.
4. Проверьте наличие: B200 есть в наличии, B300 мало в наличии, а любой из них, заказанный на странице развёртывания, выдаётся менее чем за 10 минут после оплаты.

То, что B300 мало в наличии, не обязательно должно вас останавливать. Аренда помесячная, без платы за отмену, поэтому можно начать с B200, который есть в наличии уже сегодня, заказать B300, когда он понадобится, с выдачей менее чем за 10 минут после оплаты, и отменить B200 в конце оплаченного месяца.