MI355X vs B200: сравнение памяти, программного стека и стоимости

Выбор между MI355X и B200 сводится к дилемме: память или программное обеспечение. У AMD Instinct MI355X 288 ГБ HBM3e на GPU, у NVIDIA B200 — 180 ГБ HBM3e. Для обоих заявлена пропускная способность памяти 8 ТБ/с, а опубликованные производителями пиковые показатели вычислительной мощности различаются примерно на 10%. Разделяют их объём памяти на GPU, программный стек (ROCm или CUDA), конфигурации, которые мы сдаём в аренду, и цена в месяц.

MI355X или B200: краткий ответ

Выбирайте MI355X, когда модели, её контексту или батчу нужно больше 180 ГБ на GPU, а ваш код работает на фреймворках с поддержкой ROCm, таких как PyTorch и vLLM. Выбирайте B200, когда вы зависите от компонентов только для CUDA, когда достаточно одного GPU или когда вам нужны инструменты NVIDIA для моделей в NVFP4.

Разница в цене большая. MI355X мы сдаём в виде 8-GPU-сервера за 19 900 $ в месяц — около 3,41 $ за GPU-час. Сервер HGX B200 стоит 34 900 $ в месяц — около 5,98 $ за GPU-час. Кроме того, мы сдаём один B200 за 4 590 $ в месяц, а MI355X — только целым 8-GPU-сервером.

Память: 288 ГБ против 180 ГБ и что помещается

Веса занимают примерно число параметров × число байт на параметр: 2 байта в BF16, 1 байт в FP8, 0,5 байта в FP4. Заложите ещё 10–30% на KV-кэш, активации и накладные расходы среды выполнения. В таблице учтены только веса, поэтому считайте каждое значение нижней границей.

Группы тензорного параллелизма обычно состоят из 2, 4 или 8 GPU, поэтому три B200 в теории на практике часто превращаются в четыре. Закономерность сохраняется в любом случае: с MI355X той же модели нужно меньше GPU, и на каждом из них остаётся больше свободной памяти.

Эта свободная память — ваш ресурс для обслуживания запросов. Модель класса 70B с механизмом grouped-query attention (80 слоёв и 8 KV-голов размерностью 128, как у Llama 3 70B) хранит в 16-битном формате около 0,33 МБ KV-кэша на токен, поэтому один диалог на 8K токенов занимает около 2,7 ГБ. С загруженными весами в BF16 в 40 ГБ запаса на B200 помещается примерно 15 таких диалогов, а в 148 ГБ на MI355X — примерно 55, без учёта накладных расходов. Одному контексту на 128K токенов нужно около 43 ГБ — больше, чем остаётся на B200. Если хранить KV-кэш в FP8, затраты памяти на токен на обоих GPU сократятся вдвое.

Вычислительная мощность и точность: MXFP4 и MXFP6 против NVFP4

AMD указывает для MI355X 5,0 PFLOPS в FP8 и 2,5 PFLOPS в BF16 без разреженности. NVIDIA указывает для B200 4,5 и 2,25 PFLOPS в тех же форматах. Оба производителя примерно удваивают эти показатели за счёт структурированной разреженности, которая применима только к моделям, прореженным по соответствующей схеме. На бумаге MI355X впереди примерно на 10%. Однако пиковые показатели — это не реальная производительность: то, что вы получите, определяют ядра (kernels), библиотеки и обмен данными между GPU, и именно здесь проявляется зрелость программного обеспечения.

4-битные форматы различаются сильнее, чем можно подумать по основным цифрам. В CDNA 4 от AMD появилась аппаратная поддержка MXFP6 и MXFP4 — форматов Microscaling, стандартизированных в рамках Open Compute Project, — и для MXFP4 AMD указывает 10,1 PFLOPS. Blackwell тоже поддерживает форматы MX и добавляет NVFP4 — собственный 4-битный формат NVIDIA: он масштабирует значения блоками по 16 с масштабным коэффициентом в FP8, тогда как MXFP4 использует блоки по 32 с масштабом в виде степени двойки. По словам NVIDIA, более тонкое масштабирование позволяет 4-битным моделям лучше сохранять качество исходной модели. Для B200 NVIDIA указывает 9 PFLOPS в FP4 без разреженности и 18 — с разреженностью.

На практике, если вы планируете обслуживать опубликованные чекпоинты NVFP4 с помощью инструментов NVIDIA, B200 — самый прямой путь. Модели в FP8, BF16 или MXFP4 оба GPU поддерживают аппаратно, и проверять нужно поддержку формата в вашем фреймворке для инференса. Как форматы влияют на качество, разобрано в нашем руководстве по форматам точности FP8 и FP4.

Пропускная способность, интерконнект и масштабирование на несколько GPU

По пропускной способности памяти — ничья: оба производителя указывают 8 ТБ/с. Генерация токенов обычно ограничена тем, как быстро веса и KV-кэш поступают из памяти, поэтому на модели, которая помещается на оба GPU, пропускная способность их не различает. Различает объём памяти.

А вот связь между GPU устроена по-разному. В HGX B200 у каждого GPU 1,8 ТБ/с пропускной способности NVLink 5 через коммутаторы NVLink, поэтому любая пара GPU обменивается данными на полной скорости NVLink. Платформа MI355X соединяет каждый GPU напрямую с семью остальными через Infinity Fabric: AMD указывает семь каналов по 153,6 ГБ/с, всего около 1,08 ТБ/с на GPU. Коллективные операции, такие как all-reduce, распределяют трафик по всей полносвязной топологии, а передача между двумя конкретными GPU идёт по единственному соединяющему их каналу.

Для обучения с интенсивным обменом данными и тензорным параллелизмом на большом числе GPU у коммутируемого NVLink в B200 больше запаса. В инференсе MI355X часто обходит эту проблему: модель, которой нужны четыре B200, может поместиться на два GPU MI355X, так что трафика изначально меньше. Для связи между серверами у обоих есть восемь сетевых портов 400G, по одному на GPU: ConnectX-7 в HGX B200 и RoCE в MI355X. Частная сеть между вашими серверами доступна по запросу.

Стоимость в месяц и выгода

Сервер 8× MI355X стоит 19 900 $ в месяц, а HGX B200 — 34 900 $. Разница — 15 000 $ в месяц, или 180 000 $ за год. В пересчёте на гигабайт видеопамяти (VRAM) это около 8,64 $ в месяц у MI355X против 24,24 $ у B200: почти втрое больше памяти на каждый доллар.

Сильная сторона B200 — гранулярность. Если вашей задаче хватает одного GPU, из двух вариантов подходит только один B200 за 4 590 $ в месяц. Четыре отдельных B200 стоят 18 360 $ — почти как один сервер MI355X, — но это четыре отдельные виртуальные машины без NVLink между ними: они хороши для независимых задач, но не для одной модели, разделённой между несколькими GPU.

Если вам нужно 288 ГБ на GPU, но нельзя уходить с CUDA, у NVIDIA B300 тоже 288 ГБ HBM3e; сервер HGX B300 стоит 39 900 $ в месяц. Чтобы сравнить итоговые суммы за нужный вам срок, воспользуйтесь калькулятором стоимости GPU.

Программное обеспечение: ROCm против CUDA на практике

Эту часть нужно проверять, а не принимать на веру. PyTorch и vLLM поддерживают ROCm, а сборки PyTorch для ROCm сохраняют привычный интерфейс устройств torch.cuda, поэтому большая часть кода моделей работает без изменений. Коллективные операции выполняются через RCCL — аналог NCCL от AMD. Стек, построенный на этих компонентах, обычно переносится на MI355X установкой и настройкой, а не переписыванием кода.

Трудности возникают на периферии. Собственные ядра CUDA нужно портировать на HIP — похожий на CUDA программный интерфейс AMD; инструменты AMD HIPIFY переводят значительную часть исходного кода, но результат всё равно нужно тестировать и настраивать. ПО только для NVIDIA, например TensorRT-LLM, на GPU AMD не работает, а у некоторых библиотек только для CUDA нет сборки для ROCm. Проверяйте каждую зависимость, а не только фреймворк.

На B200 ничего этого не нужно: почти каждая библиотека для ИИ в первую очередь ориентирована на CUDA. В наших образах Ubuntu уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, а для серверов AMD мы предоставляем образы с ROCm. Начните с наших материалов о работе с ROCm и о PyTorch и vLLM.

Как сделать выбор

1. Составьте список зависимостей. Если что-то работает только на CUDA и не может быть заменено, выбирайте B200.
2. Оцените нужный объём памяти по правилу «байт на параметр» плюс KV-кэш. Если одному экземпляру модели нужно больше 180 ГБ на GPU, с MI355X понадобится меньше GPU.
3. Соотнесите масштаб. Один GPU — это один B200; если нужен целый узел, имеет смысл прицениться к серверу MI355X.
4. Проверьте, прежде чем брать обязательства. Минимальный срок — один месяц, и вы можете бесплатно отменить аренду в любом месяце, поэтому можно запустить реальную задачу на MI355X, прежде чем соглашаться на более длительный срок.

Серверов MI355X мало в наличии. Разверните MI355X через одну форму: выберите конфигурацию, создайте бесплатный аккаунт или войдите в свой и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут после оплаты, а если оплаченный сервер не выдан в тот же день, вы можете отменить заказ с полным возвратом средств на баланс. В форме заказа есть необязательное поле для примечаний, где можно описать вашу задачу для наших инженеров.