MI355X vs H200: вдвое больше памяти или проверенный стек?

Выбор между MI355X и H200 — это компромисс между возможностями оборудования и привычкой. У AMD Instinct MI355X 288 ГБ HBM3e на GPU — примерно вдвое больше, чем 141 ГБ у H200, — пропускная способность памяти 8 ТБ/с против 4,8 ТБ/с и аппаратная поддержка FP6 и FP4. NVIDIA H200 сохраняет архитектуру Hopper, как у H100, но переходит на более ёмкую и быструю HBM3e и работает на стеке CUDA, под который написана большая часть кода для ИИ. Мы сдаём в аренду оба GPU, поэтому на этой странице говорим только о том, что можно проверить до заказа: о памяти, форматах, интерконнекте, цене и трудозатратах на портирование.

MI355X и H200: коротко о главном

На бумаге MI355X лидирует по всем аппаратным характеристикам. AMD указывает для MI355X 5,0 PFLOPS в FP8 без разреженности — примерно в 2,5 раза больше, чем 1 979 TFLOPS, которые NVIDIA указывает для H200. Кроме того, у него примерно вдвое больше памяти и примерно в 1,7 раза выше пропускная способность. Сильные стороны H200 — в другом: совместимость с CUDA, годы использования Hopper в продакшене по всей отрасли и тариф с одним GPU.

Цена тоже говорит в пользу MI355X. Наш сервер 8× MI355X стоит 19 900 $ в месяц, а сервер HGX H200 — 23 900 $: на 4 000 $ меньше за вдвое больший объём памяти. Если ваше ПО работает на ROCm, MI355X — более сильный сервер. Если нет, его аппаратное преимущество вам ничего не даст.

Память: 288 ГБ против 141 ГБ на GPU

Объём памяти определяет, сколько GPU нужно модели и сколько места останется для KV-кэша. Веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и 0,5 байта в FP4; заложите ещё 10–30% на KV-кэш, активации и накладные расходы. В таблице учтены только веса.

Две последние строки показывают разницу нагляднее всего. DeepSeek-V3, MoE-модель на 671B параметров, выпущена с весами в FP8. Оба 8-GPU-сервера их вмещают, но сервер MI355X оставляет под KV-кэш около 1,6 ТБ против примерно 450 ГБ на HGX H200. В BF16 модель вообще помещается только на сервер MI355X, и свободными остаются примерно 960 ГБ. Этот случай подробно разобран в нашем руководстве по системным требованиям DeepSeek.

Длинные контексты показывают тот же разрыв в пределах одного GPU. Модели класса 70B с механизмом grouped-query attention (80 слоёв и 8 KV-голов, как у Llama 3 70B) в FP8 нужно около 0,16 МБ KV-кэша на токен, поэтому один контекст на 128K токенов занимает около 21 ГБ. С загруженными весами в FP8 у H200 остаётся примерно 70 ГБ — около трёх контекстов полной длины одновременно. У MI355X остаётся примерно 218 ГБ — около десяти, без учёта накладных расходов.

Вычислительная мощность и форматы точности

AMD указывает для MI355X 2,5 PFLOPS в BF16 и 5,0 PFLOPS в FP8 без разреженности. NVIDIA указывает для H200 989 и 1 979 TFLOPS в тех же форматах — те же цифры, что и у H100, поскольку у обоих одинаковые вычислительные блоки Hopper. Примерно в 2,5 раза более высокая пиковая производительность — это разрыв в целое поколение, а не разница в настройке. И всё же пиковые показатели — не реальная производительность: сколько из неё вы получите, решают ваши ядра (kernels) и библиотеки.

Ещё больший разрыв — в низкой точности. Самый низкий по точности формат с плавающей запятой для тензорных ядер Hopper — FP8. В CDNA 4 от AMD добавлены MXFP6 и MXFP4 — форматы Microscaling, стандартизированные в рамках Open Compute Project, — и для MXFP4 AMD указывает 10,1 PFLOPS. На H200 всё же можно обслуживать модели с 4-битными весами с помощью квантования только весов, например AWQ или GPTQ, но матричные вычисления идут в более высокой точности: расход памяти снижается, а вычислительная мощность не растёт. На MI355X 4-битные и 6-битные модели могут выполнять вычисления нативно — там, где это поддерживает ваш фреймворк. Подробнее — в нашем обзоре AMD MI355X для задач ИИ.

Пропускная способность памяти и интерконнект

Для каждого сгенерированного токена из памяти нужно считать активные веса и KV-кэш, поэтому при малых размерах батча темп интерактивного инференса часто задаёт пропускная способность. AMD указывает для MI355X 8 ТБ/с, а NVIDIA для H200 — 4,8 ТБ/с: на модели, которая помещается на оба GPU, MI355X считывает эти данные примерно в 1,7 раза быстрее.

Внутри сервера HGX H200 соединяет все GPU через коммутаторы NVLink, и у каждого GPU 900 ГБ/с пропускной способности NVLink 4, поэтому любая пара GPU обменивается данными на полной скорости NVLink. MI355X использует прямую полносвязную топологию Infinity Fabric: AMD указывает семь каналов по 153,6 ГБ/с на GPU, по одному к каждому из остальных GPU, всего около 1,08 ТБ/с. All-reduce и другие коллективные операции задействуют все каналы; передача между двумя конкретными GPU идёт по единственному каналу между ними. Для обучения с интенсивным тензорным параллелизмом профилируйте оба варианта. В инференсе благодаря объёму памяти MI355X модель часто можно разделить на меньшее число GPU, что сокращает обмен данными в самом его источнике.

Для связи между серверами у обоих есть восемь сетевых портов 400G: ConnectX-7 в HGX H200 и RoCE в MI355X. Частная сеть между вашими серверами доступна по запросу.

Стоимость в месяц: 19 900 $ против 23 900 $

Наш сервер 8× MI355X обходится примерно в 3,41 $ за GPU-час, а HGX H200 — примерно в 4,09 $. В пересчёте на гигабайт видеопамяти (VRAM) это около 8,64 $ в месяц против 21,19 $: на MI355X примерно в 2,5 раза больше памяти на каждый доллар.

H200 выигрывает по гранулярности. Один H200 стоит 3 090 $ в месяц и вмещает модель 70B в FP8 с местом для KV-кэша. Если вашей задаче хватает одного GPU, у MI355X нет тарифа для сравнения: его мы сдаём только целым 8-GPU-сервером. Два или три отдельных H200 тоже обходятся меньше чем в 10 000 $ в месяц, хотя как отдельные виртуальные машины они подходят скорее для независимых задач, чем для одной модели, разделённой между несколькими GPU.

Серверов MI355X мало в наличии, а гарантированная дата выдачи показывается до оплаты. Когда у вас появится активный сервер, вы сможете запросить через тикет специальные цены на срок от 6 до 12 месяцев или на несколько серверов. Свои итоговые суммы посчитайте в калькуляторе стоимости GPU.

Программное обеспечение: стек Hopper против ROCm

H200 работает с тем же ПО, что и H100: те же сборки CUDA, те же ядра, те же образы контейнеров. Если ваш стек обучения или инференса сегодня работает на Hopper, он заработает на H200 — с большим объёмом памяти и без портирования. Когда сроки поджимают, такая предсказуемость действительно ценна.

MI355X работает на ROCm. PyTorch и vLLM его поддерживают, а наши образы с ROCm дают готовую основу. Трудности возникают с собственными ядрами CUDA, которые нужно портировать на HIP, и с инструментами только для NVIDIA, такими как TensorRT-LLM, у которых нет версии для AMD. Проверьте свои зависимости, а затем запустите реальную задачу на месяц: минимальный срок — один месяц, и вы можете бесплатно отменить аренду в любом месяце. Настройка описана в нашей документации по ROCm.

Как выбрать

• Один GPU, модель 70B в FP8 или меньше: один H200 за 3 090 $ в месяц.
• Восемь GPU, стек, совместимый с ROCm: сервер MI355X за 19 900 $ — больше памяти, выше пропускная способность и нативный FP4.
• Восемь GPU, зависимости только для CUDA: HGX H200 за 23 900 $ или сервер Blackwell, если вам нужен ещё и FP4 (см. сравнение H200 и B200).
• Не уверены, что стек удастся перенести: протестируйте его на MI355X один месяц, прежде чем брать обязательства на более длительный срок.