Аренда 8-GPU-сервера AMD MI355X за 19 900 $ в месяц

Если вам нужна аренда мощностей AMD MI355X, мы предлагаем их в виде bare-metal-сервера AMD Instinct с восемью GPU MI355X за 19 900 $ в месяц. Это 2,3 ТБ HBM3e в одной машине; оплата помесячная, с предоплаченного баланса, который пополняется криптовалютой, а образ ROCm готов уже к моменту выдачи. Тарифа с одним GPU MI355X у нас нет: 8-GPU-сервер — единственная конфигурация, и таких серверов мало в наличии.

Что такое MI355X

MI355X — ускоритель AMD Instinct на архитектуре CDNA 4. По спецификациям AMD, у каждого GPU 288 ГБ HBM3e с пропускной способностью 8 ТБ/с и вычислительная мощность 5,0 PFLOPS в FP8 и 2,5 PFLOPS в BF16 без разреженности. Кроме того, в CDNA 4 появилась поддержка формата MXFP4, для которого AMD указывает 10,1 PFLOPS. GPU выпускается в виде модуля OAM с энергопотреблением 1 400 Вт и жидкостным охлаждением.

Интерконнект устроен иначе, чем в серверах NVIDIA HGX. AMD указывает для каждого GPU семь каналов Infinity Fabric по 153,6 ГБ/с — всего около 1,08 ТБ/с, — а на платформе с восемью GPU каждый GPU напрямую соединён с каждым из семи остальных. Коллективные операции вроде all-reduce, которые распределяют трафик между всеми GPU, могут задействовать все семь каналов одновременно; передача же между двумя отдельно взятыми GPU ограничена одним каналом. В серверах HGX B200 и B300, напротив, каждый GPU получает 1,8 ТБ/с пропускной способности NVLink до любого другого GPU. Подробнее об архитектуре — в нашей статье об AMD MI355X для задач ИИ.

8-GPU-сервер AMD Instinct, а не один GPU

Если вы искали облачные инстансы MI355X с арендой по одному GPU, учтите: этот GPU мы сдаём только целым сервером. Вы получаете машину целиком: два процессора AMD EPYC 9575F (всего 128 ядер), 3 ТБ DDR5, восемь NVMe-накопителей по 3,84 ТБ (около 30 ТБ) и восемь сетевых адаптеров RoCE 400G для многоузловых задач. Это bare metal, поэтому между вашим кодом и GPU нет гипервизора.

Такой формат подходит командам, у которых хватает задач, чтобы загрузить восемь GPU: инференс нескольких больших моделей, дообучение (fine-tuning) или исследовательский код, который уже работает на ROCm. Если вам нужен только один GPU с 288 ГБ, тариф с одним NVIDIA B300 даёт тот же объём памяти на GPU в экосистеме CUDA — за 5 190 $ в месяц.

Расчёт памяти: 288 ГБ на GPU, 2,3 ТБ на сервер

Веса занимают примерно 2 байта на параметр в BF16 и 1 байт в FP8, плюс KV-кэш и запас 10–30%. При 288 ГБ на GPU:

• Модель 70B в BF16: около 140 ГБ, поэтому она помещается на один GPU, и под KV-кэш остаётся намного больше 100 ГБ. На одном сервере можно запустить восемь независимых реплик модели 70B — без тензорного параллелизма и без трафика между GPU.
• Модель класса 405B в FP8: около 405 ГБ — она помещается на два GPU. На одном сервере можно запустить до четырёх копий или одну копию, распределённую по всем восьми GPU, чтобы получить гораздо больший KV-кэш.
• MoE-модель (mixture of experts) размером 671B в FP8: около 671 ГБ — нужно минимум три GPU, а под KV-кэш и накладные расходы остаётся примерно 1,6 ТБ памяти сервера.
• Полное дообучение модели 70B: Adam требует примерно 16–20 байт на параметр без учёта активаций, то есть около 1,1–1,4 ТБ. Это помещается в 2,3 ТБ HBM3e, и для активаций остаётся примерно 0,9–1,2 ТБ.

Наш калькулятор видеопамяти (VRAM) выполняет тот же расчёт для других моделей и форматов точности.

Программный стек ROCm: что работает и что проверить

Сервер выдаётся с root-доступом по SSH и образом ROCm; Debian или Rocky Linux доступны по запросу. У PyTorch есть официальные сборки для ROCm, в которых сохранён привычный интерфейс torch.cuda, поэтому код на PyTorch, который использует только стандартные операторы, обычно работает без изменений, а vLLM поддерживает ROCm для инференса. Первая проверка:

rocm-smi                                  # GPUs, memory use, temperature
docker run -it --device=/dev/kfd --device=/dev/dri --group-add video \
  --ipc=host --shm-size 16g rocm/pytorch:latest \
  python -c "import torch; print(torch.cuda.device_count())"

Что нужно протестировать: собственные ядра CUDA, которые придётся портировать на HIP, и библиотеки, распространяемые только в виде бинарных файлов для CUDA, — например, некоторые ядра квантования или attention. Задачи на нескольких GPU используют RCCL — аналог NCCL от AMD. Подробности — в нашей документации по ROCm. Минимальный срок аренды — один месяц, так что вы можете проверить свой стек на реальном оборудовании, прежде чем брать на себя обязательства на более долгий срок.

Цена MI355X в месяц и за GPU-час

Сервер MI355X с восемью GPU стоит 19 900 $ в месяц — около 3,41 $ за GPU-час при полной загрузке: это цена в месяц, делённая на восемь GPU и 730 часов. В нашем же каталоге у HGX B300 тоже 2,3 ТБ HBM на восемь GPU — за 39 900 $, а у HGX H200 — 1,1 ТБ за 23 900 $. Из наших 8-GPU-серверов MI355X даёт больше всего видеопамяти на каждый доллар; взамен вы отказываетесь от экосистемы CUDA и коммутируемой фабрики NVLink. Эти компромиссы мы взвешиваем в сравнениях MI355X с B200 и MI355X с H200.

По сравнению с почасовой оплатой точка безубыточности — это 19 900 $, делённые на почасовую ставку, которую вы платили бы за восемь сопоставимых GPU. Если сервер нужен вам большую часть месяца, выгоднее помесячная оплата; для нескольких дней тестирования дешевле почасовая — там, где она есть. В цену входят 50 ТБ исходящего трафика в месяц, и плата за исходящий трафик не взимается. Также включены публичный IPv4-адрес и подсеть IPv6 /64, защита от DDoS, круглосуточная поддержка инженеров и SLA (соглашение об уровне обслуживания) с доступностью 99,9%. Платы за подключение нет.

Как заказать сервер MI355X

Закажите сервер на странице развёртывания: выберите конфигурацию, укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой. Гарантированная дата выдачи показывается до оплаты. Затем вы оплачиваете первый месяц с предоплаченного баланса, который пополняете в BTC, ETH, XMR, USDT в сети TRON или SOL; за каждые полные 100 $ в одном пополнении начисляется +5% бонусных средств, вплоть до +50% при пополнении от 1 000 $. Оплата картой скоро появится. Мы выдаём root-доступ по SSH не позднее указанной даты, а IP-адрес и данные для подключения по SSH появляются в личном кабинете. Если мы не уложимся в эту дату, вы можете отменить заказ с полным возвратом средств на баланс. Для большинства заказов достаточно аккаунта и пополненного баланса; при заказе нескольких 8-GPU-серверов сначала может потребоваться проверка. Клиенты с активным сервером могут запросить специальные цены на несколько серверов или на срок 6–12 месяцев через тикет в личном кабинете.