Аренда сервера с 8 GPU: bare metal на базе NVIDIA HGX и AMD Instinct

Аренда сервера с 8 GPU в FullGPU даёт вам целую физическую машину: восемь целых GPU, два серверных процессора, от 1,5 до 4 ТБ оперативной памяти и локальные NVMe-накопители — без гипервизора и без других арендаторов. На выбор — NVIDIA HGX B300, B200, H200 или H100, AMD Instinct MI355X или сервер с восемью картами RTX PRO 6000 Blackwell для задач, которым достаточно PCIe, и у каждого варианта одна фиксированная цена в месяц.

Что вы получаете при аренде сервера с 8 GPU

На bare-metal-сервере с 8 GPU ваша операционная система работает прямо на оборудовании. Вы получаете root-доступ по SSH, все ядра CPU, все восемь GPU и все локальные накопители. Можно настраивать ядро ОС, привязывать загрузчики данных к нужному узлу NUMA, менять ветку драйвера или запускать собственную среду выполнения контейнеров — в рамках наших правил допустимого использования.

Серверы NVIDIA выдаются с Ubuntu 22.04 или 24.04, в которой уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit. Серверы MI355X получают образы ROCm. На каждый сервер распространяется SLA (соглашение об уровне обслуживания) с месячной доступностью 99,9% для электропитания, сети и оборудования, а если мы не выдержим этот уровень, вы получите компенсацию на баланс (service credits).

Сравнение шести конфигураций

В пересчёте на месяц из 730 часов это около 6,83 $ за GPU-час для HGX B300, 4,09 $ для HGX H200 и 1,80 $ для сервера с RTX PRO 6000.

Домены NVLink и когда достаточно PCIe

На плате HGX все восемь GPU находятся в одном домене NVLink. Трафик между шардами модели при тензорном параллелизме, операции all-reduce для градиентов и маршрутизация к экспертам в MoE-моделях (mixture of experts) идут через NVLink, а не через PCIe или сеть. По опубликованным спецификациям NVIDIA, NVLink 5 даёт 1,8 ТБ/с каждому GPU B300 и B200, а NVLink 4 — 900 ГБ/с каждому H200 и H100. AMD указывает для каждого GPU MI355X семь каналов Infinity Fabric по 153,6 ГБ/с. После передачи сервера тест NCCL all-reduce подтвердит, что каналы работают как положено; как его запустить, показано в нашем руководстве по работе с несколькими GPU и NCCL.

Сервер 8× RTX PRO 6000 устроен иначе: его GPU обмениваются данными через PCIe Gen5, NVLink у них нет. Это подходит для задач, в которых каждый GPU работает сам по себе: например, по одной реплике модели на GPU для инференса, рендеринг или пакетная обработка. Хуже такой сервер подходит для обучения с тензорным параллелизмом, где GPU обмениваются данными на каждом шаге. Подробнее этот компромисс разобран в нашем руководстве по выбору между NVLink и PCIe.

Когда стоит выбрать 8 GPU

• Модель не помещается на один GPU. Модели 405B только для весов в BF16 нужно примерно 810 ГБ. HGX H200 с 1 128 ГБ вмещает её с запасом под KV-кэш. HGX H100 с 640 ГБ — нет, хотя в FP8 та же модель занимает около 405 ГБ и на нём помещается.
• Полное дообучение (fine-tuning) крупных моделей. С Adam закладывайте примерно 16–20 байт на параметр без учёта активаций. Для модели 70B это около 1,1–1,4 ТБ — столько помещается в 2 304 ГБ сервера HGX B300 или MI355X, и ещё остаётся место для активаций.
• Производительность одной машины. Обучение с параллелизмом по данным или несколько реплик для инференса, которые получают данные с локальных NVMe и из оперативной памяти объёмом до 4 ТБ.
• Стоимость в расчёте на GPU. Сервер HGX H200 стоит 23 900 $ в месяц, а восемь тарифов с одним H200 — 24 720 $.

Если хватает одного GPU, сервер с одним GPU обойдётся дешевле. Если не хватает одного сервера, несколько серверов можно объединить частной сетью или взять стойку GB300 NVL72 с единым доменом NVLink на 72 GPU.

Аренда сервера HGX: накопители, трафик и заказ

В серверах HGX и MI355X установлено восемь NVMe-накопителей по 3,84 ТБ — около 30,7 ТБ сырой ёмкости, а в сервере с RTX PRO 6000 — четыре. Мы не делаем резервных копий локального хранилища, если иное не согласовано письменно, поэтому храните копию чекпоинтов, которые нельзя потерять, в другом месте. Входящий трафик не учитывается, поэтому скачивание датасетов и весов моделей на сервер не расходует ваш месячный лимит в 50 ТБ.

Заказ оформляется так же, как любой заказ в FullGPU: на странице развёртывания выберите сервер, укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ), создайте бесплатный аккаунт или войдите в свой и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты и отсчитывается в рабочих днях с момента оплаты: 3 для 8-GPU-сервера в наличии и 7, если таких серверов мало в наличии. Каждое пополнение составляет от 100 $ до 10 000 $, поэтому для оплаты первого месяца крупного сервера может понадобиться несколько пополнений криптовалютой; бонусные средства тоже идут в счёт оплаты. Если на балансе не хватает средств, заказ сохраняется за вами 72 часа и оплачивается автоматически, как только пополнения покроют сумму; если к этому сроку заказ не оплачен, он отменяется и никакие средства не списываются.

Сервер выдаётся не позднее этой даты, а его IP-адрес и данные для подключения по SSH появляются в личном кабинете. Если мы не уложимся в эту дату, вы можете отменить заказ с полным возвратом средств на баланс. Для заказа нескольких 8-GPU-серверов может потребоваться проверка. Когда у вас есть активный сервер, через тикет можно запросить специальные цены на срок от 6 до 12 месяцев и на несколько серверов; актуальный прайс-лист — на нашей странице цен.