Инфраструктура GPU-серверов

Наша инфраструктура GPU-серверов рассчитана на работу, которая длится неделями, а не минутами. Каждый сервер — это либо bare-metal-машина, либо выделенная виртуальная машина с пробросом всего GPU (passthrough); все серверы размещены в профессиональных дата-центрах и находятся под круглосуточным мониторингом. На этой странице рассказано, какое оборудование мы используем, как сбалансирован каждый сервер, как он подключён к сети и как мы обеспечиваем его бесперебойную работу.

Оборудование, которое мы используем

Мы делаем ставку на ускорители текущего поколения для обучения и инференса ИИ-моделей и для рендеринга — в трёх форматах.

8-GPU-серверы, bare metal

Серверы NVIDIA HGX B300, B200, H200 и H100, AMD Instinct MI355X и RTX PRO 6000 Blackwell с восемью GPU. На платах HGX восемь GPU формата SXM соединены через NVLink со скоростью 1,8 ТБ/с на каждый GPU в поколении Blackwell и 900 ГБ/с в поколении Hopper — по опубликованным спецификациям NVIDIA. Платформа MI355X соединяет свои восемь GPU через AMD Infinity Fabric, а RTX PRO 6000 — это карта PCIe Gen5 без NVLink. Вся линейка представлена на странице 8-GPU-серверов.

Серверы с одним GPU

Выделенная виртуальная машина с пробросом всего GPU: B300, B200, H200, H100 SXM, RTX PRO 6000 Blackwell, L40S или GeForce RTX 5090. Вам достаются вся память и вся вычислительная мощность GPU, а vCPU, оперативная память и NVMe указаны для каждого сервера с одним GPU.

Стоечные системы (rack-scale) по запросу

Для обучения фронтирного масштаба стойки NVIDIA GB300 NVL72 с жидкостным охлаждением объединяют 72 GPU Blackwell Ultra в один домен NVLink; срок аренды — от 12 до 36 месяцев. На Vera Rubin NVL72 открыт предзаказ. Обе системы заказываются через заявку на бронирование со страницы развёртывания: при её отправке никакие средства не списываются, а наша команда письменно подтверждает выделение оборудования, цену, срок аренды, расположение и сроки выдачи до того, как вы примете подтверждение и оплатите заказ с баланса; подробнее — на странице о стоечных системах.

Каждый сервер выдаётся с одним из наших образов ОС: Ubuntu 22.04 или 24.04 с предустановленными драйверами NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, образы ROCm для AMD, а также Debian или Rocky Linux по запросу.

Сбалансированные серверы, а не просто GPU

Быстрому GPU приходится ждать всё, что его окружает. Загрузчикам данных нужны ядра CPU, кэшам датасетов — оперативная память, а чекпоинтам — быстрые локальные диски. Остальные компоненты каждого сервера мы подбираем так, чтобы его GPU не простаивали в ожидании данных.

Серверы с одним GPU масштабируются так же: от 16 vCPU, 64 ГБ оперативной памяти и 1 ТБ NVMe с RTX 5090 до 28 vCPU, 384 ГБ оперативной памяти и 3,5 ТБ NVMe с B300. Локальные NVMe-накопители — это быстрое рабочее хранилище для датасетов и чекпоинтов. Мы не выполняем резервное копирование локальных накопителей, если иное не согласовано в письменной форме, поэтому храните копии всего, что невозможно воссоздать.

Сеть и трафик

Каждый сервер получает публичный IPv4-адрес и подсеть IPv6 /64, а на его публичных IP-адресах работает защита от DDoS.

• Серверы с одним GPU: 25 Гбит/с на B300, B200, H200 и H100; 10 Гбит/с на RTX PRO 6000, L40S и RTX 5090.
• 8-GPU-серверы: восемь сетевых адаптеров ConnectX-8 800G на HGX B300, восемь адаптеров ConnectX-7 400G на HGX B200, H200 и H100, восемь адаптеров RoCE 400G на MI355X и два порта 100 GbE на серверах RTX PRO 6000.
• Частная сеть: доступна по запросу между вашими серверами, чтобы внутреннему трафику не приходилось проходить через публичные интерфейсы.

Трафик включён, плата за исходящий трафик не взимается: 20 ТБ в месяц на тарифах с одним GPU и 50 ТБ на 8-GPU-серверах при добросовестном использовании, а входящий трафик не учитывается. Как устроен лимит, объясняется в нашей статье о трафике и плате за исходящий трафик. Планируете обучение на нескольких серверах? Несколько 8-GPU-серверов можно объединить частной сетью, а стойка GB300 NVL72 даёт вам один домен NVLink на 72 GPU.

GPU-серверы в дата-центрах с расположением, зафиксированным письменно

Наши GPU-серверы работают в профессиональных дата-центрах, а не на частных хостах (peer-to-peer). Расположение каждого сервера отображается в личном кабинете с момента выдачи. Если вам нужно соблюдать требования к локализации данных или вы хотите быть ближе к своим пользователям, укажите нужную страну или регион в примечаниях к заказу; если это требование выполнить нельзя, вы можете до выдачи отменить заказ с полным возвратом средств.

Как мы обслуживаем нашу инфраструктуру GPU-серверов

Мы круглосуточно контролируем каждый сервер, отслеживая состояние GPU, температуру и соединения. Вышедшие из строя GPU и компоненты заменяются в приоритетном порядке, а если ремонт невозможно выполнить быстро, мы предлагаем равноценный сервер при его наличии.

В нашем соглашении об уровне обслуживания мы обязуемся обеспечивать месячную доступность электропитания, сети и оборудования каждого сервера на уровне 99,9%. Если мы не выполним это обязательство, вы можете запросить компенсацию на баланс (service credits) в счёт ежемесячной платы за этот сервер: она зачисляется на баланс вашего аккаунта, а если ваше обслуживание прекращается, выплачивается в виде возврата средств:

• Ниже 99,9% Компенсация 10%
• Ниже 99,5% Компенсация 25%
• Ниже 99,0% Компенсация 50%
• Ниже 95,0% Компенсация 100%

При смене клиента диски надёжно стираются. Когда заканчивается ваш последний оплаченный месяц, сервер выводится из эксплуатации, а его диски стираются, прежде чем оборудование будет использовано снова, поэтому ваши данные никогда не попадут к следующему арендатору.