Как выбрать GPU-сервер для ИИ

Как выбрать GPU-сервер для ИИ? По большей части — задавая вопросы в правильном порядке. Объём памяти определяет, что вообще удастся запустить. Пропускная способность памяти и поддержка форматов точности — насколько быстро это будет работать. Интерконнект, а также процессоры, оперативная память и накопители вокруг GPU — получите ли вы ту производительность, за которую заплатили. Программное обеспечение и модель оплаты — подойдёт ли сервер вашей команде и вашему бюджету. Ниже мы по очереди пройдём все шаги, а затем сопоставим типичные задачи с конкретными конфигурациями.

Как выбрать GPU-сервер для ИИ: сначала память

Начните с расчёта того, сколько памяти нужно вашей задаче: именно память оставляет или отсекает варианты ещё до того, как начинает иметь значение что-либо другое.

• Инференс: веса (число параметров × число байт на параметр) плюс KV-кэш плюс 10–30% на накладные расходы. Модели 70B нужно около 140 ГБ в BF16 и около 70 ГБ в FP8 без учёта кэша.
• Полное дообучение (fine-tuning) с Adam: примерно 16–20 байт на параметр без учёта активаций, то есть около 1,1–1,4 ТБ для модели 70B.
• LoRA и QLoRA: гораздо меньше, потому что веса базовой модели заморожены. QLoRA для модели 70B помещается на один GPU с 80 ГБ.

Затем решите, помещается ли всё это на один GPU. Объём памяти одиночных GPU в нашем каталоге — от 32 ГБ (RTX 5090) до 288 ГБ (B300), а между ними 48 ГБ (L40S), 80 ГБ (H100), 96 ГБ (RTX PRO 6000), 141 ГБ (H200) и 180 ГБ (B200). Если одна модель должна занимать несколько GPU, смотрите на суммарный объём памяти сервера и на интерконнект — о нём ниже. Формулы и разобранные примеры — в нашем руководстве о том, сколько видеопамяти (VRAM) нужно большим языковым моделям, а калькулятор видеопамяти посчитает всё за вас.

Пропускная способность памяти и форматы точности

Когда модель помещается, скорость инференса во многом определяет пропускная способность памяти. Чтобы сгенерировать каждый токен, GPU считывает из памяти активные веса модели и KV-кэш, поэтому при малых размерах батча время на токен не может быть меньше, чем объём считанных данных, делённый на пропускную способность. Обработка промптов и обучение сильнее упираются в вычислительную мощность, поэтому там важнее заявленные производителем FLOPS.

Важны соотношения. У H200 пропускная способность на 43% выше, чем у H100, а у B200 — примерно в 2,4 раза выше. У RTX PRO 6000 памяти больше, чем у H100, но пропускная способность меньше половины от его показателя, поэтому RTX PRO 6000 лучше подходит для моделей, которые помещаются с запасом, для множества параллельных копий и для рендеринга, чем для критичного к задержке инференса больших моделей.

Поддержка форматов точности усиливает этот эффект. По сравнению с BF16 формат FP8 вдвое сокращает память под веса и объём данных, считываемых на каждый токен, а FP4 сокращает их ещё вдвое. GPU на архитектурах Hopper и Ada поддерживают FP8 аппаратно; GPU Blackwell и MI355X добавляют FP4. Пониженная точность оборачивается некоторой потерей качества — при 4 битах большей, чем при 8, — поэтому проверяйте её на собственном наборе данных для оценки. Подробнее о форматах — в нашей статье о точности FP8 и FP4.

Интерконнект и сеть

Если одна модель или одна задача обучения занимает несколько GPU, связь между ними становится частью вычислений. При тензорном параллелизме активации передаются на каждом слое, при обучении с шардированием (FSDP или ZeRO-3) веса собираются на каждом шаге, а MoE-модели (mixture of experts) перебрасывают токены между экспертами. NVLink 4 даёт каждому H100 или H200 900 ГБ/с, а NVLink 5 каждому B200 или B300 — 1,8 ТБ/с, против примерно 128 ГБ/с в сумме по обоим направлениям у слота PCIe Gen5 x16, то есть примерно в 7 и в 14 раз больше. Подробнее — в нашем сравнении NVLink и PCIe.

PCIe вполне подходит, когда GPU работают независимо: по одной копии модели на каждом GPU за балансировщиком нагрузки, отдельные эксперименты или рендеринг. А вот для разделения большой модели между картами он подходит плохо.

Для связи между серверами смотрите на сетевые адаптеры. В наших серверах HGX по одному адаптеру на GPU: 8× 400G ConnectX-7 в серверах с H100, H200 и B200 и 8× 800G ConnectX-8 в сервере с B300. В сервере с MI355X — 8× 400G RoCE, а в сервере 8× RTX PRO 6000 — 2× 100 GbE. Если планируете обучение на нескольких узлах, попросите в примечаниях к заказу частную сеть между вашими серверами. Что касается публичной сети, у тарифов с одним GPU порты на 10 или 25 Гбит/с и включено 20 ТБ исходящего трафика в месяц, а у 8-GPU-серверов — 50 ТБ. На скорости 10 Гбит/с модель размером 140 ГБ при полной загрузке канала скачивается примерно за две минуты, а набор данных на 10 ТБ — больше чем за два часа, так что крупные передачи данных планируйте заранее.

CPU, оперативная память и NVMe: чтобы GPU не простаивали

Быстрый GPU, который ждёт медленный хост, — дорогой способ ждать. Важны три ресурса хоста:

• Ядра CPU отвечают за токенизацию, загрузку данных, декодирование изображений и видео и планирование запросов в сервере инференса. Пайплайнам для компьютерного зрения и видео ядер нужно гораздо больше, чем текстовым. В наших 8-GPU-серверах от 112 до 128 ядер — по 14–16 на GPU; у тарифов с одним GPU — от 16 до 28 vCPU.
• Оперативная память хранит чекпоинты во время загрузки, наборы данных, которые вы кэшируете, и всё, что вы выгружаете из GPU. Распространённое эмпирическое правило — оперативной памяти должно быть не меньше, чем суммарной памяти GPU, и больше, если вы выгружаете состояния оптимизатора на CPU или сливаете там крупные адаптеры с моделью. Слияние адаптера LoRA с моделью 70B в BF16 требует около 140 ГБ оперативной памяти: с 225 ГБ нашего тарифа с одним H100 это несложно, а на машине с 64 ГБ невозможно.
• Локальные NVMe хранят веса, наборы данных и чекпоинты. Чекпоинт полного дообучения модели 70B вместе с состояниями оптимизатора, с которого можно возобновить обучение, занимает больше 1 ТБ. В наших серверах HGX установлено 8× 3,84 ТБ NVMe; у тарифов с одним GPU — от 1 до 3,5 ТБ.

Программная экосистема: CUDA или ROCm

У стека CUDA от NVIDIA самая широкая поддержка: на нём работают PyTorch, JAX, vLLM, SGLang и TensorRT-LLM, а большая часть исследовательского кода и собственных ядер (kernels) рассчитана именно на него. ROCm от AMD поддерживает PyTorch, vLLM и SGLang, а MI355X даёт 288 ГБ на GPU; наш сервер 8× MI355X стоит 19 900 $ в месяц — около 3,41 $ за GPU-час. Подвох — в «длинном хвосте»: собственные ядра CUDA, некоторые библиотеки квантования и узкоспециализированные инструменты могут потребовать портирования или не запуститься вовсе. Прежде чем делать ставку на AMD, прогоните весь свой стек от начала до конца; начать стоит с нашей документации по AMD ROCm.

Модель оплаты: почасовая, с резервированием или помесячная

Один и тот же GPU может стоить очень по-разному в зависимости от того, как вы за него платите. Оплата по требованию (on-demand) — посекундная или почасовая — подходит для коротких непредсказуемых задач. Спотовые, или прерываемые, мощности дешевле, но их могут забрать посреди прогона. Резервирование мощностей на срок снижает ставку в обмен на долгосрочные обязательства. Выделенные серверы с фиксированной ценой в месяц подходят для стабильной нагрузки: прогонов обучения, которые длятся неделями, круглосуточного инференса и команд, которым нужен фиксированный бюджет.

Чтобы сравнить цену в месяц с почасовой ставкой, разделите одно на другое: точка безубыточности в часах = цена в месяц ÷ почасовая ставка. Если вы будете использовать GPU больше этого числа часов в месяц, помесячная оплата выгоднее. Подробнее о компромиссах — в нашем сравнении помесячной и почасовой оплаты GPU. Важна и доступность: в 2026 году мощностей GPU не хватает, а мощности по требованию часто распроданы, поэтому низкая ставка полезна, только если GPU есть в тот момент, когда он вам нужен. Оплата у нас помесячная и вносится вперёд: минимальный срок — один месяц, платы за подключение нет, отменить аренду можно в любом месяце. Деньги списываются с предоплаченного баланса, который вы пополняете криптовалютой; оплата картой скоро появится.

Задачи и подходящие конфигурации

В таблице типичные задачи ИИ сопоставлены с конфигурациями из нашего каталога. Считайте её отправной точкой и проверяйте собственные цифры.

Для обучения фронтирного масштаба по запросу доступны стоечные системы (rack-scale), например GB300 NVL72, — от 7 990 $ за GPU в месяц при аренде на срок от 12 до 36 месяцев.

Чек-лист перед заказом

1. Запишите модель, точность, максимальную длину контекста и ожидаемое число одновременных запросов, а для обучения — метод, длину последовательности и размер микробатча.
2. Рассчитайте память на GPU с запасом 10–30% и решите, нужен ли один GPU или несколько.
3. Если одна модель занимает несколько GPU, требуйте NVLink или осознанно идите на компромисс с PCIe.
4. Убедитесь, что поддерживаются форматы точности, на которые опирается ваш план инференса или обучения, например FP8 или FP4.
5. Проверьте число ядер CPU, объём оперативной памяти (не меньше памяти GPU) и место на NVMe для весов, наборов данных и чекпоинтов.
6. Оцените исходящий трафик за месяц в сравнении с включённым объёмом и спланируйте резервное копирование за пределы сервера: мы не делаем резервных копий локальных дисков, если это не согласовано письменно.
7. Определитесь с программным стеком: CUDA или ROCm, версии драйвера и CUDA, образ ОС (Ubuntu 22.04 или 24.04; Debian или Rocky Linux — по запросу).
8. Подготовьте открытый SSH-ключ и план настройки файрвола до того, как получите сервер.
9. Выберите срок: помесячно или — когда у вас уже будет активный сервер — запросите через тикет аренду на срок от 6 до 12 месяцев, а если вам нужно несколько серверов, то и специальные цены на них.
10. До оплаты проверьте конфигурацию, цену и дату выдачи. У нас сервер выдаётся менее чем за 10 минут после оплаты, а если оплаченный сервер не выдан в тот же день, вы можете отменить заказ с полным возвратом средств на баланс аккаунта; если вам нужна конкретная страна или регион, укажите это в примечаниях к заказу.

Когда пройдёте весь список, сравните конфигурации на нашей странице цен, а затем разверните сервер: выберите конфигурацию, создайте бесплатный аккаунт или войдите в свой и оплатите первый месяц с баланса — всё в одной форме. Сервер выдаётся менее чем за 10 минут после оплаты, а если на балансе не хватает средств, вы можете пополнить его криптовалютой в той же форме.

Часто задаваемые вопросы

Что важнее всего при выборе GPU-сервера для ИИ?

Прежде всего объём памяти: от него зависит, поместятся ли вообще ваша модель, её KV-кэш или состояние обучения. После этого сравнивайте пропускную способность памяти, поддержку форматов точности, интерконнект, а также процессоры, оперативную память и накопители вокруг GPU.

Нужен ли мне NVLink?

Он нужен, когда одна модель или одна задача обучения распределена по нескольким GPU — как при тензорном параллелизме или обучении с шардированием, — потому что в этих случаях данные передаются на каждом слое или шаге. Для независимых задач или одной копии модели на каждом GPU вполне хватает PCIe.

Сколько оперативной памяти должно быть у GPU-сервера?

Распространённое эмпирическое правило — не меньше, чем суммарный объём памяти GPU, и больше, если вы выгружаете состояния оптимизатора на CPU, сливаете крупные адаптеры с моделью или кэшируете наборы данных в памяти.

Что выбрать для ИИ: NVIDIA или AMD?

У стека CUDA от NVIDIA самая широкая программная поддержка, а AMD MI355X даёт 288 ГБ на GPU на платформе ROCm. Прежде чем принимать решение, проверьте на ROCm именно ваши фреймворки, ядра и инструменты квантования.

Что выгоднее для GPU-сервера: помесячная или почасовая оплата?

Разделите цену в месяц на почасовую ставку — получите точку безубыточности в часах. Стабильная нагрузка, которая работает большую часть месяца, обходится дешевле на помесячном тарифе, а короткие или эпизодические задачи обычно дешевле с почасовой оплатой.