GPU-серверы для обучения LLM на выделенных 8-GPU-узлах

Выбор GPU-серверов для обучения LLM (больших языковых моделей) начинается с памяти, а не с FLOPS: веса, градиенты и состояние оптимизатора должны поместиться на GPU ещё до первого шага, а активации добавляются сверху. Мы сдаём в аренду помесячно bare-metal-узлы NVIDIA HGX с восемью целыми GPU, соединёнными через NVLink, поэтому одни и те же машины, данные и чекпоинты остаются с вами от разогрева (warm-up) до финальной оценки.

Сколько памяти GPU нужно для обучения LLM

С AdamW и смешанной точностью каждый параметр обходится примерно в 16–20 байт без учёта активаций: 2 байта на веса в BF16, 2 на градиенты, 4 на мастер-копию в FP32 и 8 на два момента Adam, плюс ещё несколько, если хранить градиенты в FP32. Активации растут вместе с размером микробатча, длиной последовательности, скрытой размерностью и числом слоёв. Чекпоинтинг активаций и FlashAttention держат их под контролем ценой частичных повторных вычислений.

FSDP или DeepSpeed ZeRO-3 шардируют это состояние по GPU, так что каждый GPU хранит примерно общий объём, делённый на размер группы шардирования. Если памяти немного не хватает, оба инструмента умеют выгружать состояние оптимизатора в память CPU — это 2 ТБ DDR5 на узлах HGX H100, H200 и B200 и 4 ТБ на HGX B300, — но ценой увеличения времени шага.

Как выбрать GPU-серверы для обучения LLM

Память определяет, что поместится, а вычислительная мощность — сколько времени это займёт. Обучение требует примерно 6 × число параметров × число токенов операций с плавающей запятой, поэтому модели 7B, обучаемой на 1 трлн токенов, нужно около 4,2 × 10²² FLOP. Заявленная производителем пиковая производительность узла HGX B200 в BF16 без разреженности — 18 PFLOPS (8 × 2,25). Если ваша задача стабильно выдаёт 40% от этого значения, обучение займёт около 67 дней. На узле HGX H200 — 8 × 989 TFLOPS в BF16 без разреженности по спецификациям NVIDIA — то же обучение займёт около пяти месяцев. Поэтому большая часть предобучения с нуля выполняется на многоузловых кластерах, а постобучение, продолжение предобучения на меньших объёмах токенов и работа с небольшими моделями укладываются в один узел и помесячный тариф.

• HGX B300: 288 ГБ на GPU, 2,3 ТБ на узел и восемь адаптеров ConnectX-8 800G. Самый вместительный узел NVIDIA в нашем каталоге — для полного обучения моделей класса 70B и длинных контекстов.
• HGX B200: 180 ГБ на GPU, NVLink 5 со скоростью 1,8 ТБ/с на каждый GPU и заявленные производителем 4,5 PFLOPS в FP8 без разреженности на GPU — для обучения в FP8 с Transformer Engine.
• HGX H200: 141 ГБ на GPU и 1,13 ТБ на узел на архитектуре Hopper — для обучения моделей 8B–32B и для постобучения.
• 8× AMD Instinct MI355X: 288 ГБ на GPU и ROCm — если ваш стек для обучения уже работает на AMD.

Шардирование, NVLink и сеть между узлами

Внутри узла восемь GPU обмениваются данными через NVLink: 900 ГБ/с на каждый GPU у H100 и H200 и 1,8 ТБ/с на каждый GPU у B200 и B300 по опубликованным спецификациям NVIDIA. Именно эта пропускная способность делает тензорный параллелизм и полностью шардированный параллелизм по данным эффективными в пределах одной машины. Практичная схема для начала:

• Примерно до 30B параметров: FSDP или ZeRO-3 на восьми GPU и обычный параллелизм по данным между узлами.
• 70B и больше: тензорный параллелизм внутри узла с Megatron-Core или встроенным тензорным параллелизмом PyTorch, плюс конвейерный параллелизм (pipeline parallelism) или FSDP между узлами.
• MoE-модели (mixture of experts): параллелизм экспертов активно использует all-to-all, поэтому по возможности держите группы экспертов в пределах одного домена NVLink.

Для связи между узлами у каждого сервера HGX есть восемь адаптеров ConnectX-7 400G, а у HGX B300 — восемь ConnectX-8 800G. Чтобы объединить несколько своих серверов, при их развёртывании попросите в примечаниях к заказу настроить частную сеть и укажите число узлов и то, как ваша задача обменивается данными. Перед долгим запуском проверьте топологию командой nvidia-smi topo -m и прогоните nccl-tests внутри узлов и между ними, как описано в нашем руководстве по работе с несколькими GPU и NCCL.

Чекпоинты, датасеты и локальные NVMe

В каждом узле HGX установлено восемь NVMe-накопителей по 3,84 ТБ — около 30 ТБ сырой ёмкости. Полный чекпоинт с состоянием оптимизатора занимает примерно 12–16 байт на параметр, то есть около 1 ТБ для модели 70B, поэтому храните несколько последних локально и записывайте их по шардам и параллельно с помощью PyTorch Distributed Checkpoint. Токенизированный датасет на 1 трлн токенов, сохранённый в виде 32-битных идентификаторов токенов, занимает около 4 ТБ — и рядом с чекпоинтами ещё остаётся место.

Мы не делаем резервных копий локального хранилища, если это не согласовано письменно, поэтому копируйте ключевые чекпоинты за пределы сервера. Входящий трафик не учитывается, а в 8-GPU-серверы включено 50 ТБ исходящего трафика в месяц без отдельной платы — этого хватает, чтобы каждую неделю выгружать с сервера чекпоинт на 1 ТБ. Когда аренда сервера заканчивается, его диски надёжно стираются.

Когда выделенные узлы с помесячной оплатой подходят, а когда нет

Узел с помесячной оплатой подходит, когда обучение держит его загруженным: запуски длиной в недели, очередь абляционных экспериментов или циклы постобучения, в которых вы каждый день итерируете на одних и тех же данных. В 2026 году мощностей GPU не хватает, и многие провайдеры предпочитают годовые контракты, поэтому узел, который вы арендуете помесячно и можете бесплатно отменить в любом месяце, — часто разумная золотая середина.

Он не подходит для одной трёхдневной задачи, после которой месяц простоя. Узел HGX B200 за 34 900 $ в месяц при круглосуточной загрузке обходится примерно в 5,98 $ за GPU-час, но если использовать его в этом месяце всего 72 часа, фактическая ставка составит около 60 $ за GPU-час, и почасовая оплата в другом месте обойдётся дешевле. Прежде чем решать, прочитайте сравнение помесячной и почасовой оплаты GPU. На другом полюсе — предобучение фронтирного масштаба, которому нужны сотни GPU одновременно: его место — на стойках GB300 NVL72, доступных от 7 990 $ за GPU в месяц при аренде на срок 12–36 месяцев.

Как начать

1. Выберите конфигурацию на странице развёртывания, укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой. В необязательных примечаниях для наших инженеров опишите размер модели, бюджет токенов и число узлов.
2. Проверьте конфигурацию и цену — они показываются до оплаты. Если оплаченный сервер не выдан в тот же день, вы можете отменить заказ и получить полный возврат средств на баланс.
3. Оплатите первый месяц с предоплаченного баланса, а если средств не хватает, пополните его криптовалютой; IP-адрес и данные для подключения по SSH появятся в личном кабинете в течение 10 минут после оплаты.
4. Начните с нашего образа Ubuntu 22.04 или 24.04 с предустановленными драйверами NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, скачайте свой контейнер для обучения и проверьте NCCL перед первым долгим запуском.

Планируете вместо этого обучение адаптеров или запуски на одном GPU? См. страницу о GPU для дообучения LLM. Характеристики оборудования каждого узла — на странице о 8-GPU-серверах.