# GPU-серверы для обучения LLM на выделенных 8-GPU-узлах

> GPU-серверы для обучения LLM: bare-metal-узлы HGX B300, B200 и H200 с NVLink и сетью 400–800G, аренда помесячно. Сначала посмотрите расчёт памяти.

Источник: https://fullgpu.com/ru/solutions/llm-training  
Обновлено: 2026-10-23  
Издатель: FullGPU (https://fullgpu.com/)

## Ключевые моменты

- **Bare-metal-узлы с 8 GPU:** Восемь целых GPU, соединённых через NVLink и закреплённых только за вами, с root-доступом по SSH.
- **Сеть 400G и 800G:** Восемь адаптеров ConnectX-7 400G на каждом узле HGX или восемь ConnectX-8 800G на HGX B300 — для многоузловых задач.
- **30 ТБ локальных NVMe:** Восемь NVMe-накопителей по 3,84 ТБ на каждом узле — для датасетов, шардов и чекпоинтов.
- **Без вытеснения:** Узел принадлежит вам весь оплаченный месяц — без разделения по времени и без других арендаторов.
- **SLA с доступностью 99,9%:** Доступность электропитания, сети и оборудования, подкреплённая компенсацией на баланс до 100% ежемесячной платы.
- **Частная сеть и стойки:** Несколько 8-GPU-серверов, объединённых частной сетью, и стойки GB300 NVL72 на срок 12–36 месяцев.

## Рекомендуемые конфигурации

- [8× NVIDIA HGX B300](https://fullgpu.com/ru/gpus/nvidia-b300): 39 900 $ в месяц — 2,3 ТБ HBM3e: всё состояние обучения модели 70B на одном узле
- [8× NVIDIA HGX B200](https://fullgpu.com/ru/gpus/nvidia-b200): 34 900 $ в месяц — 1,44 ТБ HBM3e и NVLink 5 для обучения моделей класса 8B–32B
- [8× NVIDIA HGX H200](https://fullgpu.com/ru/gpus/nvidia-h200): 23 900 $ в месяц — 1,13 ТБ HBM3e для постобучения и моделей среднего размера

## Обзор

Выбор GPU-серверов для обучения LLM (больших языковых моделей) начинается с памяти, а не с FLOPS: веса, градиенты и состояние оптимизатора должны поместиться на GPU ещё до первого шага, а активации добавляются сверху. Мы сдаём в аренду помесячно bare-metal-узлы NVIDIA HGX с восемью целыми GPU, соединёнными через NVLink, поэтому одни и те же машины, данные и чекпоинты остаются с вами от разогрева (warm-up) до финальной оценки.

## Сколько памяти GPU нужно для обучения LLM

С AdamW и смешанной точностью каждый параметр обходится примерно в 16–20 байт без учёта активаций: 2 байта на веса в BF16, 2 на градиенты, 4 на мастер-копию в FP32 и 8 на два момента Adam, плюс ещё несколько, если хранить градиенты в FP32. Активации растут вместе с размером микробатча, длиной последовательности, скрытой размерностью и числом слоёв. Чекпоинтинг активаций и FlashAttention держат их под контролем ценой частичных повторных вычислений.

| Размер модели | Состояние обучения без учёта активаций | Минимальная конфигурация с запасом |
| --- | --- | --- |
| 8B | около 130–160 ГБ | Один узел HGX H100 (640 ГБ HBM3) |
| 32B | около 510–640 ГБ | Один узел HGX H200 (1 128 ГБ HBM3e) |
| 70B | около 1,1–1,4 ТБ | Один узел HGX B300 (2 304 ГБ) или два узла H200 либо B200 |
| 405B | около 6,5–8,1 ТБ | Четыре или больше узлов HGX B300, объединённых частной сетью |

FSDP или DeepSpeed ZeRO-3 шардируют это состояние по GPU, так что каждый GPU хранит примерно общий объём, делённый на размер группы шардирования. Если памяти немного не хватает, оба инструмента умеют выгружать состояние оптимизатора в память CPU — это 2 ТБ DDR5 на узлах HGX H100, H200 и B200 и 4 ТБ на HGX B300, — но ценой увеличения времени шага.

## Как выбрать GPU-серверы для обучения LLM

Память определяет, что поместится, а вычислительная мощность — сколько времени это займёт. Обучение требует примерно 6 × число параметров × число токенов операций с плавающей запятой, поэтому модели 7B, обучаемой на 1 трлн токенов, нужно около 4,2 × 10^22 FLOP. Заявленная производителем пиковая производительность узла HGX B200 в BF16 без разреженности — 18 PFLOPS (8 × 2,25). Если ваша задача стабильно выдаёт 40% от этого значения, обучение займёт около 67 дней. На узле HGX H200 — 8 × 989 TFLOPS в BF16 без разреженности по спецификациям NVIDIA — то же обучение займёт около пяти месяцев. Поэтому большая часть предобучения с нуля выполняется на многоузловых кластерах, а постобучение, продолжение предобучения на меньших объёмах токенов и работа с небольшими моделями укладываются в один узел и помесячный тариф.

- **HGX B300:** 288 ГБ на GPU, 2,3 ТБ на узел и восемь адаптеров ConnectX-8 800G. Самый вместительный узел NVIDIA в нашем каталоге — для полного обучения моделей класса 70B и длинных контекстов.
- **HGX B200:** 180 ГБ на GPU, NVLink 5 со скоростью 1,8 ТБ/с на каждый GPU и заявленные производителем 4,5 PFLOPS в FP8 без разреженности на GPU — для обучения в FP8 с Transformer Engine.
- **HGX H200:** 141 ГБ на GPU и 1,13 ТБ на узел на архитектуре Hopper — для обучения моделей 8B–32B и для постобучения.
- **8× AMD Instinct MI355X:** 288 ГБ на GPU и ROCm — если ваш стек для обучения уже работает на AMD.

## Шардирование, NVLink и сеть между узлами

Внутри узла восемь GPU обмениваются данными через NVLink: 900 ГБ/с на каждый GPU у H100 и H200 и 1,8 ТБ/с на каждый GPU у B200 и B300 по опубликованным спецификациям NVIDIA. Именно эта пропускная способность делает тензорный параллелизм и полностью шардированный параллелизм по данным эффективными в пределах одной машины. Практичная схема для начала:

- **Примерно до 30B параметров:** FSDP или ZeRO-3 на восьми GPU и обычный параллелизм по данным между узлами.
- **70B и больше:** тензорный параллелизм внутри узла с Megatron-Core или встроенным тензорным параллелизмом PyTorch, плюс конвейерный параллелизм (pipeline parallelism) или FSDP между узлами.
- **MoE-модели (mixture of experts):** параллелизм экспертов активно использует all-to-all, поэтому по возможности держите группы экспертов в пределах одного домена NVLink.

Для связи между узлами у каждого сервера HGX есть восемь адаптеров ConnectX-7 400G, а у HGX B300 — восемь ConnectX-8 800G. Чтобы объединить несколько своих серверов, при их [развёртывании](https://fullgpu.com/ru/deploy) попросите в примечаниях к заказу настроить [частную сеть](https://fullgpu.com/ru/products/private-networking) и укажите число узлов и то, как ваша задача обменивается данными. Перед долгим запуском проверьте топологию командой `nvidia-smi topo -m` и прогоните nccl-tests внутри узлов и между ними, как описано в нашем [руководстве по работе с несколькими GPU и NCCL](https://fullgpu.com/ru/docs/multi-gpu-nccl).

## Чекпоинты, датасеты и локальные NVMe

В каждом узле HGX установлено восемь NVMe-накопителей по 3,84 ТБ — около 30 ТБ сырой ёмкости. Полный чекпоинт с состоянием оптимизатора занимает примерно 12–16 байт на параметр, то есть около 1 ТБ для модели 70B, поэтому храните несколько последних локально и записывайте их по шардам и параллельно с помощью PyTorch Distributed Checkpoint. Токенизированный датасет на 1 трлн токенов, сохранённый в виде 32-битных идентификаторов токенов, занимает около 4 ТБ — и рядом с чекпоинтами ещё остаётся место.

Мы не делаем резервных копий локального хранилища, если это не согласовано письменно, поэтому копируйте ключевые чекпоинты за пределы сервера. Входящий трафик не учитывается, а в 8-GPU-серверы включено 50 ТБ исходящего трафика в месяц без отдельной платы — этого хватает, чтобы каждую неделю выгружать с сервера чекпоинт на 1 ТБ. Когда аренда сервера заканчивается, его диски надёжно стираются.

## Когда выделенные узлы с помесячной оплатой подходят, а когда нет

Узел с помесячной оплатой подходит, когда обучение держит его загруженным: запуски длиной в недели, очередь абляционных экспериментов или циклы постобучения, в которых вы каждый день итерируете на одних и тех же данных. В 2026 году мощностей GPU не хватает, и многие провайдеры предпочитают годовые контракты, поэтому узел, который вы арендуете помесячно и можете бесплатно отменить в любом месяце, — часто разумная золотая середина.

Он не подходит для одной трёхдневной задачи, после которой месяц простоя. Узел HGX B200 за 34 900 $ в месяц при круглосуточной загрузке обходится примерно в 5,98 $ за GPU-час, но если использовать его в этом месяце всего 72 часа, фактическая ставка составит около 60 $ за GPU-час, и почасовая оплата в другом месте обойдётся дешевле. Прежде чем решать, прочитайте [сравнение помесячной и почасовой оплаты GPU](https://fullgpu.com/ru/compare/monthly-vs-hourly-gpu-pricing). На другом полюсе — предобучение фронтирного масштаба, которому нужны сотни GPU одновременно: его место — на стойках [GB300 NVL72](https://fullgpu.com/ru/gpus/nvidia-gb300-nvl72), доступных от 7 990 $ за GPU в месяц при аренде на срок 12–36 месяцев.

## Как начать

1. Выберите конфигурацию на [странице развёртывания](https://fullgpu.com/ru/deploy), укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой. В необязательных примечаниях для наших инженеров опишите размер модели, бюджет токенов и число узлов.
2. Проверьте конфигурацию и цену — они показываются до оплаты. Если оплаченный сервер не выдан в тот же день, вы можете отменить заказ и получить полный возврат средств на баланс.
3. Оплатите первый месяц с предоплаченного баланса, а если средств не хватает, пополните его криптовалютой; IP-адрес и данные для подключения по SSH появятся в личном кабинете в течение 10 минут после оплаты.
4. Начните с нашего образа Ubuntu 22.04 или 24.04 с предустановленными драйверами NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, скачайте свой контейнер для обучения и проверьте NCCL перед первым долгим запуском.

Планируете вместо этого обучение адаптеров или запуски на одном GPU? См. страницу [о GPU для дообучения LLM](https://fullgpu.com/ru/solutions/fine-tuning). Характеристики оборудования каждого узла — на странице [о 8-GPU-серверах](https://fullgpu.com/ru/products/8-gpu-servers).

## Часто задаваемые вопросы

### Сколько GPU нужно, чтобы обучить модель 70B?

Для полного обучения с AdamW и смешанной точностью нужно примерно 1,1–1,4 ТБ под веса, градиенты и состояние оптимизатора без учёта активаций. Это помещается на один узел HGX B300 с 2,3 ТБ HBM3e или, с шардированием, на два узла HGX H200 или B200; при большом бюджете токенов, чтобы закончить в разумные сроки, понадобится несколько узлов.

### Можно ли обучать модель на нескольких 8-GPU-серверах?

Да. Несколько 8-GPU-серверов можно объединить частной сетью — попросите об этом в примечаниях к заказу, — и у каждого сервера HGX остаются его восемь сетевых адаптеров 400G или 800G. Если нужен единый домен NVLink на 72 GPU, доступна стойка GB300 NVL72 на срок от 12 до 36 месяцев.

### Возможно ли вытеснение (preemption) моего узла во время долгого запуска?

Нет. GPU закреплены только за вами на весь оплаченный месяц, без разделения по времени, а доступность электропитания, сети и оборудования покрывается нашим SLA (соглашением об уровне обслуживания) с доступностью 99,9% и компенсацией на баланс (service credits), так что продолжайте сохранять чекпоинты как обычно.

### Делаете ли вы резервные копии моих чекпоинтов?

Нет, мы не делаем резервных копий локальных NVMe-накопителей, если это не согласовано письменно. Копируйте важные чекпоинты за пределы сервера: входящий трафик не учитывается, а 8-GPU-серверы включают 50 ТБ исходящего трафика в месяц.

### Какое ПО предустановлено?

Наши образы Ubuntu 22.04 и 24.04 включают драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, а на серверах AMD используются образы с ROCm. У вас есть root-доступ, поэтому PyTorch, Megatron, DeepSpeed или любой другой нужный фреймворк вы устанавливаете сами.

## Связанные страницы

- [Аренда сервера с 8 GPU: bare metal на базе NVIDIA HGX и AMD Instinct](https://fullgpu.com/ru/products/8-gpu-servers): Аренда bare-metal-сервера с 8 GPU: NVIDIA HGX B300, B200, H200, H100, AMD MI355X или 8× RTX PRO 6000. 50 ТБ трафика, помесячно, выдача менее чем за 10 минут.
- [Частная сеть между GPU-серверами](https://fullgpu.com/ru/products/private-networking): Частная сеть между GPU-серверами по запросу: объедините свои серверы FullGPU в изолированную сеть для конвейеров данных и многоузловых задач. Как это работает.
- [Подходящий GPU для дообучения LLM — от QLoRA до полного дообучения](https://fullgpu.com/ru/solutions/fine-tuning): Подберите GPU для дообучения LLM: расчёт памяти для QLoRA, LoRA и полного дообучения моделей 8B–70B на H100, H200 и B200. Сначала проверьте, что поместится.
- [Тесты NCCL на сервере с несколькими GPU: all_reduce_perf шаг за шагом](https://fullgpu.com/ru/docs/multi-gpu-nccl): Как запустить тесты NCCL на сервере с несколькими GPU: проверка топологии NVLink, сборка nccl-tests, busbw в all_reduce_perf и запуск задач torchrun на 8 GPU.
- [H200 vs B200: Hopper или Blackwell для вашего следующего GPU-сервера?](https://fullgpu.com/ru/compare/h200-vs-b200): Сравнение H200 и B200: 141 против 180 ГБ, 4,8 против 8 ТБ/с, FP4 и NVLink 5. Что помещается, за что вы доплачиваете 1 500 $/мес. и когда выгоднее H200.
- [NVLink или PCIe: пропускная способность, топология и когда это важно](https://fullgpu.com/ru/blog/nvlink-vs-pcie): Сравнение NVLink и PCIe: пропускная способность на GPU, NVSwitch и NVL72, каким задачам на нескольких GPU нужен NVLink, а каким хватает PCIe. С расчётами.