# Подходящий GPU для дообучения LLM — от QLoRA до полного дообучения

> Подберите GPU для дообучения LLM: расчёт памяти для QLoRA, LoRA и полного дообучения моделей 8B–70B на H100, H200 и B200. Сначала проверьте, что поместится.

Источник: https://fullgpu.com/ru/solutions/fine-tuning  
Обновлено: 2026-10-23  
Издатель: FullGPU (https://fullgpu.com/)

## Ключевые моменты

- **Под любой метод:** QLoRA на одном H100, LoRA в BF16 для модели 70B на одном B200 и полное дообучение на 8-GPU-узлах.
- **Данные остаются на месте:** Базовые веса, датасеты и чекпоинты хранятся на локальных NVMe весь оплаченный месяц.
- **Только целые GPU:** Без деления на vGPU, без MIG-разделов и без разделения по времени: вся память принадлежит вам.
- **Экспериментируйте свободно:** При фиксированной цене в месяц неудачный запуск или лишний перебор гиперпараметров ничего не добавляет к счёту.
- **Готовые образы:** Ubuntu с предустановленными драйверами NVIDIA, CUDA, Docker и NVIDIA Container Toolkit.

## Рекомендуемые конфигурации

- [NVIDIA H200](https://fullgpu.com/ru/gpus/nvidia-h200): 3 090 $ в месяц — 141 ГБ: QLoRA для 70B с длинными контекстами, LoRA в BF16 до 32B
- [NVIDIA H100 SXM](https://fullgpu.com/ru/gpus/nvidia-h100): 2 190 $ в месяц — 80 ГБ: QLoRA до 70B и LoRA в BF16 для моделей 8B–14B
- [NVIDIA B200](https://fullgpu.com/ru/gpus/nvidia-b200): 4 590 $ в месяц — 180 ГБ: LoRA в BF16 для 70B или полное дообучение моделей 8B

## Обзор

Подходящий GPU для дообучения (fine-tuning) больших языковых моделей (LLM) — самый небольшой из тех, что вмещают базовую модель, состояние обучения выбранного метода и самые длинные последовательности, да ещё с запасом. Ниже — расчёт памяти для QLoRA, LoRA и полного дообучения моделей 8B, 32B и 70B: какой одиночный GPU справится с каждым вариантом и когда вместо него нужен 8-GPU-узел. Все наши GPU — целые физические карты с помесячной арендой.

## Сколько памяти нужно каждому методу дообучения

- **Полное дообучение** обновляет все веса. С AdamW и смешанной точностью закладывайте примерно 16–20 байт на параметр без учёта активаций. 8-битные состояния оптимизатора экономят около 6 байт на параметр.
- **LoRA** замораживает базовую модель в BF16 (2 байта на параметр) и обучает небольшие матрицы адаптеров, состояние оптимизатора которых обычно занимает не больше нескольких гигабайт.
- **QLoRA** загружает замороженную базовую модель в 4-битном формате — около 0,5 байта на параметр плюс небольшие накладные расходы — и обучает поверх неё адаптеры в BF16. Прежде чем делать окончательный выбор, сравните её результаты с LoRA на собственном наборе данных для оценки.

| Модель | QLoRA, 4-битная база | LoRA, база в BF16 | Полное дообучение, AdamW |
| --- | --- | --- | --- |
| 8B | около 5–6 ГБ | около 16 ГБ | около 130–160 ГБ |
| 32B | около 18 ГБ | около 64 ГБ | около 510–640 ГБ |
| 70B | около 40 ГБ | около 140 ГБ | около 1,1–1,4 ТБ |

Эти цифры учитывают только веса или состояние обучения. Активации добавляются сверху и растут с длиной последовательности и размером батча; чекпоинтинг активаций (gradient checkpointing) резко сокращает их ценой дополнительных вычислений. Закладывайте запас 10–30% или проверьте свою конфигурацию в нашем [калькуляторе видеопамяти (VRAM)](https://fullgpu.com/ru/tools/vram-calculator).

## Какой GPU для дообучения LLM подойдёт вашей модели

- **H100, 80 ГБ HBM3.** QLoRA для моделей до 70B: около 40 ГБ 4-битных весов оставляют место для активаций при умеренной длине контекста. LoRA в BF16 для моделей 8B–14B. Полное дообучение — только для небольших моделей, примерно на 3B параметров.
- **H200, 141 ГБ HBM3e.** QLoRA для 70B с более длинными последовательностями или большими батчами, LoRA в BF16 для моделей 32B с комфортным запасом и полное дообучение моделей 7B–8B с 8-битным оптимизатором.
- **B200, 180 ГБ HBM3e.** LoRA в BF16 для 70B: около 140 ГБ весов оставляют примерно 40 ГБ для адаптеров и активаций при чекпоинтинге активаций. Подходит и для полного дообучения моделей 8B в стандартной смешанной точности.
- **B300, 288 ГБ HBM3e.** Самый большой тариф с одним GPU в нашем каталоге — для LoRA на модели 70B с длинным контекстом без всяких ухищрений.

Когда всё помещается, темп задаёт пропускная способность памяти: 3,35 ТБ/с у H100, 4,8 ТБ/с у H200 и 8 ТБ/с у B200 по опубликованным спецификациям NVIDIA. Подробнее о двух картах поколения Hopper — в нашем [сравнении H100 и H200](https://fullgpu.com/ru/compare/h100-vs-h200).

## Когда нужны 8 GPU

- **Полное дообучение моделей крупнее 8B.** Модели 32B нужно примерно 510–640 ГБ под состояние обучения: с FSDP или DeepSpeed ZeRO-3 оно помещается на узел HGX H200 с 1,13 ТБ HBM3e. Модели 70B нужно 1,1–1,4 ТБ: это узел HGX B300 или узел HGX B200 с выгрузкой состояния оптимизатора в его 2 ТБ оперативной памяти.
- **Обучение с подкреплением.** При постобучении в стиле PPO и GRPO рядом с тренером часто работает движок генерации, например vLLM, поэтому GPU приходится делить между генерацией роллаутов (rollouts) и обучением.
- **Длинные контексты.** При 32K–128K токенов основную часть бюджета памяти занимают активации; контекстный параллелизм (context parallelism) распределяет их по нескольким GPU.
- **Время выполнения.** Параллелизм по данным на восьми GPU сокращает большие запуски, которые на одной карте заняли бы несколько дней.

В наших [8-GPU-серверах](https://fullgpu.com/ru/products/8-gpu-servers) все восемь GPU соединены через NVLink. О предобучении и больших запусках постобучения читайте на странице [о GPU-серверах для обучения LLM](https://fullgpu.com/ru/solutions/llm-training), а самый крупный из распространённых размеров подробно разобран в нашем руководстве [по дообучению модели 70B](https://fullgpu.com/ru/blog/fine-tune-70b-model).

## Программное обеспечение и настройка

Hugging Face TRL с PEFT, Axolotl, Unsloth и LLaMA-Factory поддерживают LoRA и QLoRA; для 4-битной загрузки используется bitsandbytes, а для полного дообучения на нескольких GPU — FSDP или DeepSpeed. Запускайте их в Docker с NVIDIA Container Toolkit, который предустановлен в наших образах Ubuntu, — так версии CUDA и PyTorch остаются зафиксированными от эксперимента к эксперименту. Токенизация и упаковка большого датасета — работа для CPU, поэтому важны и процессор, и оперативная память тарифа: 24 vCPU и 225 ГБ оперативной памяти у H100, 24 vCPU и 240 ГБ у H200 и 26 vCPU и 256 ГБ у B200.

Храните базовую модель и токенизированный датасет на локальном NVMe: 2 ТБ в тарифах с H100 и H200 и 2,75 ТБ в тарифе с B200. Базовая модель 70B в BF16 занимает около 140 ГБ, поэтому вы скачиваете её один раз и пользуетесь ею весь месяц, а входящий трафик не расходует включённый объём трафика. После каждого запуска загрузите чекпоинт в vLLM на том же GPU и проверьте его, прежде чем отправлять в продакшен; настройка описана в нашем [руководстве по PyTorch и vLLM](https://fullgpu.com/ru/docs/pytorch-vllm).

## Помесячная или почасовая оплата для дообучения?

Дообучение — процесс итеративный: очистить данные, перебрать значения скорости обучения (learning rate), оценить результат, повторить. Выделенный GPU на месяц подходит командам, которые запускают по нескольку экспериментов в неделю, потому что каждый дополнительный запуск ничего не добавляет к счёту. H100 за 2 190 $ в месяц при круглосуточной загрузке обходится примерно в 3,00 $ за GPU-час; если же использовать его всего 100 часов, фактическая ставка составит около 21,90 $ в час. Если вы дообучаете модели по нескольку часов в квартал, почасовая оплата в другом месте обойдётся дешевле. Посчитайте свои цифры с помощью [сравнения помесячной и почасовой оплаты GPU](https://fullgpu.com/ru/compare/monthly-vs-hourly-gpu-pricing).

Чтобы начать, выберите конфигурацию на [странице развёртывания](https://fullgpu.com/ru/deploy), в той же форме создайте бесплатный аккаунт и оплатите первый месяц с предоплаченного баланса, который пополняется криптовалютой. Сервер выдаётся менее чем за 10 минут после оплаты, а IP-адрес и данные для подключения по SSH появляются в личном кабинете.

## Часто задаваемые вопросы

### Можно ли дообучить модель 70B на одном GPU?

Да, с адаптерами. QLoRA для модели 70B нужно около 40 ГБ под 4-битные базовые веса, и она помещается на один H100, а LoRA в BF16 нужно около 140 ГБ — она помещается на один B200. Для полного дообучения модели 70B нужен 8-GPU-узел или больше.

### Хватит ли H100 для дообучения LLM?

Для QLoRA на моделях до 70B и LoRA в BF16 на моделях примерно до 14B — обычно да. Для LoRA в BF16 на моделях 32B или с длинными контекстами больше запаса даёт H200, а полное дообучение моделей 8B лучше всего помещается на B200.

### Остаются ли мои датасеты и чекпоинты на сервере между запусками?

Да. Сервер принадлежит вам весь оплаченный месяц, поэтому базовые веса, датасеты, чекпоинты и ваше окружение остаются на его локальном NVMe. Мы не делаем резервных копий локального хранилища, если это не согласовано письменно, поэтому копируйте важные результаты за пределы сервера.

### Как перенести датасет на сервер?

Скопируйте его по SSH с помощью scp или rsync либо скачайте оттуда, где он уже хранится. Входящий трафик не учитывается во включённом объёме трафика.

### Какие фреймворки для дообучения можно использовать?

Любые, которые работают в Linux с CUDA, — ведь у вас есть root-доступ: TRL с PEFT, Axolotl, Unsloth, LLaMA-Factory, DeepSpeed или чистый PyTorch. В наших образах предустановлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit.

## Связанные страницы

- [Как дообучить модель 70B: требования к GPU и порядок работы](https://fullgpu.com/ru/blog/fine-tune-70b-model): Сколько GPU нужно для дообучения модели 70B: QLoRA — один GPU с 80 ГБ, LoRA в BF16 — около двух, полное — свыше 1 ТБ (класс 8× H200). Расчёт памяти и настройка.
- [Калькулятор видеопамяти для LLM: поместится ли ваша модель на GPU?](https://fullgpu.com/ru/tools/vram-calculator): Бесплатный калькулятор видеопамяти для LLM: выберите Llama, Qwen, Mistral или gpt-oss, точность и длину контекста и посмотрите веса, KV-кэш и подходящие GPU.
- [Аренда серверов NVIDIA H200 и HGX H200 от 3 090 $ в месяц](https://fullgpu.com/ru/gpus/nvidia-h200): Аренда выделенного NVIDIA H200 (141 ГБ) за 3 090 $/мес. (≈ 4,23 $ за GPU-час 24/7) или 8-GPU HGX H200 за 23 900 $. Фиксированная цена, оплата криптовалютой.
- [H100 vs H200: одинаковая вычислительная мощность Hopper, очень разная память](https://fullgpu.com/ru/compare/h100-vs-h200): H100 vs H200: та же вычислительная мощность Hopper, 80 ГБ и 3,35 ТБ/с против 141 ГБ и 4,8 ТБ/с. Что помещается на один GPU, расчёт KV-кэша и цена в месяц.
- [GPU-серверы для обучения LLM на выделенных 8-GPU-узлах](https://fullgpu.com/ru/solutions/llm-training): GPU-серверы для обучения LLM: bare-metal-узлы HGX B300, B200 и H200 с NVLink и сетью 400–800G, аренда помесячно. Сначала посмотрите расчёт памяти.
- [Инференс LLM на vLLM](https://fullgpu.com/ru/docs/pytorch-vllm): Инференс LLM с vLLM на вашем GPU-сервере: настройте Python через uv, установите PyTorch и vLLM, проверьте OpenAI-совместимый API и запустите его как службу.