# Требования LLM к GPU: сколько видеопамяти нужно открытым моделям

> Видеопамять в BF16, FP8 и 4 битах, KV-кэш и самые дешёвые серверы для моделей Llama, Qwen3, Mistral и gpt-oss.

Источник: https://fullgpu.com/ru/models  
Обновлено: 2026-10-22  
Издатель: FullGPU (https://fullgpu.com/)

## Требования открытых LLM к GPU

Для BF16, FP8 и 4 бит указан объём только весов; самый дешёвый сервер обслуживает модель в её обычной точности с контекстом 8k и 8 одновременными запросами. Также доступно в формате CSV: https://fullgpu.com/data/llm-gpu-requirements.csv

| Модель | Параметры | Веса в BF16 | Веса в FP8 | Веса в 4 битах | Самый дешёвый сервер FullGPU |
| --- | --- | --- | --- | --- | --- |
| [Llama 3.1 8B](https://fullgpu.com/ru/models/llama-3-1-8b) | 8B | 16 ГБ | 8,0 ГБ | 4,0 ГБ | NVIDIA GeForce RTX 5090 (449 $/мес.) |
| [Qwen3 14B](https://fullgpu.com/ru/models/qwen3-14b) | 14,8B | 30 ГБ | 15 ГБ | 7,4 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) |
| [Mistral Small 24B](https://fullgpu.com/ru/models/mistral-small-24b) | 23,6B | 47 ГБ | 24 ГБ | 12 ГБ | NVIDIA L40S (890 $/мес.) |
| [Qwen3 32B](https://fullgpu.com/ru/models/qwen3-32b) | 32,8B | 66 ГБ | 33 ГБ | 16 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) |
| [Llama 3.3 70B](https://fullgpu.com/ru/models/llama-3-3-70b) | 70,6B | 141 ГБ | 71 ГБ | 35 ГБ | NVIDIA H200 (3 090 $/мес.) |
| [gpt-oss-120b](https://fullgpu.com/ru/models/gpt-oss-120b) | 117B | 234 ГБ | 117 ГБ | 59 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) |
| [Qwen3 235B-A22B](https://fullgpu.com/ru/models/qwen3-235b-a22b) | 235B | 470 ГБ | 235 ГБ | 118 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) |
| [Llama 3.1 405B](https://fullgpu.com/ru/models/llama-3-1-405b) | 405B | 810 ГБ | 405 ГБ | 203 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) |

## Как оценить требования к GPU для любой LLM (большой языковой модели)

Память GPU, которая нужна модели для инференса, складывается из трёх частей, и каждая страница выше рассчитывает их по опубликованной архитектуре модели:

- **Веса:** Число параметров × число байт на параметр: 2 байта в BF16, 1 — в FP8 и около 0,5 — в 4-битных форматах. Модель 70B занимает около 141 ГБ в BF16 и 71 ГБ в FP8.
- **KV-кэш:** 2 × число слоёв × число KV-голов × размерность головы × число байт на значение для каждого токена в обработке (термины объясняются в [глоссарии](https://fullgpu.com/ru/glossary)). Он растёт вместе с длиной контекста и числом одновременных запросов.
- **Накладные расходы среды выполнения:** Активации, графы CUDA и фрагментация памяти в аллокаторе: закладывайте около 10% от объёма весов плюс 1 ГБ и оставляйте часть памяти GPU свободной.

Если нужной модели нет в списке, введите число её параметров, слоёв и KV-голов в [калькулятор видеопамяти (VRAM)](https://fullgpu.com/ru/tools/vram-calculator): он считает по тем же формулам и показывает все подходящие конфигурации.

## MoE-модели (mixture of experts): память определяется общим числом параметров

MoE-модель, например [Qwen3 235B-A22B](https://fullgpu.com/ru/models/qwen3-235b-a22b) или [gpt-oss-120b](https://fullgpu.com/ru/models/gpt-oss-120b), задействует для каждого токена лишь часть своих параметров — около 22B и 5,1B соответственно, — но все эксперты должны находиться в памяти GPU. Рассчитывайте объём весов по общему числу параметров. Число активных параметров определяет только объём вычислений на токен — вот почему MoE-модели быстро генерируют токены, когда помещаются в память.

## Требования для инференса и дообучения (fine-tuning)

Дообучению нужно больше памяти, чем инференсу. QLoRA хранит базовые веса в 4-битном формате и обучает небольшие адаптеры; LoRA обучает адаптеры поверх замороженных весов в BF16; полное дообучение с AdamW в смешанной точности хранит веса, градиенты и состояние оптимизатора для каждого параметра — около 16 байт на параметр без учёта активаций. Для модели 70B наши оценки таковы: около 53 ГБ с QLoRA, 175 ГБ с LoRA и около 1,36 ТБ для полного дообучения с шардированием на 8-GPU-сервере (FSDP или ZeRO-3). Каждый метод разобран в [руководстве по дообучению модели 70B](https://fullgpu.com/ru/blog/fine-tune-70b-model).

## Потребительские GPU или GPU для дата-центров: что выбрать для LLM

У [GeForce RTX 5090](https://fullgpu.com/ru/gpus/nvidia-rtx-5090) 32 ГБ GDDR7 с пропускной способностью 1,8 ТБ/с: этого достаточно для моделей 8B в BF16, моделей примерно до 32B в 4-битном формате с короткими контекстами и генерации изображений — по самой низкой цене в месяц. GPU для дата-центров дают больше памяти и более высокую пропускную способность: 80 ГБ HBM3 у H100, 141 ГБ у H200, 180 ГБ у B200 и 288 ГБ у B300 и MI355X, а GPU 8-GPU-сервера соединены через NVLink или Infinity Fabric, так что одна модель может работать сразу на всех восьми. [RTX PRO 6000 Blackwell](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000) с 96 ГБ GDDR7 занимает промежуточное положение.

Практическое правило: выберите самый маленький GPU, в память которого помещаются веса, KV-кэш для вашего трафика и запас около 10%, а затем сравните цены в месяц. В руководстве [о лучшем GPU для инференса LLM](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference) выбор разобран для каждого размера модели.

## Частые вопросы о требованиях к GPU для LLM

### Сколько видеопамяти нужно для запуска модели 70B?

Около 141 ГБ под веса в BF16, 71 ГБ в FP8 и 35 ГБ в 4-битном формате, плюс KV-кэш и накладные расходы среды выполнения. В FP8 один H200 со 141 ГБ обслуживает модель 70B при 8 одновременных запросах с контекстом 8K.

### Можно ли запустить LLM на одном GPU?

Большинство моделей примерно до 70B параметров работают на одном GPU в FP8 или в 4-битном формате: модели 8B — на RTX 5090, 32B — на H100, а 70B — на H200. Более крупным моделям, таким как Llama 3.1 405B или Qwen3 235B, нужен 8-GPU-сервер.

### Сколько памяти добавляет KV-кэш?

Это зависит от модели, контекста и числа пользователей. У Llama 3.3 70B KV-кэш в BF16 занимает около 0,33 МБ на токен, поэтому 32 запросам по 32K токенов нужно около 340 ГБ сверх весов.

### Точны ли эти цифры?

Это оценки, полученные по опубликованной архитектуре каждой модели с помощью тех же формул, что и в калькуляторе видеопамяти. Накладные расходы у разных движков инференса различаются, поэтому используйте эти цифры как ориентир при подборе конфигурации и проверяйте объём свободной памяти, который движок сообщает при запуске.