Требования LLM к GPU: сколько видеопамяти нужно открытым моделям

Как оценить требования к GPU для любой LLM (большой языковой модели)

Память GPU, которая нужна модели для инференса, складывается из трёх частей, и каждая страница выше рассчитывает их по опубликованной архитектуре модели:

• Веса Число параметров × число байт на параметр: 2 байта в BF16, 1 — в FP8 и около 0,5 — в 4-битных форматах. Модель 70B занимает около 141 ГБ в BF16 и 71 ГБ в FP8.
• KV-кэш 2 × число слоёв × число KV-голов × размерность головы × число байт на значение для каждого токена в обработке (термины объясняются в глоссарии). Он растёт вместе с длиной контекста и числом одновременных запросов.
• Накладные расходы среды выполнения Активации, графы CUDA и фрагментация памяти в аллокаторе: закладывайте около 10% от объёма весов плюс 1 ГБ и оставляйте часть памяти GPU свободной.

Если нужной модели нет в списке, введите число её параметров, слоёв и KV-голов в калькулятор видеопамяти (VRAM): он считает по тем же формулам и показывает все подходящие конфигурации.

MoE-модели (mixture of experts): память определяется общим числом параметров

MoE-модель, например Qwen3 235B-A22B или gpt-oss-120b, задействует для каждого токена лишь часть своих параметров — около 22B и 5,1B соответственно, — но все эксперты должны находиться в памяти GPU. Рассчитывайте объём весов по общему числу параметров. Число активных параметров определяет только объём вычислений на токен — вот почему MoE-модели быстро генерируют токены, когда помещаются в память.

Требования для инференса и дообучения (fine-tuning)

Дообучению нужно больше памяти, чем инференсу. QLoRA хранит базовые веса в 4-битном формате и обучает небольшие адаптеры; LoRA обучает адаптеры поверх замороженных весов в BF16; полное дообучение с AdamW в смешанной точности хранит веса, градиенты и состояние оптимизатора для каждого параметра — около 16 байт на параметр без учёта активаций. Для модели 70B наши оценки таковы: около 53 ГБ с QLoRA, 175 ГБ с LoRA и около 1,36 ТБ для полного дообучения с шардированием на 8-GPU-сервере (FSDP или ZeRO-3). Каждый метод разобран в руководстве по дообучению модели 70B.

Потребительские GPU или GPU для дата-центров: что выбрать для LLM

У GeForce RTX 5090 32 ГБ GDDR7 с пропускной способностью 1,8 ТБ/с: этого достаточно для моделей 8B в BF16, моделей примерно до 32B в 4-битном формате с короткими контекстами и генерации изображений — по самой низкой цене в месяц. GPU для дата-центров дают больше памяти и более высокую пропускную способность: 80 ГБ HBM3 у H100, 141 ГБ у H200, 180 ГБ у B200 и 288 ГБ у B300 и MI355X, а GPU 8-GPU-сервера соединены через NVLink или Infinity Fabric, так что одна модель может работать сразу на всех восьми. RTX PRO 6000 Blackwell с 96 ГБ GDDR7 занимает промежуточное положение.

Практическое правило: выберите самый маленький GPU, в память которого помещаются веса, KV-кэш для вашего трафика и запас около 10%, а затем сравните цены в месяц. В руководстве о лучшем GPU для инференса LLM выбор разобран для каждого размера модели.