Требования LLM к GPU

Требования Qwen3 32B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Qwen3 32B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 32,8B
Архитектура: Плотная 64 слоя
KV-головы: 8 × 128 разм.
Контекст: 32k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в FP8 · контекст 8k · 8 одновременных запросов · около 54 ГБ

NVIDIA RTX PRO 6000 Blackwell В наличии

96 ГБ GDDR7 · Один GPU

1 390 $/мес.
NVIDIA H100 SXM В наличии

80 ГБ HBM3 · Один GPU

2 190 $/мес.
NVIDIA H200 В наличии

141 ГБ HBM3e · Один GPU

3 090 $/мес.

Выдача менее чем за 10 минут после оплаты.

Память для инференса

Сколько видеопамяти нужно для Qwen3 32B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Qwen3 32B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	66 ГБ	90 ГБ	NVIDIA H200 3 090 $/мес.
FP8 1 байт на параметр	33 ГБ	54 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
4 бита 0,5 байта на параметр	16 ГБ	36 ГБ	NVIDIA L40S 890 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Qwen3 32B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	35 ГБ	NVIDIA L40S 48 ГБ · 890 $/мес.
Q6_K около 6,56 бит на вес	27 ГБ	NVIDIA L40S 48 ГБ · 890 $/мес.
Q5_K_M около 5,69 бит на вес	23 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q4_K_M около 4,85 бит на вес	20 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Qwen3 32B?

Да. В FP8 модель Qwen3 32B работает на одном NVIDIA H100 SXM (80 ГБ, 2 190 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA L40S (48 ГБ) помещается один запрос с контекстом 8k. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Qwen3 32B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	—	1 запрос
NVIDIA L40S 48 ГБ · 890 $/мес.	—	1 запрос	Да
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	—	Да	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	1 запрос	Да	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	Да	Да	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	Да	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	Да	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Qwen3 32B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (64) × число KV-голов (8) × размерность головы (128) × 2 байта = 256 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	1,1 ГБ	8,6 ГБ	34 ГБ
32k токенов	8,6 ГБ	69 ГБ	275 ГБ
128k токенов	34 ГБ	275 ГБ	1 100 ГБ

Дообучение

Память для дообучения Qwen3 32B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	25 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
LoRA (базовая модель в BF16)	81 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
Полное дообучение (AdamW, смешанная точность)	630 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Qwen3 32B

Qwen3 32B — крупнейшая плотная модель семейства Qwen3: 64 слоя, 8 KV-голов и веса под лицензией Apache 2.0. У неё 64 слоя против 40 у Qwen3 14B, поэтому KV-кэш на токен на 60% больше, а длинные контексты и большое число одновременных запросов сильно влияют на подбор конфигурации.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Alibaba Qwen
Лицензия: Apache 2.0
Тип: Плотная
Параметры: 32,8B
Слои: 64
Механизм внимания: Голов запросов: 64, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 32k токенов нативно, около 128k с YaRN

Вопросы и ответы

GPU для Qwen3 32B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Qwen3 32B?

Около 66 ГБ на веса в BF16, 33 ГБ в FP8 и 16 ГБ в 4 битах плюс KV-кэш: около 262 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 54 ГБ.

Можно ли запустить Qwen3 32B на одном GPU?

Да. В FP8 модель работает на одном NVIDIA RTX PRO 6000 Blackwell (96 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для Qwen3 32B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA RTX PRO 6000 Blackwell за 1 390 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Qwen3 32B?

Примерно 25 ГБ для QLoRA, 81 ГБ для LoRA на весах в BF16 и 630 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Qwen3 32B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут.

Выдача менее чем за 10 минут
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить RTX PRO 6000 Все цены