Требования LLM к GPU

Требования Qwen3 14B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Qwen3 14B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 14,8B
Архитектура: Плотная 40 слоёв
KV-головы: 8 × 128 разм.
Контекст: 32k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в BF16 · контекст 8k · 8 одновременных запросов · около 44 ГБ

NVIDIA RTX PRO 6000 Blackwell В наличии

96 ГБ GDDR7 · Один GPU

1 390 $/мес.
NVIDIA H100 SXM В наличии

80 ГБ HBM3 · Один GPU

2 190 $/мес.
NVIDIA H200 В наличии

141 ГБ HBM3e · Один GPU

3 090 $/мес.

Выдача менее чем за 10 минут после оплаты.

Память для инференса

Сколько видеопамяти нужно для Qwen3 14B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Qwen3 14B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	30 ГБ	44 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
FP8 1 байт на параметр	15 ГБ	28 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
4 бита 0,5 байта на параметр	7,4 ГБ	20 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Qwen3 14B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	16 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q6_K около 6,56 бит на вес	12 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q5_K_M около 5,69 бит на вес	11 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q4_K_M около 4,85 бит на вес	9,0 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Qwen3 14B?

Да. В BF16 модель Qwen3 14B работает на одном NVIDIA H100 SXM (80 ГБ, 2 190 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA L40S (48 ГБ) помещается один запрос с контекстом 8k. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Qwen3 14B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	Да	Да
NVIDIA L40S 48 ГБ · 890 $/мес.	1 запрос	Да	Да
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	Да	Да	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	Да	Да	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	Да	Да	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	Да	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	Да	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Qwen3 14B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (40) × число KV-голов (8) × размерность головы (128) × 2 байта = 160 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	671 МБ	5,4 ГБ	21 ГБ
32k токенов	5,4 ГБ	43 ГБ	172 ГБ
128k токенов	21 ГБ	172 ГБ	687 ГБ

Дообучение

Память для дообучения Qwen3 14B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	11 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
LoRA (базовая модель в BF16)	37 ГБ	NVIDIA L40S 890 $/мес.
Полное дообучение (AdamW, смешанная точность)	284 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Qwen3 14B

Qwen3 14B — плотная модель с 40 слоями и механизмом grouped-query attention (8 KV-голов), выпущенная под лицензией Apache 2.0. Её нативный контекст — 32k токенов, и с масштабированием YaRN его можно расширить примерно до 128k, что соответственно увеличивает KV-кэш.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Alibaba Qwen
Лицензия: Apache 2.0
Тип: Плотная
Параметры: 14,8B
Слои: 40
Механизм внимания: Голов запросов: 40, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 32k токенов нативно, около 128k с YaRN

Вопросы и ответы

GPU для Qwen3 14B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Qwen3 14B?

Около 30 ГБ на веса в BF16, 15 ГБ в FP8 и 7,4 ГБ в 4 битах плюс KV-кэш: около 164 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в BF16 с контекстом 8k и 8 одновременными запросами всего нужно около 44 ГБ.

Можно ли запустить Qwen3 14B на одном GPU?

Да. В BF16 модель работает на одном NVIDIA RTX PRO 6000 Blackwell (96 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для Qwen3 14B?

Для инференса в BF16 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA RTX PRO 6000 Blackwell за 1 390 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Qwen3 14B?

Примерно 11 ГБ для QLoRA, 37 ГБ для LoRA на весах в BF16 и 284 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Qwen3 14B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут.

Выдача менее чем за 10 минут
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить RTX PRO 6000 Все цены