Требования LLM к GPU

Требования Qwen3 235B-A22B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Qwen3 235B-A22B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 235B 22B активных
Архитектура: MoE 94 слоя
KV-головы: 4 × 128 разм.
Контекст: 32k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в FP8 · контекст 8k · 8 одновременных запросов · около 272 ГБ

8× NVIDIA RTX PRO 6000 Blackwell В наличии

8 × 96 ГБ GDDR7 · 8-GPU-сервер · PCIe, без NVLink

10 490 $/мес.
8× NVIDIA HGX H100 В наличии

8 × 80 ГБ HBM3 · 8-GPU-сервер

16 900 $/мес.
8× AMD Instinct MI355X Мало

8 × 288 ГБ HBM3e · 8-GPU-сервер

19 900 $/мес.

Выдача менее чем за 10 минут после оплаты.

Память для инференса

Сколько видеопамяти нужно для Qwen3 235B-A22B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Qwen3 235B-A22B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	470 ГБ	531 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
FP8 1 байт на параметр	235 ГБ	272 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
4 бита 0,5 байта на параметр	118 ГБ	143 ГБ	NVIDIA B200 4 590 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Qwen3 235B-A22B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	250 ГБ	Больше одного GPU
Q6_K около 6,56 бит на вес	193 ГБ	NVIDIA B300 288 ГБ · 5 190 $/мес.
Q5_K_M около 5,69 бит на вес	167 ГБ	NVIDIA B300 288 ГБ · 5 190 $/мес.
Q4_K_M около 4,85 бит на вес	142 ГБ	NVIDIA B200 180 ГБ · 4 590 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Qwen3 235B-A22B?

На одном GPU — нет: в FP8 модели нужно около 272 ГБ, поэтому она работает на 8-GPU-сервере, например 8× NVIDIA HGX H100 (16 900 $ в месяц в FullGPU). В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Qwen3 235B-A22B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	—	—
NVIDIA L40S 48 ГБ · 890 $/мес.	—	—	—
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	—	—	—
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	—	—	—
NVIDIA H200 141 ГБ · 3 090 $/мес.	—	—	—
NVIDIA B200 180 ГБ · 4 590 $/мес.	—	—	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	—	—	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Qwen3 235B-A22B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (94) × число KV-голов (4) × размерность головы (128) × 2 байта = 188 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	789 МБ	6,3 ГБ	25 ГБ
32k токенов	6,3 ГБ	50 ГБ	202 ГБ
128k токенов	25 ГБ	202 ГБ	807 ГБ

Дообучение

Память для дообучения Qwen3 235B-A22B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	177 ГБ	NVIDIA B300 5 190 $/мес.
LoRA (базовая модель в BF16)	583 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
Полное дообучение (AdamW, смешанная точность)	4 512 ГБ	Больше 8 GPU: GB300 NVL72

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Qwen3 235B-A22B

Qwen3 235B-A22B — флагманская MoE-модель (mixture of experts) семейства Qwen3: 235B параметров, из которых около 22B активны для каждого токена, 94 слоя и всего 4 KV-головы, поэтому для своего размера она обходится небольшим KV-кэшем. Но все эксперты всё равно должны находиться в видеопамяти, так что выбор сервера определяют веса.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Alibaba Qwen
Лицензия: Apache 2.0
Тип: Смесь экспертов (MoE)
Параметры: 235Bоколо 22B активных на токен
Слои: 94
Механизм внимания: Голов запросов: 64, KV-голов: 4grouped-query attention, размерность головы 128
Контекстное окно: 32k токенов нативно, около 128k с YaRN

Вопросы и ответы

GPU для Qwen3 235B-A22B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Qwen3 235B-A22B?

Около 470 ГБ на веса в BF16, 235 ГБ в FP8 и 118 ГБ в 4 битах плюс KV-кэш: около 193 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 272 ГБ.

Можно ли запустить Qwen3 235B-A22B на одном GPU?

Нет, если нужны контекст 8k и 8 одновременных запросов: в FP8 модели нужно около 272 ГБ — больше, чем вмещает любой отдельный GPU. Такую модель запускают на 8-GPU-сервере, например 8× NVIDIA RTX PRO 6000 Blackwell, с помощью тензорного параллелизма.

Какой самый дешёвый сервер FullGPU подходит для Qwen3 235B-A22B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — 8× NVIDIA RTX PRO 6000 Blackwell за 10 490 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Qwen3 235B-A22B?

Примерно 177 ГБ для QLoRA, 583 ГБ для LoRA на весах в BF16 и 4 512 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Qwen3 235B-A22B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут.

Выдача менее чем за 10 минут
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить 8× RTX PRO 6000 Все цены