Требования LLM к GPU

Требования Mistral Small 24B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Mistral Small 24B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 23,6B
Архитектура: Плотная 40 слоёв
KV-головы: 8 × 128 разм.
Контекст: 128k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в FP8 · контекст 8k · 8 одновременных запросов · около 38 ГБ

NVIDIA L40S В наличии

48 ГБ GDDR6 · Один GPU

890 $/мес.
NVIDIA RTX PRO 6000 Blackwell В наличии

96 ГБ GDDR7 · Один GPU

1 390 $/мес.
NVIDIA H100 SXM В наличии

80 ГБ HBM3 · Один GPU

2 190 $/мес.

Выдача менее чем за 10 минут после оплаты.

Память для инференса

Сколько видеопамяти нужно для Mistral Small 24B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Mistral Small 24B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	47 ГБ	64 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
FP8 1 байт на параметр	24 ГБ	38 ГБ	NVIDIA L40S 890 $/мес.
4 бита 0,5 байта на параметр	12 ГБ	25 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Mistral Small 24B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	25 ГБ	NVIDIA L40S 48 ГБ · 890 $/мес.
Q6_K около 6,56 бит на вес	19 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q5_K_M около 5,69 бит на вес	17 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q4_K_M около 4,85 бит на вес	14 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Mistral Small 24B?

Да. В FP8 модель Mistral Small 24B работает на одном NVIDIA L40S (48 ГБ, 890 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA GeForce RTX 5090 (32 ГБ) помещается один запрос с контекстом 8k. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Mistral Small 24B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	1 запрос	Да
NVIDIA L40S 48 ГБ · 890 $/мес.	—	Да	Да
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	Да	Да	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	Да	Да	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	Да	Да	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	Да	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	Да	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Mistral Small 24B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (40) × число KV-голов (8) × размерность головы (128) × 2 байта = 160 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	671 МБ	5,4 ГБ	21 ГБ
32k токенов	5,4 ГБ	43 ГБ	172 ГБ
128k токенов	21 ГБ	172 ГБ	687 ГБ

Дообучение

Память для дообучения Mistral Small 24B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	18 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
LoRA (базовая модель в BF16)	59 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
Полное дообучение (AdamW, смешанная точность)	453 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Mistral Small 24B

Mistral Small 3.x — семейство плотных моделей 24B (около 23,6B параметров) с 40 слоями и 8 KV-головами, выпущенное под лицензией Apache 2.0; версии 3.1 и новее поддерживают контекст на 128k токенов. Оно находится между классами 14B и 32B: в BF16 его веса занимают около 47 ГБ, а FP8 сокращает этот объём вдвое.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Mistral AI
Лицензия: Apache 2.0
Тип: Плотная
Параметры: 23,6B
Слои: 40
Механизм внимания: Голов запросов: 32, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 128k токенов (версии 3.1 и новее)

Вопросы и ответы

GPU для Mistral Small 24B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Mistral Small 24B?

Около 47 ГБ на веса в BF16, 24 ГБ в FP8 и 12 ГБ в 4 битах плюс KV-кэш: около 164 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 38 ГБ.

Можно ли запустить Mistral Small 24B на одном GPU?

Да. В FP8 модель работает на одном NVIDIA L40S (48 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для Mistral Small 24B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA L40S за 890 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Mistral Small 24B?

Примерно 18 ГБ для QLoRA, 59 ГБ для LoRA на весах в BF16 и 453 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Mistral Small 24B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Сервер выдаётся менее чем за 10 минут.

Выдача менее чем за 10 минут
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить L40S Все цены