# Требования Mistral Small 24B к GPU: видеопамять, GPU и серверы

> Для Mistral Small 24B нужно около 47 ГБ видеопамяти в BF16, 24 ГБ в FP8 и 12 ГБ в 4 битах, плюс KV-кэш. Подходящие GPU и серверы с ценами.

Источник: https://fullgpu.com/ru/models/mistral-small-24b  
Обновлено: 2026-10-22  
Издатель: FullGPU (https://fullgpu.com/)

**Коротко:** Да. В FP8 модель Mistral Small 24B работает на одном NVIDIA L40S (48 ГБ, 890 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA GeForce RTX 5090 (32 ГБ) помещается один запрос с контекстом 8k.

## Сведения о модели

- **Разработчик:** Mistral AI
- **Лицензия:** Apache 2.0
- **Тип:** Плотная
- **Параметры:** 23,6B
- **Число слоёв:** 40
- **Механизм внимания:** число голов запросов — 32, KV-голов — 8, размерность головы — 128
- **Контекстное окно:** 128k токенов (версии 3.1 и новее)

## Сколько видеопамяти нужно для Mistral Small 24B

Веса занимают число параметров × число байт на параметр; при инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения. Итоговые значения рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

| Точность | Веса | Всего для инференса | Самый дешёвый подходящий сервер FullGPU |
| --- | --- | --- | --- |
| BF16 | 47 ГБ | 64 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) |
| FP8 | 24 ГБ | 38 ГБ | NVIDIA L40S (890 $/мес.) |
| 4 бита | 12 ГБ | 25 ГБ | NVIDIA GeForce RTX 5090 (449 $/мес.) |

## На каких GPU можно запустить Mistral Small 24B?

Да = 8 одновременных запросов с контекстом 8k у каждого; 1 запрос = один запрос с контекстом 8k за раз; Нет = не помещается.

| Конфигурация | BF16 | FP8 | 4 бита |
| --- | --- | --- | --- |
| NVIDIA GeForce RTX 5090 (32 ГБ, 449 $/мес.) | Нет | 1 запрос | Да |
| NVIDIA L40S (48 ГБ, 890 $/мес.) | Нет | Да | Да |
| NVIDIA H100 SXM (80 ГБ, 2 190 $/мес.) | Да | Да | Да |
| NVIDIA RTX PRO 6000 Blackwell (96 ГБ, 1 390 $/мес.) | Да | Да | Да |
| NVIDIA H200 (141 ГБ, 3 090 $/мес.) | Да | Да | Да |
| NVIDIA B200 (180 ГБ, 4 590 $/мес.) | Да | Да | Да |
| NVIDIA B300 (288 ГБ, 5 190 $/мес.) | Да | Да | Да |
| 8× NVIDIA HGX H100 (8 × 80 ГБ, 16 900 $/мес.) | Да | Да | Да |
| 8× NVIDIA RTX PRO 6000 Blackwell (8 × 96 ГБ, 10 490 $/мес.) | Да | Да | Да |
| 8× NVIDIA HGX H200 (8 × 141 ГБ, 23 900 $/мес.) | Да | Да | Да |
| 8× NVIDIA HGX B200 (8 × 180 ГБ, 34 900 $/мес.) | Да | Да | Да |
| 8× NVIDIA HGX B300 (8 × 288 ГБ, 39 900 $/мес.) | Да | Да | Да |
| 8× AMD Instinct MI355X (8 × 288 ГБ, 19 900 $/мес.) | Да | Да | Да |

## KV-кэш Mistral Small 24B в зависимости от длины контекста

Около 164 МБ на 1 000 обрабатываемых токенов при кэше в BF16.

| Контекст на запрос | 1 запрос | 8 запросов | 32 запроса |
| --- | --- | --- | --- |
| 4k токенов | 671 МБ | 5,4 ГБ | 21 ГБ |
| 32k токенов | 5,4 ГБ | 43 ГБ | 172 ГБ |
| 128k токенов | 21 ГБ | 172 ГБ | 687 ГБ |

## Память для дообучения Mistral Small 24B

| Метод | Примерный объём памяти | Самый дешёвый подходящий сервер FullGPU |
| --- | --- | --- |
| QLoRA (4-битная базовая модель) | 18 ГБ | NVIDIA GeForce RTX 5090 (449 $/мес.) |
| LoRA (базовая модель в BF16) | 59 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) |
| Полное дообучение (AdamW, смешанная точность) | 453 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) |

## О модели Mistral Small 24B

Mistral Small 3.x — семейство плотных моделей 24B (около 23,6B параметров) с 40 слоями и 8 KV-головами, выпущенное под лицензией Apache 2.0; версии 3.1 и новее поддерживают контекст на 128k токенов. Оно находится между классами 14B и 32B: в BF16 его веса занимают около 47 ГБ, а FP8 сокращает этот объём вдвое.

Все значения рассчитаны по опубликованной архитектуре модели и формулам калькулятора видеопамяти (https://fullgpu.com/ru/tools/vram-calculator).

## Часто задаваемые вопросы

### Сколько видеопамяти нужно для Mistral Small 24B?

Около 47 ГБ на веса в BF16, 24 ГБ в FP8 и 12 ГБ в 4 битах плюс KV-кэш: около 164 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 38 ГБ.

### Можно ли запустить Mistral Small 24B на одном GPU?

Да. В FP8 модель работает на одном NVIDIA L40S (48 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

### Какой самый дешёвый сервер FullGPU подходит для Mistral Small 24B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA L40S за 890 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

### Сколько памяти нужно для дообучения Mistral Small 24B?

Примерно 18 ГБ для QLoRA, 59 ГБ для LoRA на весах в BF16 и 453 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

## Связанные страницы

- [Калькулятор видеопамяти для LLM: поместится ли ваша модель на GPU?](https://fullgpu.com/ru/tools/vram-calculator): Бесплатный калькулятор видеопамяти для LLM: выберите Llama, Qwen, Mistral или gpt-oss, точность и длину контекста и посмотрите веса, KV-кэш и подходящие GPU.
- [Сколько видеопамяти нужно для LLM?](https://fullgpu.com/ru/blog/vram-for-llms): Сколько видеопамяти (VRAM) нужно LLM? Короткие ответы для моделей 7B, 14B, 32B, 70B и 405B в BF16, FP8 и 4 битах, KV-кэш по длине контекста и подходящий GPU.
- [Лучший GPU для инференса LLM в 2026 году: подбор по размеру модели](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference): Лучший GPU для инференса LLM зависит от размера модели, точности, KV-кэша и пропускной способности. Выбирайте по таблице 2026 года: от RTX 5090 до 8× B300.
- [Требования LLM к GPU](https://fullgpu.com/ru/models): Видеопамять, KV-кэш и самые дешёвые серверы для моделей Llama, Qwen3, Mistral и gpt-oss.