# Требования Llama 3.1 405B к GPU: видеопамять, GPU и серверы > Для Llama 3.1 405B нужно около 810 ГБ видеопамяти в BF16, 405 ГБ в FP8 и 203 ГБ в 4 битах, плюс KV-кэш. Подходящие GPU и серверы с ценами. Источник: https://fullgpu.com/ru/models/llama-3-1-405b Обновлено: 2026-10-22 Издатель: FullGPU (https://fullgpu.com/) **Коротко:** На одном GPU — нет: в FP8 модели нужно около 480 ГБ, поэтому она работает на 8-GPU-сервере, например 8× NVIDIA HGX H100 (16 900 $ в месяц в FullGPU). ## Сведения о модели - **Разработчик:** Meta - **Лицензия:** Llama 3.1 Community License - **Тип:** Плотная - **Параметры:** 405B - **Число слоёв:** 126 - **Механизм внимания:** число голов запросов — 128, KV-голов — 8, размерность головы — 128 - **Контекстное окно:** 128k токенов ## Сколько видеопамяти нужно для Llama 3.1 405B Веса занимают число параметров × число байт на параметр; при инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения. Итоговые значения рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16. | Точность | Веса | Всего для инференса | Самый дешёвый подходящий сервер FullGPU | | --- | --- | --- | --- | | BF16 | 810 ГБ | 926 ГБ | 8× AMD Instinct MI355X (19 900 $/мес.) | | FP8 | 405 ГБ | 480 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) | | 4 бита | 203 ГБ | 258 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) | ## На каких GPU можно запустить Llama 3.1 405B? Да = 8 одновременных запросов с контекстом 8k у каждого; 1 запрос = один запрос с контекстом 8k за раз; Нет = не помещается. | Конфигурация | BF16 | FP8 | 4 бита | | --- | --- | --- | --- | | NVIDIA GeForce RTX 5090 (32 ГБ, 449 $/мес.) | Нет | Нет | Нет | | NVIDIA L40S (48 ГБ, 890 $/мес.) | Нет | Нет | Нет | | NVIDIA H100 SXM (80 ГБ, 2 190 $/мес.) | Нет | Нет | Нет | | NVIDIA RTX PRO 6000 Blackwell (96 ГБ, 1 390 $/мес.) | Нет | Нет | Нет | | NVIDIA H200 (141 ГБ, 3 090 $/мес.) | Нет | Нет | Нет | | NVIDIA B200 (180 ГБ, 4 590 $/мес.) | Нет | Нет | Нет | | NVIDIA B300 (288 ГБ, 5 190 $/мес.) | Нет | Нет | 1 запрос | | 8× NVIDIA HGX H100 (8 × 80 ГБ, 16 900 $/мес.) | Нет | Да | Да | | 8× NVIDIA RTX PRO 6000 Blackwell (8 × 96 ГБ, 10 490 $/мес.) | Нет | Да | Да | | 8× NVIDIA HGX H200 (8 × 141 ГБ, 23 900 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX B200 (8 × 180 ГБ, 34 900 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX B300 (8 × 288 ГБ, 39 900 $/мес.) | Да | Да | Да | | 8× AMD Instinct MI355X (8 × 288 ГБ, 19 900 $/мес.) | Да | Да | Да | ## KV-кэш Llama 3.1 405B в зависимости от длины контекста Около 516 МБ на 1 000 обрабатываемых токенов при кэше в BF16. | Контекст на запрос | 1 запрос | 8 запросов | 32 запроса | | --- | --- | --- | --- | | 4k токенов | 2,1 ГБ | 17 ГБ | 68 ГБ | | 32k токенов | 17 ГБ | 135 ГБ | 541 ГБ | | 128k токенов | 68 ГБ | 541 ГБ | 2 165 ГБ | ## Память для дообучения Llama 3.1 405B | Метод | Примерный объём памяти | Самый дешёвый подходящий сервер FullGPU | | --- | --- | --- | | QLoRA (4-битная базовая модель) | 306 ГБ | 8× NVIDIA RTX PRO 6000 Blackwell (10 490 $/мес.) | | LoRA (базовая модель в BF16) | 1 004 ГБ | 8× AMD Instinct MI355X (19 900 $/мес.) | | Полное дообучение (AdamW, смешанная точность) | 7 776 ГБ | Больше 8 GPU (GB300 NVL72) | ## О модели Llama 3.1 405B Llama 3.1 405B — крупнейшая плотная открытая модель Meta: 126 слоёв, 8 KV-голов и контекстное окно на 128k токенов. В FP8 она занимает около 405 ГБ, поэтому ей нужен целый 8-GPU-сервер, а из-за 126 слоёв её KV-кэш на токен — самый большой среди моделей на этом сайте. Все значения рассчитаны по опубликованной архитектуре модели и формулам калькулятора видеопамяти (https://fullgpu.com/ru/tools/vram-calculator). ## Часто задаваемые вопросы ### Сколько видеопамяти нужно для Llama 3.1 405B? Около 810 ГБ на веса в BF16, 405 ГБ в FP8 и 203 ГБ в 4 битах плюс KV-кэш: около 516 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 480 ГБ. ### Можно ли запустить Llama 3.1 405B на одном GPU? Нет, если нужны контекст 8k и 8 одновременных запросов: в FP8 модели нужно около 480 ГБ — больше, чем вмещает любой отдельный GPU. Такую модель запускают на 8-GPU-сервере, например 8× NVIDIA RTX PRO 6000 Blackwell, с помощью тензорного параллелизма. ### Какой самый дешёвый сервер FullGPU подходит для Llama 3.1 405B? Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — 8× NVIDIA RTX PRO 6000 Blackwell за 10 490 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти. ### Сколько памяти нужно для дообучения Llama 3.1 405B? Примерно 306 ГБ для QLoRA, 1 004 ГБ для LoRA на весах в BF16 и 7 776 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3. ## Связанные страницы - [Калькулятор видеопамяти для LLM: поместится ли ваша модель на GPU?](https://fullgpu.com/ru/tools/vram-calculator): Бесплатный калькулятор видеопамяти для LLM: выберите Llama, Qwen, Mistral или gpt-oss, точность и длину контекста и посмотрите веса, KV-кэш и подходящие GPU. - [Сколько видеопамяти нужно для LLM?](https://fullgpu.com/ru/blog/vram-for-llms): Сколько видеопамяти (VRAM) нужно LLM? Короткие ответы для моделей 7B, 14B, 32B, 70B и 405B в BF16, FP8 и 4 битах, KV-кэш по длине контекста и подходящий GPU. - [Лучший GPU для инференса LLM в 2026 году: подбор по размеру модели](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference): Лучший GPU для инференса LLM зависит от размера модели, точности, KV-кэша и пропускной способности. Выбирайте по таблице 2026 года: от RTX 5090 до 8× B300. - [Требования LLM к GPU](https://fullgpu.com/ru/models): Видеопамять, KV-кэш и самые дешёвые серверы для моделей Llama, Qwen3, Mistral и gpt-oss.