# Требования Llama 3.3 70B к GPU: видеопамять, GPU и серверы > Для Llama 3.3 70B нужно около 141 ГБ видеопамяти в BF16, 71 ГБ в FP8 и 35 ГБ в 4 битах, плюс KV-кэш. Подходящие GPU и серверы с ценами. Источник: https://fullgpu.com/ru/models/llama-3-3-70b Обновлено: 2026-10-22 Издатель: FullGPU (https://fullgpu.com/) **Коротко:** Да. В FP8 модель Llama 3.3 70B работает на одном NVIDIA H200 (141 ГБ, 3 090 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA RTX PRO 6000 Blackwell (96 ГБ) помещается один запрос с контекстом 8k. ## Сведения о модели - **Разработчик:** Meta - **Лицензия:** Llama 3.3 Community License - **Тип:** Плотная - **Параметры:** 70,6B - **Число слоёв:** 80 - **Механизм внимания:** число голов запросов — 64, KV-голов — 8, размерность головы — 128 - **Контекстное окно:** 128k токенов ## Сколько видеопамяти нужно для Llama 3.3 70B Веса занимают число параметров × число байт на параметр; при инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения. Итоговые значения рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16. | Точность | Веса | Всего для инференса | Самый дешёвый подходящий сервер FullGPU | | --- | --- | --- | --- | | BF16 | 141 ГБ | 178 ГБ | NVIDIA B300 (5 190 $/мес.) | | FP8 | 71 ГБ | 100 ГБ | NVIDIA H200 (3 090 $/мес.) | | 4 бита | 35 ГБ | 61 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) | ## На каких GPU можно запустить Llama 3.3 70B? Да = 8 одновременных запросов с контекстом 8k у каждого; 1 запрос = один запрос с контекстом 8k за раз; Нет = не помещается. | Конфигурация | BF16 | FP8 | 4 бита | | --- | --- | --- | --- | | NVIDIA GeForce RTX 5090 (32 ГБ, 449 $/мес.) | Нет | Нет | Нет | | NVIDIA L40S (48 ГБ, 890 $/мес.) | Нет | Нет | 1 запрос | | NVIDIA H100 SXM (80 ГБ, 2 190 $/мес.) | Нет | Нет | Да | | NVIDIA RTX PRO 6000 Blackwell (96 ГБ, 1 390 $/мес.) | Нет | 1 запрос | Да | | NVIDIA H200 (141 ГБ, 3 090 $/мес.) | Нет | Да | Да | | NVIDIA B200 (180 ГБ, 4 590 $/мес.) | 1 запрос | Да | Да | | NVIDIA B300 (288 ГБ, 5 190 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX H100 (8 × 80 ГБ, 16 900 $/мес.) | Да | Да | Да | | 8× NVIDIA RTX PRO 6000 Blackwell (8 × 96 ГБ, 10 490 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX H200 (8 × 141 ГБ, 23 900 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX B200 (8 × 180 ГБ, 34 900 $/мес.) | Да | Да | Да | | 8× NVIDIA HGX B300 (8 × 288 ГБ, 39 900 $/мес.) | Да | Да | Да | | 8× AMD Instinct MI355X (8 × 288 ГБ, 19 900 $/мес.) | Да | Да | Да | ## KV-кэш Llama 3.3 70B в зависимости от длины контекста Около 328 МБ на 1 000 обрабатываемых токенов при кэше в BF16. | Контекст на запрос | 1 запрос | 8 запросов | 32 запроса | | --- | --- | --- | --- | | 4k токенов | 1,3 ГБ | 11 ГБ | 43 ГБ | | 32k токенов | 11 ГБ | 86 ГБ | 344 ГБ | | 128k токенов | 43 ГБ | 344 ГБ | 1 374 ГБ | ## Память для дообучения Llama 3.3 70B | Метод | Примерный объём памяти | Самый дешёвый подходящий сервер FullGPU | | --- | --- | --- | | QLoRA (4-битная базовая модель) | 53 ГБ | NVIDIA RTX PRO 6000 Blackwell (1 390 $/мес.) | | LoRA (базовая модель в BF16) | 175 ГБ | NVIDIA B300 (5 190 $/мес.) | | Полное дообучение (AdamW, смешанная точность) | 1 356 ГБ | 8× AMD Instinct MI355X (19 900 $/мес.) | ## О модели Llama 3.3 70B Llama 3.3 70B — плотная инструктивная модель Meta на 70B параметров: 80 слоёв, механизм grouped-query attention с 8 KV-головами и контекстное окно на 128k токенов. Это ориентир для инференса моделей класса 70B: в BF16 одни только веса занимают около 141 ГБ — с учётом KV-кэша это больше, чем вмещает один H200, а FP8 сокращает этот объём вдвое, и модель с запасом помещается на один H200. Все значения рассчитаны по опубликованной архитектуре модели и формулам калькулятора видеопамяти (https://fullgpu.com/ru/tools/vram-calculator). ## Часто задаваемые вопросы ### Сколько видеопамяти нужно для Llama 3.3 70B? Около 141 ГБ на веса в BF16, 71 ГБ в FP8 и 35 ГБ в 4 битах плюс KV-кэш: около 328 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 100 ГБ. ### Можно ли запустить Llama 3.3 70B на одном GPU? Да. В FP8 модель работает на одном NVIDIA H200 (141 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти. ### Какой самый дешёвый сервер FullGPU подходит для Llama 3.3 70B? Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA H200 за 3 090 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти. ### Сколько памяти нужно для дообучения Llama 3.3 70B? Примерно 53 ГБ для QLoRA, 175 ГБ для LoRA на весах в BF16 и 1 356 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3. ## Связанные страницы - [Калькулятор видеопамяти для LLM: поместится ли ваша модель на GPU?](https://fullgpu.com/ru/tools/vram-calculator): Бесплатный калькулятор видеопамяти для LLM: выберите Llama, Qwen, Mistral или gpt-oss, точность и длину контекста и посмотрите веса, KV-кэш и подходящие GPU. - [Сколько видеопамяти нужно для LLM?](https://fullgpu.com/ru/blog/vram-for-llms): Сколько видеопамяти (VRAM) нужно LLM? Короткие ответы для моделей 7B, 14B, 32B, 70B и 405B в BF16, FP8 и 4 битах, KV-кэш по длине контекста и подходящий GPU. - [Лучший GPU для инференса LLM в 2026 году: подбор по размеру модели](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference): Лучший GPU для инференса LLM зависит от размера модели, точности, KV-кэша и пропускной способности. Выбирайте по таблице 2026 года: от RTX 5090 до 8× B300. - [Требования LLM к GPU](https://fullgpu.com/ru/models): Видеопамять, KV-кэш и самые дешёвые серверы для моделей Llama, Qwen3, Mistral и gpt-oss.