Требования LLM к GPU

Требования Llama 3.3 70B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Llama 3.3 70B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 70,6B
Архитектура: Плотная 80 слоёв
KV-головы: 8 × 128 разм.
Контекст: 128k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в FP8 · контекст 8k · 8 одновременных запросов · около 100 ГБ

NVIDIA H200 В наличии

141 ГБ HBM3e · Один GPU

3 090 $/мес.
NVIDIA B200 В наличии

180 ГБ HBM3e · Один GPU

4 590 $/мес.
NVIDIA B300 Мало

288 ГБ HBM3e · Один GPU

5 190 $/мес.

Гарантированная дата выдачи известна до оплаты. Не уложимся в неё — полный возврат средств.

Память для инференса

Сколько видеопамяти нужно для Llama 3.3 70B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Llama 3.3 70B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	141 ГБ	178 ГБ	NVIDIA B300 5 190 $/мес.
FP8 1 байт на параметр	71 ГБ	100 ГБ	NVIDIA H200 3 090 $/мес.
4 бита 0,5 байта на параметр	35 ГБ	61 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Llama 3.3 70B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	75 ГБ	NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.
Q6_K около 6,56 бит на вес	58 ГБ	NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.
Q5_K_M около 5,69 бит на вес	50 ГБ	NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.
Q4_K_M около 4,85 бит на вес	43 ГБ	NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Llama 3.3 70B?

Да. В FP8 модель Llama 3.3 70B работает на одном NVIDIA H200 (141 ГБ, 3 090 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами, а на одном NVIDIA RTX PRO 6000 Blackwell (96 ГБ) помещается один запрос с контекстом 8k. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Llama 3.3 70B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	—	—
NVIDIA L40S 48 ГБ · 890 $/мес.	—	—	1 запрос
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	—	—	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	—	1 запрос	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	—	Да	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	1 запрос	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	Да	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Llama 3.3 70B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (80) × число KV-голов (8) × размерность головы (128) × 2 байта = 320 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	1,3 ГБ	11 ГБ	43 ГБ
32k токенов	11 ГБ	86 ГБ	344 ГБ
128k токенов	43 ГБ	344 ГБ	1 374 ГБ

Дообучение

Память для дообучения Llama 3.3 70B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	53 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.
LoRA (базовая модель в BF16)	175 ГБ	NVIDIA B300 5 190 $/мес.
Полное дообучение (AdamW, смешанная точность)	1 356 ГБ	8× AMD Instinct MI355X 19 900 $/мес.

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Llama 3.3 70B

Llama 3.3 70B — плотная инструктивная модель Meta на 70B параметров: 80 слоёв, механизм grouped-query attention с 8 KV-головами и контекстное окно на 128k токенов. Это ориентир для инференса моделей класса 70B: в BF16 одни только веса занимают около 141 ГБ — с учётом KV-кэша это больше, чем вмещает один H200, а FP8 сокращает этот объём вдвое, и модель с запасом помещается на один H200.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Meta
Лицензия: Llama 3.3 Community License
Тип: Плотная
Параметры: 70,6B
Слои: 80
Механизм внимания: Голов запросов: 64, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 128k токенов

Вопросы и ответы

GPU для Llama 3.3 70B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Llama 3.3 70B?

Около 141 ГБ на веса в BF16, 71 ГБ в FP8 и 35 ГБ в 4 битах плюс KV-кэш: около 328 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 100 ГБ.

Можно ли запустить Llama 3.3 70B на одном GPU?

Да. В FP8 модель работает на одном NVIDIA H200 (141 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для Llama 3.3 70B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA H200 за 3 090 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Llama 3.3 70B?

Примерно 53 ГБ для QLoRA, 175 ГБ для LoRA на весах в BF16 и 1 356 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Llama 3.3 70B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты, а если мы её пропустим, вы получите полный возврат средств.

Гарантированная дата выдачи известна до оплаты
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить H200 Все цены