Требования LLM к GPU

Требования Llama 3.1 8B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Llama 3.1 8B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 8B
Архитектура: Плотная 32 слоя
KV-головы: 8 × 128 разм.
Контекст: 128k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в BF16 · контекст 8k · 8 одновременных запросов · около 27 ГБ

NVIDIA GeForce RTX 5090 В наличии

32 ГБ GDDR7 · Один GPU

449 $/мес.
NVIDIA L40S В наличии

48 ГБ GDDR6 · Один GPU

890 $/мес.
NVIDIA RTX PRO 6000 Blackwell В наличии

96 ГБ GDDR7 · Один GPU

1 390 $/мес.

Гарантированная дата выдачи известна до оплаты. Не уложимся в неё — полный возврат средств.

Память для инференса

Сколько видеопамяти нужно для Llama 3.1 8B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Llama 3.1 8B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	16 ГБ	27 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
FP8 1 байт на параметр	8,0 ГБ	18 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
4 бита 0,5 байта на параметр	4,0 ГБ	14 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Llama 3.1 8B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	8,5 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q6_K около 6,56 бит на вес	6,6 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q5_K_M около 5,69 бит на вес	5,7 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.
Q4_K_M около 4,85 бит на вес	4,9 ГБ	NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Llama 3.1 8B?

Да. В BF16 модель Llama 3.1 8B работает на одном NVIDIA GeForce RTX 5090 (32 ГБ, 449 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Llama 3.1 8B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	Да	Да	Да
NVIDIA L40S 48 ГБ · 890 $/мес.	Да	Да	Да
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	Да	Да	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	Да	Да	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	Да	Да	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	Да	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	Да	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Llama 3.1 8B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (32) × число KV-голов (8) × размерность головы (128) × 2 байта = 128 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	537 МБ	4,3 ГБ	17 ГБ
32k токенов	4,3 ГБ	34 ГБ	137 ГБ
128k токенов	17 ГБ	137 ГБ	550 ГБ

Дообучение

Память для дообучения Llama 3.1 8B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	6,1 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
LoRA (базовая модель в BF16)	20 ГБ	NVIDIA GeForce RTX 5090 449 $/мес.
Полное дообучение (AdamW, смешанная точность)	154 ГБ	NVIDIA B200 4 590 $/мес.

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Llama 3.1 8B

Llama 3.1 8B от Meta — небольшая плотная модель, с которой начинают многие команды: 32 слоя, механизм grouped-query attention с 8 KV-головами и контекстное окно на 128k токенов. Она достаточно мала, чтобы обслуживать запросы в BF16 на одной карте, поэтому главный вопрос при подборе конфигурации — сколько KV-кэша нужно для вашей длины контекста и числа одновременных запросов.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Meta
Лицензия: Llama 3.1 Community License
Тип: Плотная
Параметры: 8B
Слои: 32
Механизм внимания: Голов запросов: 32, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 128k токенов

Вопросы и ответы

GPU для Llama 3.1 8B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Llama 3.1 8B?

Около 16 ГБ на веса в BF16, 8,0 ГБ в FP8 и 4,0 ГБ в 4 битах плюс KV-кэш: около 131 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в BF16 с контекстом 8k и 8 одновременными запросами всего нужно около 27 ГБ.

Можно ли запустить Llama 3.1 8B на одном GPU?

Да. В BF16 модель работает на одном NVIDIA GeForce RTX 5090 (32 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для Llama 3.1 8B?

Для инференса в BF16 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA GeForce RTX 5090 за 449 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Llama 3.1 8B?

Примерно 6,1 ГБ для QLoRA, 20 ГБ для LoRA на весах в BF16 и 154 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Llama 3.1 8B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты, а если мы её пропустим, вы получите полный возврат средств.

Гарантированная дата выдачи известна до оплаты
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить RTX 5090 Все цены