Требования LLM к GPU

Требования Llama 3.1 405B к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели Llama 3.1 405B в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 405B
Архитектура: Плотная 126 слоёв
KV-головы: 8 × 128 разм.
Контекст: 128k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в FP8 · контекст 8k · 8 одновременных запросов · около 480 ГБ

8× NVIDIA RTX PRO 6000 Blackwell В наличии

8 × 96 ГБ GDDR7 · 8-GPU-сервер · PCIe, без NVLink

10 490 $/мес.
8× NVIDIA HGX H100 В наличии

8 × 80 ГБ HBM3 · 8-GPU-сервер

16 900 $/мес.
8× AMD Instinct MI355X Мало

8 × 288 ГБ HBM3e · 8-GPU-сервер

19 900 $/мес.

Гарантированная дата выдачи известна до оплаты. Не уложимся в неё — полный возврат средств.

Память для инференса

Сколько видеопамяти нужно для Llama 3.1 405B

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

Llama 3.1 405B: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	810 ГБ	926 ГБ	8× AMD Instinct MI355X 19 900 $/мес.
FP8 1 байт на параметр	405 ГБ	480 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
4 бита 0,5 байта на параметр	203 ГБ	258 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.

Варианты квантования GGUF для llama.cpp и Ollama

Llama 3.1 405B: размеры файлов GGUF и самый маленький GPU для одного запроса на 8k
Квантование	Веса	Самый маленький GPU, один запрос на 8k
Q8_0 около 8,5 бит на вес	430 ГБ	Больше одного GPU
Q6_K около 6,56 бит на вес	332 ГБ	Больше одного GPU
Q5_K_M около 5,69 бит на вес	288 ГБ	Больше одного GPU
Q4_K_M около 4,85 бит на вес	246 ГБ	Больше одного GPU

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить Llama 3.1 405B?

На одном GPU — нет: в FP8 модели нужно около 480 ГБ, поэтому она работает на 8-GPU-сервере, например 8× NVIDIA HGX H100 (16 900 $ в месяц в FullGPU). В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли Llama 3.1 405B на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	4 бита
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	—	—
NVIDIA L40S 48 ГБ · 890 $/мес.	—	—	—
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	—	—	—
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	—	—	—
NVIDIA H200 141 ГБ · 3 090 $/мес.	—	—	—
NVIDIA B200 180 ГБ · 4 590 $/мес.	—	—	—
NVIDIA B300 288 ГБ · 5 190 $/мес.	—	—	1 запрос
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	—	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	—	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш Llama 3.1 405B в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения во всех слоях: 2 × число слоёв (126) × число KV-голов (8) × размерность головы (128) × 2 байта = 504 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	2,1 ГБ	17 ГБ	68 ГБ
32k токенов	17 ГБ	135 ГБ	541 ГБ
128k токенов	68 ГБ	541 ГБ	2 165 ГБ

Дообучение

Память для дообучения Llama 3.1 405B

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	306 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
LoRA (базовая модель в BF16)	1 004 ГБ	8× AMD Instinct MI355X 19 900 $/мес.
Полное дообучение (AdamW, смешанная точность)	7 776 ГБ	Больше 8 GPU: GB300 NVL72

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели Llama 3.1 405B

Llama 3.1 405B — крупнейшая плотная открытая модель Meta: 126 слоёв, 8 KV-голов и контекстное окно на 128k токенов. В FP8 она занимает около 405 ГБ, поэтому ей нужен целый 8-GPU-сервер, а из-за 126 слоёв её KV-кэш на токен — самый большой среди моделей на этом сайте.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: Meta
Лицензия: Llama 3.1 Community License
Тип: Плотная
Параметры: 405B
Слои: 126
Механизм внимания: Голов запросов: 128, KV-голов: 8grouped-query attention, размерность головы 128
Контекстное окно: 128k токенов

Вопросы и ответы

GPU для Llama 3.1 405B: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для Llama 3.1 405B?

Около 810 ГБ на веса в BF16, 405 ГБ в FP8 и 203 ГБ в 4 битах плюс KV-кэш: около 516 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в FP8 с контекстом 8k и 8 одновременными запросами всего нужно около 480 ГБ.

Можно ли запустить Llama 3.1 405B на одном GPU?

Нет, если нужны контекст 8k и 8 одновременных запросов: в FP8 модели нужно около 480 ГБ — больше, чем вмещает любой отдельный GPU. Такую модель запускают на 8-GPU-сервере, например 8× NVIDIA RTX PRO 6000 Blackwell, с помощью тензорного параллелизма.

Какой самый дешёвый сервер FullGPU подходит для Llama 3.1 405B?

Для инференса в FP8 с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — 8× NVIDIA RTX PRO 6000 Blackwell за 10 490 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения Llama 3.1 405B?

Примерно 306 ГБ для QLoRA, 1 004 ГБ для LoRA на весах в BF16 и 7 776 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите Llama 3.1 405B на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты, а если мы её пропустим, вы получите полный возврат средств.

Гарантированная дата выдачи известна до оплаты
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить 8× RTX PRO 6000 Все цены