Требования LLM к GPU

Требования gpt-oss-120b к GPU: видеопамять, GPU и серверы

Сколько видеопамяти нужно модели gpt-oss-120b в BF16, FP8 и 4-битном формате, как её KV-кэш растёт с длиной контекста, что требуется для дообучения и на каких серверах она работает — с ценами в месяц.

Параметры: 117B 5,1B активных
Архитектура: MoE 36 слоёв
KV-головы: 8 × 64 разм.
Контекст: 128k токенов

Открыть в калькуляторе видеопамяти

Самые недорогие подходящие серверы

Веса в MXFP4 (нативный 4-битный формат) · контекст 8k · 8 одновременных запросов · около 68 ГБ

NVIDIA RTX PRO 6000 Blackwell В наличии

96 ГБ GDDR7 · Один GPU

1 390 $/мес.
NVIDIA H100 SXM В наличии

80 ГБ HBM3 · Один GPU

2 190 $/мес.
NVIDIA H200 В наличии

141 ГБ HBM3e · Один GPU

3 090 $/мес.

Гарантированная дата выдачи известна до оплаты. Не уложимся в неё — полный возврат средств.

Память для инференса

Сколько видеопамяти нужно для gpt-oss-120b

Веса занимают число параметров × число байт на параметр. При инференсе добавляются KV-кэш и около 10% накладных расходов среды выполнения; итоги ниже рассчитаны для контекста 8k, 8 одновременных запросов и KV-кэша в BF16.

gpt-oss-120b: память при разной точности и самый недорогой подходящий сервер
Точность	Веса	Всего для инференса	Самый недорогой подходящий сервер
BF16 2 байта на параметр	234 ГБ	261 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
FP8 1 байт на параметр	117 ГБ	132 ГБ	NVIDIA B200 4 590 $/мес.
MXFP4 / 4 бита 0,5 байта на параметр	59 ГБ	68 ГБ	NVIDIA RTX PRO 6000 Blackwell 1 390 $/мес.

Оценки сделаны с запасом около 8% свободной видеопамяти. Квантованные модели к тому же хранят часть слоёв в более высокой точности, а накладные расходы у разных фреймворков различаются; проверяйте объём свободной памяти, который движок сообщает при запуске. Модель, разделённая между GPU с помощью тензорного параллелизма, лучше всего работает на серверах с NVLink (HGX); в сервере 8× RTX PRO 6000 GPU соединены через PCIe.

GPU и серверы

На каких GPU можно запустить gpt-oss-120b?

Да. В MXFP4 (нативный 4-битный формат) модель gpt-oss-120b работает на одном NVIDIA H100 SXM (80 ГБ, 2 190 $ в месяц в FullGPU) с контекстом 8k и 8 одновременными запросами. В таблице каждая конфигурация, которую мы сдаём в аренду, проверена при каждой точности.

Работает ли gpt-oss-120b на каждой конфигурации GPU в BF16, FP8 и 4-битном формате
Конфигурация	BF16	FP8	MXFP4
NVIDIA GeForce RTX 5090 32 ГБ · 449 $/мес.	—	—	—
NVIDIA L40S 48 ГБ · 890 $/мес.	—	—	—
NVIDIA H100 SXM 80 ГБ · 2 190 $/мес.	—	—	Да
NVIDIA RTX PRO 6000 Blackwell 96 ГБ · 1 390 $/мес.	—	—	Да
NVIDIA H200 141 ГБ · 3 090 $/мес.	—	—	Да
NVIDIA B200 180 ГБ · 4 590 $/мес.	—	Да	Да
NVIDIA B300 288 ГБ · 5 190 $/мес.	—	Да	Да
8× NVIDIA HGX H100 8 × 80 ГБ · 16 900 $/мес.	Да	Да	Да
8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 ГБ · 10 490 $/мес.	Да	Да	Да
8× NVIDIA HGX H200 8 × 141 ГБ · 23 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B200 8 × 180 ГБ · 34 900 $/мес.	Да	Да	Да
8× NVIDIA HGX B300 8 × 288 ГБ · 39 900 $/мес.	Да	Да	Да
8× AMD Instinct MI355X 8 × 288 ГБ · 19 900 $/мес.	Да	Да	Да

Да: 8 одновременных запросов, каждый с контекстом 8k. 1 запрос: только один запрос на 8k за раз. —: веса, KV-кэш и среда выполнения не помещаются. Формулы те же, что в таблицах выше, с запасом около 8% свободной видеопамяти.

KV-кэш

KV-кэш gpt-oss-120b в зависимости от длины контекста

Каждый токен в обработке хранит ключи и значения в слоях с полным вниманием (их 18): 2 × число таких слоёв (18) × число KV-голов (8) × размерность головы (64) × 2 байта = 36 КБ на токен в BF16. KV-кэш в FP8 вдвое уменьшает эти значения.

Размер KV-кэша в зависимости от длины контекста и числа одновременных запросов
Контекст на запрос	1 запрос	8 запросов	32 запроса
4k токенов	151 МБ	1,2 ГБ	4,8 ГБ
32k токенов	1,2 ГБ	9,7 ГБ	39 ГБ
128k токенов	4,8 ГБ	39 ГБ	155 ГБ

Слои со скользящим окном хранят только последние 128 токенов: это добавляет несколько мегабайт на запрос и в таблице выше не учтено.

Дообучение

Память для дообучения gpt-oss-120b

Приблизительные итоги до настройки размера батча и длины последовательности: QLoRA хранит базовые веса в 4-битном формате, LoRA — замороженные веса в BF16, а полному дообучению с AdamW нужно около 16 байт на параметр плюс активации, с шардированием между GPU.

Память для дообучения по методам и самый недорогой подходящий сервер
Метод	Примерный объём памяти	Самый недорогой подходящий сервер
QLoRA (4-битная базовая модель)	88 ГБ	NVIDIA H200 3 090 $/мес.
LoRA (базовая модель в BF16)	290 ГБ	8× NVIDIA RTX PRO 6000 Blackwell 10 490 $/мес.
Полное дообучение (AdamW, смешанная точность)	2 246 ГБ	Больше 8 GPU: GB300 NVL72

Для полного дообучения предполагается обучение с шардированием (FSDP или ZeRO-3) и чекпоинтингом активаций. Методы и настройки описаны в руководстве по дообучению.

О модели gpt-oss-120b

gpt-oss-120b — открытая MoE-модель (mixture of experts) от OpenAI: около 117B параметров, из которых примерно 5,1B активны для каждого токена, 36 слоёв, в которых чередуются полное внимание и скользящее окно на 128 токенов, и веса под лицензией Apache 2.0. OpenAI публикует веса экспертов в MXFP4 — 4-битном формате — и заявляет, что модель работает на одном GPU с 80 ГБ.

Все цифры на этой странице рассчитаны по опубликованной архитектуре модели и тем же формулам, что использует наш калькулятор видеопамяти, где можно изменить длину контекста, число одновременных запросов и точность KV-кэша.

Сведения о модели

Разработчик: OpenAI
Лицензия: Apache 2.0
Тип: Смесь экспертов (MoE)
Параметры: 117Bоколо 5,1B активных на токен
Слои: 36чередование полного внимания и скользящего окна
Механизм внимания: Голов запросов: 64, KV-голов: 8grouped-query attention, размерность головы 64
Контекстное окно: 128k токенов

Вопросы и ответы

GPU для gpt-oss-120b: вопросы и ответы

В двух словах. Подробности — в центре помощи, а клиенты с активным сервером получают ответы через тикеты круглосуточно.

Перейти в центр помощи

Сколько видеопамяти нужно для gpt-oss-120b?

Около 234 ГБ на веса в BF16, 117 ГБ в FP8 и 59 ГБ в 4 битах плюс KV-кэш: около 37 МБ на 1 000 обрабатываемых токенов при кэше в BF16. Для инференса в MXFP4 (нативный 4-битный формат) с контекстом 8k и 8 одновременными запросами всего нужно около 68 ГБ.

Можно ли запустить gpt-oss-120b на одном GPU?

Да. В MXFP4 (нативный 4-битный формат) модель работает на одном NVIDIA RTX PRO 6000 Blackwell (96 ГБ) с контекстом 8k и 8 одновременными запросами. Более длинному контексту или большему числу пользователей нужно больше памяти под KV-кэш, поэтому проверьте свой сценарий в калькуляторе видеопамяти.

Какой самый дешёвый сервер FullGPU подходит для gpt-oss-120b?

Для инференса в MXFP4 (нативный 4-битный формат) с контекстом 8k и 8 одновременными запросами самая дешёвая подходящая конфигурация — NVIDIA RTX PRO 6000 Blackwell за 1 390 $ в месяц. Для другой длины контекста и другого числа одновременных запросов рассчитайте конфигурацию в калькуляторе видеопамяти.

Сколько памяти нужно для дообучения gpt-oss-120b?

Примерно 88 ГБ для QLoRA, 290 ГБ для LoRA на весах в BF16 и 2 246 ГБ для полного дообучения с AdamW в смешанной точности — до настройки размера батча и длины последовательности. При полном дообучении крупных моделей их шардируют между несколькими GPU с помощью FSDP или ZeRO-3.

Развернуть GPU-сервер

Запустите gpt-oss-120b на собственных GPU.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты, а если мы её пропустим, вы получите полный возврат средств.

Гарантированная дата выдачи известна до оплаты
Отмена в любом месяце
Оплата криптовалютой, бонус до +50%

Настроить RTX PRO 6000 Все цены