GPU-серверы для инференса LLM: круглосуточно и по фиксированной цене

GPU-серверы для инференса LLM (больших языковых моделей) окупаются, когда работают весь день: модель, которая обслуживает трафик круглосуточно, использует каждый час помесячного тарифа. Мы сдаём в аренду целые GPU NVIDIA помесячно с root-доступом, поэтому vLLM, SGLang или TensorRT-LLM работают у вас точно так же, как на собственном оборудовании. На этой странице — расчёты, от которых зависит ваш счёт: веса, KV-кэш, точность и батчинг.

Сначала рассчитайте веса, затем KV-кэш

Веса занимают примерно число параметров × число байт на параметр: 2 в BF16, 1 в FP8 и около 0,5 в FP4, плюс немного на масштабы квантования. Следом идёт KV-кэш, и обычно именно он ограничивает число одновременных запросов. На каждый токен он занимает 2 (ключи и значения) × число слоёв × число KV-голов × размерность головы × число байт на значение.

Для Llama-подобной модели 70B с 80 слоями, 8 KV-головами и размерностью головы 128 это около 0,33 МБ на токен в BF16 и вдвое меньше в FP8. Одному контексту на 128K токенов нужно около 43 ГБ кэша в BF16, а 32 одновременным запросам по 4 000 токенов — около 42 ГБ.

Свою долю забирает и среда выполнения: по умолчанию vLLM занимает до 90% памяти GPU под веса, активации и кэш, а графам CUDA (CUDA graphs) нужно ещё немного места. Для других моделей воспользуйтесь нашим калькулятором видеопамяти (VRAM).

Как выбрать GPU-серверы для инференса LLM

Генерация токенов ограничена в основном пропускной способностью памяти, потому что на каждом шаге декодирования (decode) активные веса считываются один раз. NVIDIA указывает 3,35 ТБ/с для H100, 4,8 ТБ/с для H200, 8 ТБ/с для B200 и 1,6 ТБ/с для RTX PRO 6000. Этап prefill — обработка промпта — упирается в вычислительную мощность и выигрывает от тензорных ядер с поддержкой FP8 и FP4.

• Модели 8B–14B: RTX PRO 6000 вмещает веса в BF16, и большая часть его 96 ГБ остаётся под кэш.
• Модели 32B: веса в FP8 (около 32 ГБ) помещаются на RTX PRO 6000 или H100 с запасом для одновременных запросов.
• Модели 70B: H200 в FP8, B200 в FP8 или FP4 либо RTX PRO 6000 в FP4.
• Большие MoE-модели (mixture of experts): у моделей класса DeepSeek-V3 около 671 млрд параметров — примерно 700 ГБ в их родном формате FP8, поэтому им нужен узел HGX H200 (1,13 ТБ) или узел HGX B200 (1,44 ТБ); у узла HGX H100 всего 640 ГБ. Подробнее — в нашем руководстве по системным требованиям DeepSeek.

FP8 аппаратно поддерживается на Hopper и Blackwell, а для FP4 на оборудовании NVIDIA нужен Blackwell: B200, B300, RTX PRO 6000 или RTX 5090. Качество после квантования зависит от модели и метода, поэтому сравнивайте результаты на собственном наборе данных для оценки; подробности — в нашей статье о точности FP8 и FP4. На узлах HGX благодаря NVLink тензорный параллелизм между GPU работает эффективно. У RTX PRO 6000 нет NVLink, поэтому на 8-GPU-сервере с RTX PRO запускайте за своим балансировщиком нагрузки по одной реплике на каждый GPU или небольшие группы с тензорным параллелизмом.

Стек для инференса и батчинг

vLLM, SGLang и TensorRT-LLM используют непрерывный батчинг (continuous batching) и управляют KV-кэшем постранично, поэтому производительность растёт с числом одновременных запросов, пока не заполнится кэш или GPU не выйдет на полную загрузку. Кэширование префиксов помогает, когда у многих запросов общий длинный системный промпт. Типичный запуск vLLM в Docker выглядит так:

docker run --gpus all --ipc=host -p 8000:8000 \
  -v /data/hf:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model your-org/your-model-fp8 \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.90 \
  --api-key "$VLLM_API_KEY"

Ограничьте --max-model-len тем, что действительно нужно вашему продукту, поскольку самый длинный контекст задаёт объём кэша на запрос в худшем случае, а в продакшене фиксируйте версию образа. Сервер работает по OpenAI-совместимому протоколу; закройте его порт файрволом или поставьте перед ним обратный прокси с TLS, как описано в нашем руководстве по сети и файрволу, а полная настройка разобрана в руководстве по PyTorch и vLLM.

Почему фиксированная цена в месяц подходит для круглосуточного инференса

При 730 часах в месяц H200 за 3 090 $ обходится примерно в 4,23 $ за GPU-час, B200 за 4 590 $ — примерно в 6,29 $, а RTX PRO 6000 за 1 390 $ — примерно в 1,90 $. Эти ставки верны, только когда GPU загружен: H200, который обслуживает трафик 8 часов в сутки, фактически стоит около 12,70 $ за использованный час. Стабильному или растущему трафику подходит помесячный тариф. Скачкообразный трафик с долгими периодами простоя или прототип с горсткой пользователей может обойтись дешевле при почасовой оплате или оплате за токены в другом месте; см. сравнение помесячной и почасовой оплаты GPU.

Трафик включён: 20 ТБ в месяц на тарифах с одним GPU и 50 ТБ на 8-GPU-серверах при добросовестном использовании, без платы за исходящий трафик, а входящий трафик не учитывается. Текст весит немного: даже при нескольких сотнях байт на каждый токен в потоке 20 ТБ хватает на десятки миллиардов сгенерированных токенов.

Как начать

Выберите конфигурацию на странице развёртывания, укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой; в примечаниях для наших инженеров можно описать модель, точность, длину контекста и ожидаемое число одновременных запросов. Когда вы оплатите первый месяц с предоплаченного баланса, который пополняется криптовалютой, сервер будет выдан менее чем за 10 минут, а IP-адрес и данные для подключения по SSH появятся в личном кабинете. В наших образах Ubuntu уже есть драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, поэтому контейнер из примера выше запустится, как только будут скачаны веса. Чтобы масштабироваться, добавляйте серверы и по запросу объединяйте их частной сетью.