# GPU-серверы для инференса LLM: круглосуточно и по фиксированной цене

> GPU-серверы для инференса LLM с vLLM, SGLang или TensorRT-LLM: расчёт KV-кэша, FP8 и FP4, 20–50 ТБ трафика включено. Посмотрите расчёты.

Источник: https://fullgpu.com/ru/solutions/inference  
Обновлено: 2026-10-23  
Издатель: FullGPU (https://fullgpu.com/)

## Ключевые моменты

- **Фиксированная цена при полной загрузке:** Одна цена в месяц — простаивают ли ваши GPU по ночам или работают на пределе весь месяц.
- **Трафик включён:** 20 ТБ в месяц на тарифах с одним GPU и 50 ТБ на 8-GPU-серверах, без платы за исходящий трафик.
- **Целые GPU:** Без деления на части и без разделения по времени: вся память и вычислительная мощность работают на ваши запросы.
- **Ваш стек для инференса:** Root-доступ, чтобы запускать vLLM, SGLang, TensorRT-LLM или собственный сервер в Docker.
- **Защита от DDoS:** Публичный IPv4-адрес и подсеть IPv6 /64 на каждом сервере, а публичные IP-адреса защищены от DDoS.
- **SLA 99,9%:** Доступность электропитания, сети и оборудования, подкреплённая компенсацией на баланс.

## Рекомендуемые конфигурации

- [NVIDIA H200](https://fullgpu.com/ru/gpus/nvidia-h200): 3 090 $ в месяц — 141 ГБ: модель 70B в FP8 с запасом для длинных контекстов
- [NVIDIA B200](https://fullgpu.com/ru/gpus/nvidia-b200): 4 590 $ в месяц — 180 ГБ и 8 ТБ/с, плюс FP4 для большого числа одновременных запросов
- [NVIDIA RTX PRO 6000 Blackwell](https://fullgpu.com/ru/gpus/nvidia-rtx-pro-6000): 1 390 $ в месяц — 96 ГБ для моделей 8B–32B или модели 70B в FP4

## Обзор

GPU-серверы для инференса LLM (больших языковых моделей) окупаются, когда работают весь день: модель, которая обслуживает трафик круглосуточно, использует каждый час помесячного тарифа. Мы сдаём в аренду целые GPU NVIDIA помесячно с root-доступом, поэтому vLLM, SGLang или TensorRT-LLM работают у вас точно так же, как на собственном оборудовании. На этой странице — расчёты, от которых зависит ваш счёт: веса, KV-кэш, точность и батчинг.

## Сначала рассчитайте веса, затем KV-кэш

Веса занимают примерно число параметров × число байт на параметр: 2 в BF16, 1 в FP8 и около 0,5 в FP4, плюс немного на масштабы квантования. Следом идёт KV-кэш, и обычно именно он ограничивает число одновременных запросов. На каждый токен он занимает 2 (ключи и значения) × число слоёв × число KV-голов × размерность головы × число байт на значение.

Для Llama-подобной модели 70B с 80 слоями, 8 KV-головами и размерностью головы 128 это около 0,33 МБ на токен в BF16 и вдвое меньше в FP8. Одному контексту на 128K токенов нужно около 43 ГБ кэша в BF16, а 32 одновременным запросам по 4 000 токенов — около 42 ГБ.

| GPU | Веса модели 70B | Остаётся под KV-кэш и среду выполнения |
| --- | --- | --- |
| H100, 80 ГБ | около 70 ГБ в FP8 | около 10 ГБ: короткие контексты, мало одновременных запросов |
| H200, 141 ГБ | около 70 ГБ в FP8 | около 70 ГБ |
| B200, 180 ГБ | около 70 ГБ в FP8 или 40 ГБ в FP4 | около 110–140 ГБ |
| RTX PRO 6000, 96 ГБ | около 40 ГБ в FP4 | около 55 ГБ |

Свою долю забирает и среда выполнения: по умолчанию vLLM занимает до 90% памяти GPU под веса, активации и кэш, а графам CUDA (CUDA graphs) нужно ещё немного места. Для других моделей воспользуйтесь нашим [калькулятором видеопамяти (VRAM)](https://fullgpu.com/ru/tools/vram-calculator).

## Как выбрать GPU-серверы для инференса LLM

Генерация токенов ограничена в основном пропускной способностью памяти, потому что на каждом шаге декодирования (decode) активные веса считываются один раз. NVIDIA указывает 3,35 ТБ/с для H100, 4,8 ТБ/с для H200, 8 ТБ/с для B200 и 1,6 ТБ/с для RTX PRO 6000. Этап prefill — обработка промпта — упирается в вычислительную мощность и выигрывает от тензорных ядер с поддержкой FP8 и FP4.

- **Модели 8B–14B:** RTX PRO 6000 вмещает веса в BF16, и большая часть его 96 ГБ остаётся под кэш.
- **Модели 32B:** веса в FP8 (около 32 ГБ) помещаются на RTX PRO 6000 или H100 с запасом для одновременных запросов.
- **Модели 70B:** H200 в FP8, B200 в FP8 или FP4 либо RTX PRO 6000 в FP4.
- **Большие MoE-модели (mixture of experts):** у моделей класса DeepSeek-V3 около 671 млрд параметров — примерно 700 ГБ в их родном формате FP8, поэтому им нужен узел HGX H200 (1,13 ТБ) или узел HGX B200 (1,44 ТБ); у узла HGX H100 всего 640 ГБ. Подробнее — в нашем руководстве [по системным требованиям DeepSeek](https://fullgpu.com/ru/blog/deepseek-hardware-requirements).

FP8 аппаратно поддерживается на Hopper и Blackwell, а для FP4 на оборудовании NVIDIA нужен Blackwell: B200, B300, RTX PRO 6000 или RTX 5090. Качество после квантования зависит от модели и метода, поэтому сравнивайте результаты на собственном наборе данных для оценки; подробности — в нашей статье [о точности FP8 и FP4](https://fullgpu.com/ru/blog/fp8-fp4-precision-explained). На узлах HGX благодаря NVLink тензорный параллелизм между GPU работает эффективно. У RTX PRO 6000 нет NVLink, поэтому на 8-GPU-сервере с RTX PRO запускайте за своим балансировщиком нагрузки по одной реплике на каждый GPU или небольшие группы с тензорным параллелизмом.

## Стек для инференса и батчинг

vLLM, SGLang и TensorRT-LLM используют непрерывный батчинг (continuous batching) и управляют KV-кэшем постранично, поэтому производительность растёт с числом одновременных запросов, пока не заполнится кэш или GPU не выйдет на полную загрузку. Кэширование префиксов помогает, когда у многих запросов общий длинный системный промпт. Типичный запуск vLLM в Docker выглядит так:

```
docker run --gpus all --ipc=host -p 8000:8000 \
  -v /data/hf:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model your-org/your-model-fp8 \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.90 \
  --api-key "$VLLM_API_KEY"
```

Ограничьте `--max-model-len` тем, что действительно нужно вашему продукту, поскольку самый длинный контекст задаёт объём кэша на запрос в худшем случае, а в продакшене фиксируйте версию образа. Сервер работает по OpenAI-совместимому протоколу; закройте его порт файрволом или поставьте перед ним обратный прокси с TLS, как описано в нашем [руководстве по сети и файрволу](https://fullgpu.com/ru/docs/networking-firewall), а полная настройка разобрана в [руководстве по PyTorch и vLLM](https://fullgpu.com/ru/docs/pytorch-vllm).

## Почему фиксированная цена в месяц подходит для круглосуточного инференса

При 730 часах в месяц H200 за 3 090 $ обходится примерно в 4,23 $ за GPU-час, B200 за 4 590 $ — примерно в 6,29 $, а RTX PRO 6000 за 1 390 $ — примерно в 1,90 $. Эти ставки верны, только когда GPU загружен: H200, который обслуживает трафик 8 часов в сутки, фактически стоит около 12,70 $ за использованный час. Стабильному или растущему трафику подходит помесячный тариф. Скачкообразный трафик с долгими периодами простоя или прототип с горсткой пользователей может обойтись дешевле при почасовой оплате или оплате за токены в другом месте; см. [сравнение помесячной и почасовой оплаты GPU](https://fullgpu.com/ru/compare/monthly-vs-hourly-gpu-pricing).

Трафик включён: 20 ТБ в месяц на тарифах с одним GPU и 50 ТБ на 8-GPU-серверах при добросовестном использовании, без платы за исходящий трафик, а входящий трафик не учитывается. Текст весит немного: даже при нескольких сотнях байт на каждый токен в потоке 20 ТБ хватает на десятки миллиардов сгенерированных токенов.

## Как начать

Выберите конфигурацию на [странице развёртывания](https://fullgpu.com/ru/deploy), укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой; в примечаниях для наших инженеров можно описать модель, точность, длину контекста и ожидаемое число одновременных запросов. Когда вы оплатите первый месяц с предоплаченного баланса, который пополняется криптовалютой, сервер будет выдан менее чем за 10 минут, а IP-адрес и данные для подключения по SSH появятся в личном кабинете. В наших образах Ubuntu уже есть драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, поэтому контейнер из примера выше запустится, как только будут скачаны веса. Чтобы масштабироваться, добавляйте серверы и по запросу объединяйте их частной сетью.

## Часто задаваемые вопросы

### Может ли один H100 обслуживать модель 70B?

Только впритык. В FP8 веса занимают около 70 ГБ из 80 ГБ у H100, и места для KV-кэша остаётся мало, поэтому контексты и число одновременных запросов остаются небольшими; на H200 или B200 под кэш остаётся гораздо больше.

### Сколько трафика включено для инференса?

20 ТБ в месяц на тарифах с одним GPU и 50 ТБ в месяц на 8-GPU-серверах при добросовестном использовании, без платы за исходящий трафик. Входящий трафик не учитывается.

### Какие движки инференса можно запускать?

Любые, ведь у вас есть root-доступ: vLLM, SGLang, TensorRT-LLM или собственный сервер. В наших образах Ubuntu предустановлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit.

### Какие GPU поддерживают инференс в FP4?

Из GPU NVIDIA — модели на архитектуре Blackwell из нашего каталога: B200, B300, RTX PRO 6000 и RTX 5090. AMD указывает для MI355X поддержку MXFP4, а H100, H200 и L40S поддерживают FP8, но не FP4.

### Как масштабироваться за пределы одного GPU?

Запускайте больше реплик на большем числе серверов или используйте для крупных моделей 8-GPU-узел с тензорным параллелизмом через NVLink. Частная сеть между вашими серверами доступна по запросу, а клиенты с активным сервером могут запросить через тикет специальные цены на несколько серверов — обычно от трёх.

## Связанные страницы

- [Как самостоятельно развернуть инференс LLM с vLLM](https://fullgpu.com/ru/blog/self-host-llm-inference-vllm): Инференс LLM на своём сервере с vLLM: подбор GPU, OpenAI-совместимый сервер, настройка FP8, кэширования префиксов и параллелизма, защита для продакшена.
- [Лучший GPU для инференса LLM в 2026 году: подбор по размеру модели](https://fullgpu.com/ru/blog/best-gpu-for-llm-inference): Лучший GPU для инференса LLM зависит от размера модели, точности, KV-кэша и пропускной способности. Выбирайте по таблице 2026 года: от RTX 5090 до 8× B300.
- [Калькулятор видеопамяти для LLM: поместится ли ваша модель на GPU?](https://fullgpu.com/ru/tools/vram-calculator): Бесплатный калькулятор видеопамяти для LLM: выберите Llama, Qwen, Mistral или gpt-oss, точность и длину контекста и посмотрите веса, KV-кэш и подходящие GPU.
- [H200 vs B200: Hopper или Blackwell для вашего следующего GPU-сервера?](https://fullgpu.com/ru/compare/h200-vs-b200): Сравнение H200 и B200: 141 против 180 ГБ, 4,8 против 8 ТБ/с, FP4 и NVLink 5. Что помещается, за что вы доплачиваете 1 500 $/мес. и когда выгоднее H200.
- [Трафик GPU-сервера и плата за исходящий трафик](https://fullgpu.com/ru/help/bandwidth-and-egress): Трафик GPU-серверов FullGPU: 20 или 50 ТБ исходящего трафика в месяц, входящий не учитывается, платы за исходящий трафик нет. Узнайте, что засчитывается.
- [Инференс LLM на vLLM](https://fullgpu.com/ru/docs/pytorch-vllm): Инференс LLM с vLLM на вашем GPU-сервере: настройте Python через uv, установите PyTorch и vLLM, проверьте OpenAI-совместимый API и запустите его как службу.