Аренда серверов NVIDIA H200 и HGX H200 от 3 090 $ в месяц

Главная причина арендовать мощности NVIDIA H200 — память: 141 ГБ HBM3e на GPU, чего достаточно для инференса модели 70B в FP8 на одной карте с запасом. H200 есть у нас в наличии в двух вариантах: один GPU в выделенной виртуальной машине за 3 090 $ в месяц — самый популярный у нас тариф с одним GPU — и bare-metal-сервер HGX H200 с восемью GPU за 23 900 $ в месяц.

Что даёт H200 по сравнению с H100

H200 построен на том же GPU Hopper, что и H100. NVIDIA указывает для обоих одинаковую вычислительную мощность — 1 979 TFLOPS в FP8 и 989 TFLOPS в BF16 без разреженности, — тот же NVLink 4 со скоростью 900 ГБ/с на каждый GPU и тот же форм-фактор SXM с энергопотреблением 700 Вт. Разница — в памяти: 141 ГБ HBM3e вместо 80 ГБ HBM3 (на 76% больше) с пропускной способностью 4,8 ТБ/с вместо 3,35 ТБ/с (на 43% больше).

Больше всего это важно для инференса. Чтобы сгенерировать каждый токен, GPU считывает из памяти веса модели, поэтому пропускная способность задаёт потолок скорости декодирования (decode), а каждый гигабайт, не занятый весами, может вместить KV-кэш для большего числа одновременных запросов или более длинных контекстов. В задачах, которые упираются в вычислительную мощность, — например, при обучении модели, которая и так с запасом помещается в 80 ГБ, — разрыв сокращается, и H100 может оказаться выгоднее. Оба случая разобраны в нашем сравнении H100 и H200.

Что помещается на один H200 и на восемь

Веса занимают примерно 2 байта на параметр в BF16 и 1 байт в FP8; добавьте KV-кэш и запас 10–30%.

• Модель 70B в FP8 на одном H200: около 70 ГБ весов, и с учётом запаса под KV-кэш остаётся примерно 50–60 ГБ. Именно благодаря этому запасу одного H200 достаточно для эндпоинта с моделью 70B в продакшене.
• Длинные контексты: Llama-подобной модели 70B с механизмом grouped-query attention (80 слоёв, 8 KV-голов размерностью 128) нужно около 0,33 МБ KV-кэша на токен в BF16. Значит, один контекст на 128K токенов занимает около 43 ГБ: он помещается на H200 рядом с весами в FP8, но не на GPU с 80 ГБ.
• Модель 70B в BF16: около 140 ГБ — на одном H200 это слишком впритык. Используйте два GPU сервера HGX H200 с тензорным параллелизмом или B200 со 180 ГБ.
• HGX H200, всего 1,1 ТБ: модель класса 405B в FP8 (около 405 ГБ) оставляет под KV-кэш примерно 700 ГБ, а MoE-модель (mixture of experts) размером 671B в FP8 (около 671 ГБ) тоже помещается, и свободными остаются около 450 ГБ.

Что касается дообучения (fine-tuning), QLoRA для модели 70B (около 35 ГБ 4-битных весов) свободно работает на одном H200, а LoRA для модели 70B в BF16 на один GPU не помещается, потому что одни только замороженные веса занимают около 140 ГБ. Полное дообучение с Adam требует примерно 16–20 байт на параметр без учёта активаций: около 512–640 ГБ для модели 32B, с чем HGX H200 справляется, но 1,1–1,4 ТБ для модели 70B, а это больше его HBM3e, если только не выгружать состояние оптимизатора в 2 ТБ оперативной памяти сервера. Другие размеры можно посчитать в нашем калькуляторе видеопамяти (VRAM).

Один H200 или сервер HGX H200?

Тариф с одним H200 включает 24 vCPU, 240 ГБ оперативной памяти, 2 ТБ NVMe и порт 25 Гбит/с. Он подходит командам, которые запускают по одной модели на каждом GPU и масштабируются, добавляя реплики, или дообучают модели с LoRA и QLoRA.

HGX H200 объединяет восемь GPU в одном домене NVLink (900 ГБ/с на каждый GPU), поэтому модель можно разделить между всеми восемью GPU с помощью тензорного параллелизма или шардировать на них состояние обучения, не задействуя сеть. В сервере два процессора Xeon 8480+ (всего 112 ядер), 2 ТБ DDR5, восемь NVMe-накопителей по 3,84 ТБ и восемь адаптеров ConnectX-7 400G. Когда нужно восемь GPU, сервер к тому же дешевле тарифов с одним GPU: 23 900 $ в месяц против 24 720 $ за восемь отдельных H200.

Программное обеспечение: зрелый стек для Hopper

GPU Hopper широко используются с 2023 года, поэтому поддержка FP8 в vLLM, SGLang и TensorRT-LLM хорошо отлажена. Сервер выдаётся с root-доступом по SSH, Ubuntu 22.04 или 24.04 и предустановленными драйверами NVIDIA, CUDA, Docker и NVIDIA Container Toolkit; Debian или Rocky Linux доступны по запросу. Инференс модели 70B из чекпоинта в FP8 с KV-кэшем в FP8 на одном H200 запускается так:

vllm serve <your-70b-fp8-checkpoint> --kv-cache-dtype fp8 \
  --max-model-len 131072 --host 127.0.0.1 --port 8000

Хранение KV-кэша в FP8 вдвое уменьшает его размер, а значит, примерно вдвое увеличивает длину контекста или число одновременных запросов, которые помещаются в ту же память. Настройки для продакшена описаны в нашем руководстве по самостоятельному развёртыванию инференса LLM (больших языковых моделей) на vLLM, а варианты сравниваются в статье о выборе GPU для инференса LLM.

Цена H200 в месяц и за GPU-час

• Один H200 3 090 $ в месяц, около 4,23 $ за GPU-час
• HGX H200, 8 GPU 23 900 $ в месяц, около 4,09 $ за GPU-час

Цена за GPU-час — это цена в месяц, делённая на число GPU и на 730 часов, поэтому она верна, только если GPU работает весь месяц. У круглосуточного эндпоинта инференса так и есть, и здесь фиксированные 3 090 $ заменяют оплату по счётчику. Эндпоинт, который работает только в рабочее время (около 220 часов в месяц), при помесячной оплате обошёлся бы примерно в 14,05 $ за час использования, и тогда почасовая оплата, скорее всего, выгоднее. Общее правило: разделите нашу цену в месяц на почасовую ставку, которую вы платили бы в другом месте; если GPU работает больше получившегося числа часов, выгоднее помесячная оплата. Расчёты подробно разобраны в нашем сравнении помесячной и почасовой оплаты.

Кроме того, цены не стоят на месте. Согласно проведённому FullGPU в октябре 2026 года исследованию публичных прайс-листов, медианная цена GPU-часа H200 по требованию (on-demand) за последний год выросла примерно на 27%. Помесячный тариф фиксирует цену на каждый оплаченный месяц. В тариф входят 20 ТБ исходящего трафика в месяц для одного GPU или 50 ТБ для 8-GPU-сервера при добросовестном использовании, и плата за исходящий трафик не взимается. Также включены публичный IPv4-адрес и подсеть IPv6 /64, защита от DDoS, круглосуточная поддержка и SLA (соглашение об уровне обслуживания) с доступностью 99,9%. Платы за подключение нет.

Как арендовать сервер NVIDIA H200

Выберите нужный тариф на странице развёртывания, укажите образ ОС, ПО для предустановки (по желанию) и способ входа (пароль root или SSH-ключ) и в той же форме создайте бесплатный аккаунт или войдите в свой. Гарантированная дата выдачи показывается до того, как вы что-либо оплатите. Затем вы оплачиваете первый месяц с предоплаченного баланса, который пополняете в BTC, ETH, XMR, USDT в сети TRON или SOL по курсу, зафиксированному на ограниченное время, с начислением до 50% бонусных средств; оплата картой скоро появится. Root-доступ по SSH выдаётся не позднее указанной даты, а IP-адрес и данные для подключения по SSH появляются в личном кабинете. Если мы не уложимся в дату выдачи, вы можете отменить заказ с полным возвратом средств на баланс. Тарифы продлеваются каждый месяц за счёт баланса с напоминанием по электронной почте, и вы можете бесплатно отменить аренду в любом месяце. Специальные цены на несколько серверов или на срок 6–12 месяцев клиенты с активным сервером могут запросить через тикет в личном кабинете.