Трафик GPU-сервера и плата за исходящий трафик

Вот как устроены трафик и плата за исходящий трафик на GPU-серверах FullGPU: в каждый сервер входит определённый объём исходящего трафика, и в его пределах платить за трафик не нужно. Тарифы с одним GPU включают 20 ТБ в месяц, а 8-GPU-серверы — 50 ТБ в месяц, при добросовестном использовании. Входящий трафик не учитывается.

Трафик, включённый в каждый сервер

Лимит предоставляется с каждым сервером и входит во все цены на нашей странице цен. В его пределах вы вообще не платите за исходящий трафик. Крупные облачные провайдеры (гиперскейлеры) обычно берут плату за исходящий трафик отдельно; если вы привыкли к такой модели, посмотрите сравнение FullGPU с AWS.

Что засчитывается в лимит

• Учитывается: исходящий трафик с вашего сервера — например, ответы эндпоинта инференса, изображения или видео, которые вы отправляете своим пользователям, а также чекпоинты или результаты, которые вы копируете с сервера.
• Не учитывается: входящий трафик — например, скачивание датасетов и весов моделей, загрузка образов контейнеров или передача данных на сервер.

Для ориентира — несколько примерных цифр. Модель 70B в BF16 занимает около 140 ГБ, а её скачивание — это входящий трафик, поэтому оно не учитывается. Если десять раз скопировать с сервера чекпоинт такого размера, получится около 1,4 ТБ, что с большим запасом укладывается в 20 ТБ. Текстовый ответ языковой модели обычно занимает несколько килобайт, а задачи с изображениями и видео расходуют гораздо больше.

Добросовестное использование и превышение лимита

Лимит предоставляется при добросовестном использовании. Если ваш исходящий трафик систематически его превышает, до каких-либо изменений мы связываемся с вами, чтобы вместе согласовать подходящий вариант. До этого разговора ничего не меняется.

Если вы ожидаете большой исходящий трафик с первого дня — например, раздачу видео или выгрузку крупных датасетов, — опишите это в примечаниях к заказу, когда будете развёртывать сервер, чтобы мы могли спланировать это вместе с вами.

Как отслеживать трафик

Исходящий трафик можно измерять прямо на сервере. В Ubuntu утилита vnStat после установки подсчитывает суточный и месячный трафик по каждому сетевому интерфейсу:

sudo apt install vnstat
vnstat -m

Настройки файрвола и сетевых интерфейсов описаны в нашем руководстве по сети и файрволу. Само обязательство по трафику закреплено в разделе 6 нашего соглашения об уровне обслуживания.