Частная сеть между GPU-серверами

Частная сеть между GPU-серверами позволяет вашим машинам связываться друг с другом по адресам, недоступным из интернета. В FullGPU она предоставляется по запросу: наша команда объединяет арендованные вами серверы в изолированную сеть, а вы используете её для конвейеров данных, многоузловых задач и всех сервисов, которым нечего делать на публичном IP-адресе.

Зачем нужна частная сеть между GPU-серверами

У каждого сервера FullGPU есть публичный IPv4-адрес и подсеть IPv6 /64, а на его публичных IP-адресах работает защита от DDoS. Именно это нужно вашим пользователям и вашим SSH-сессиям. Другое дело — трафик между вашими собственными серверами:

• Доступ извне. Векторную базу данных, очередь Redis или эндпоинт метрик на публичном IP-адресе от интернета отделяет всего одна ошибка в настройках файрвола. В частной сети такой сервис недоступен извне.
• Простые правила. Внутренние сервисы слушают только частные адреса, поэтому список правил публичного файрвола остаётся коротким: SSH и порты, которые нужны вашим пользователям.
• Разделение. Копирование чекпоинтов и передача датасетов между вашими серверами идут в обход публичного интерфейса, который обслуживает ваших пользователей.

Возможно, частная сеть вам и не нужна. Одному серверу или серверам, которые общаются только с внешним миром, она ничего не даёт. Она становится нужной, как только две ваши машины начинают обмениваться данными или зависеть от сервисов друг друга.

Типовые схемы

Узел обучения передаёт модели серверам инференса

Узел HGX занимается обучением или дообучением (fine-tuning), а серверы с одним GPU запускают инференс полученной модели. Чекпоинты передаются на эти серверы по частной сети, например с помощью rsync, а из публичного интернета доступны только эндпоинты инференса.

Конвейеры данных

Один сервер занимается предобработкой, токенизацией или вычислением эмбеддингов, пока другие обучают на этих данных модели или индексируют их. Шарды, эмбеддинги и логи передаются между серверами по частным адресам.

Многоузловые задачи

Распределённая оценка моделей, перебор гиперпараметров, воркеры Ray и задачи с параллелизмом по данным, которые обмениваются умеренными объёмами данных, хорошо подходят для частной сети. Масштабное обучение с тесно связанными узлами — другой случай, о нём рассказано в следующем разделе.

Мониторинг и внутренние API

Экспортёры метрик, агенты доставки логов и внутренние API моделей слушают только частный интерфейс. Какие метрики стоит собирать, описано в нашем руководстве по мониторингу GPU.

Частная сеть или сетевая фабрика кластера?

Частная сеть — не то же самое, что высокоскоростная сетевая фабрика GPU-кластера. Обучению, при котором градиенты синхронизируются между узлами на каждом шаге, нужен RDMA через InfiniBand или RoCE. Если одной такой задаче нужно больше GPU, чем помещается в 8-GPU-сервер, стойка GB300 NVL72 объединяет 72 GPU в одном домене NVLink. Частная сеть берёт на себя всё остальное: перемещение данных, оркестрацию, сервисы и менее требовательные распределённые задачи.

Пропускная способность зависит от серверов, которые вы объединяете. Сетевые характеристики каждого сервера указаны в нашем каталоге: например, 25 Гбит/с у тарифа с одним H100 и 10 Гбит/с у тарифа с L40S. Опишите в примечаниях к заказу или в тикете в поддержку, что вы планируете передавать между серверами, чтобы наши инженеры могли это учесть.

Безопасность при работе с частной сетью

• Привязывайте внутренние сервисы к частному интерфейсу, а не к 0.0.0.0.
• Держите на публичном интерфейсе файрвол хоста: разрешите SSH и порты, которые нужны вашим пользователям, а всё остальное запретите. Базовая настройка показана в руководстве по сети и файрволу.
• Не отключайте аутентификацию во внутренних сервисах. Изоляция ограничивает круг тех, кто может к ним обратиться, но не заменяет учётные данные.
• Опубликованные порты Docker могут обходить правила файрвола хоста. Публикуйте внутренние контейнеры только на частном адресе, например -p <private-ip>:6379:6379.

Защита от DDoS охраняет ваши публичные IP-адреса, а частная сеть из интернета недоступна в принципе. Публичной стороне посвящена наша страница о защите от DDoS.

Частная сеть в повседневной работе

Когда сеть настроена, выполните ip -br addr на каждом сервере, чтобы увидеть частный интерфейс и его адрес. Затем присвойте серверам постоянные имена, чтобы скрипты и конфигурации никогда не зависели от публичных IP-адресов. Например, в /etc/hosts на каждом сервере:

<private-ip-1>  train-1
<private-ip-2>  serve-1

После этого внутренний трафик идёт по этим именам. Копирование чекпоинта с узла обучения на узел инференса выглядит так:

rsync -a --info=progress2 /data/ckpt/ serve-1:/data/ckpt/

Используйте эти же имена во внутренних сервисах: для базы данных или векторного хранилища, которые слушают частный адрес, для сборщика метрик, опрашивающего экспортёры в частной сети, или для внутреннего API модели, к которому обращаются только другие ваши серверы. Держите имена одинаковыми на всех серверах — тогда узел можно заменить, не правя каждую конфигурацию.

Как запросить частную сеть

1. Укажите это в примечаниях к заказу, когда будете развёртывать серверы, или создайте тикет в поддержку для серверов, которые уже арендуете.
2. Перечислите серверы, которые нужно объединить, и укажите, что будет передаваться между ними.
3. Наша команда настраивает сеть и присылает вам параметры для каждого сервера.

Спланировать сеть проще всего, если упомянуть о ней в первом заказе, особенно когда речь идёт о нескольких 8-GPU-серверах.