Образы ОС для GPU-серверов с CUDA, ROCm и Docker

В образах ОС для GPU-серверов FullGPU стек для работы с GPU уже на месте. Серверы NVIDIA загружаются с Ubuntu 22.04 или 24.04, в которой предустановлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, а серверы AMD выдаются с образами ROCm. Вы входите по SSH как root и начинаете со своего кода, а не с установки драйверов.

Что входит в наши образы ОС для GPU-серверов

Мы не указываем на этой странице конкретные номера версий драйвера или CUDA, потому что они меняются вместе с поколениями GPU и выпусками. После входа nvidia-smi покажет версию драйвера и самую новую версию CUDA, которую этот драйвер поддерживает. Если ваш проект зависит от определённой ветки драйвера, укажите её в примечаниях к заказу или установите сами — у вас есть root-доступ.

В тарифах с одним GPU образ работает внутри вашей выделенной ВМ с пробросом всего GPU (passthrough). На 8-GPU-серверах он работает прямо на bare-metal-сервере. Проверки ниже выполняются одинаково в обоих случаях; отличается только вывод топологии.

Образ Ubuntu с CUDA на практике

Выбирайте 24.04 ради более свежего ядра и инструментов сборки. Выбирайте 22.04, если ваши скрипты сборки или базовые контейнеры всё ещё рассчитаны на эту версию. Затем выполните три проверки:

nvidia-smi
nvidia-smi topo -m
docker run --rm --gpus all ubuntu nvidia-smi

Первая выводит список всех GPU с их памятью, загрузкой и драйвером. Вторая выводит топологию, и на сервере HGX она показывает NVLink между всеми восемью GPU. Третья подтверждает, что контейнеры получают доступ к GPU через NVIDIA Container Toolkit, который при запуске контейнера монтирует в него библиотеки драйвера и устройства.

Контейнеры — самый простой способ держать версии CUDA под контролем. Образ фреймворка содержит собственные библиотеки CUDA, а хосту нужен лишь достаточно свежий для них драйвер. Если образу нужна более новая CUDA, чем поддерживает драйвер хоста, он, как правило, не запустится, поэтому сначала сверьтесь с версией CUDA, которую показывает nvidia-smi. Подробнее — в нашем руководстве по Docker и контейнерам и руководстве по драйверам NVIDIA и CUDA.

Если же вы устанавливаете фреймворки напрямую, используйте отдельное виртуальное окружение для каждого проекта и выбирайте wheel-пакеты, собранные под версию CUDA, которую поддерживает ваш драйвер. Например, PyTorch публикует сборки для нескольких версий CUDA, поэтому правило то же: сначала проверьте nvidia-smi, затем выберите сборку.

Образы ROCm для AMD Instinct

Серверы AMD Instinct MI355X выдаются с образами ROCm вместо CUDA. ROCm — программный стек AMD для вычислений на GPU, и его поддерживают такие фреймворки, как PyTorch и vLLM. Проверьте GPU командой rocm-smi (или amd-smi в новых выпусках ROCm) и выведите список устройств командой rocminfo. На сервере MI355X обе команды должны показать все восемь GPU. Контейнеры, собранные для ROCm, получают доступ к GPU через устройства /dev/kfd и /dev/dri, которые передаются флагами --device.

Код, который не выходит за уровень фреймворка, обычно переносится без изменений. Собственные ядра CUDA (kernels) нужно портировать с помощью HIP. Подробности — в руководстве по AMD ROCm.

Другие дистрибутивы, root-доступ и переустановка

Debian или Rocky Linux доступны по запросу — для команд, чьи инструменты, базовые требования к защите систем или система управления конфигурацией уже рассчитаны на один из этих дистрибутивов. Укажите дистрибутив в примечаниях к заказу для наших инженеров, а также то, что вы ожидаете найти в образе.

Любой образ даёт вам root-доступ по SSH: вы выбираете образ, а затем вход по SSH-ключу или по паролю root — и то и другое в форме заказа, когда развёртываете сервер. О ключах и первом входе рассказывает руководство по SSH-доступу. Вы можете устанавливать, обновлять или удалять всё, что разрешено нашими правилами допустимого использования, в том числе другую ветку драйвера или среду выполнения контейнеров.

Чтобы начать с чистого листа или сменить образ, создайте тикет в личном кабинете и попросите переустановку — в любое время суток. Сначала сделайте резервную копию всего нужного: мы не делаем резервных копий локального хранилища, если иное не согласовано письменно.

Предустановленное ПО без доплаты

Чтобы начать с готового приложения, а не с чистой системы, выберите его в форме заказа, когда развёртываете сервер. Наши инженеры устанавливают и проверяют его на вашем образе до выдачи, без доплаты, а в комментарии, который приходит вместе с сервером, объясняется, как его открыть.

• Инференс и чат с моделями: vLLM, SGLang, Ollama, Open WebUI с Ollama, llama.cpp, Text Generation WebUI, Hugging Face Text Generation Inference и NVIDIA Triton Inference Server, а также Langflow для создания агентов.
• Обучение и дообучение: PyTorch или TensorFlow с JupyterLab, Unsloth и Axolotl.
• Изображения и видео: ComfyUI, Stable Diffusion WebUI Forge, AUTOMATIC1111, InvokeAI, Fooocus, SwarmUI и Wan2GP, а также Kohya’s GUI, AI Toolkit и FluxGym для обучения LoRA.
• Блокноты, код и не только: JupyterLab, code-server, Whisper, NVIDIA RAPIDS, Blender и удалённый рабочий стол Linux.

Часть из них работает только на GPU NVIDIA, и форма заказа показывает лишь то, что подходит выбранному серверу. ПО остаётся в вашем распоряжении: его можно обновлять, настраивать или удалять.

Сохраняйте стек воспроизводимым

• Указывайте для контейнеров фреймворков конкретный тег или дайджест вместо latest.
• Фиксируйте пакеты драйвера на время длительного обучения, например с помощью apt-mark hold, и обновляйте их между запусками.
• Храните настройку в скрипте или Dockerfile, чтобы при переустановке или на втором сервере выполнялись те же шаги.
• Сохраняйте вывод nvidia-smi вместе с каждым экспериментом, чтобы результаты можно было соотнести с версией драйвера.
• После обновления ядра или драйвера перезагрузите сервер и запустите nvidia-smi до начала длительной задачи, а не после её сбоя.

Если после передачи сервера что-то работает не так, как ожидалось, наши инженеры помогут с драйверами, контейнерами и фреймворками в рамках помощи инженеров при запуске.