Образ Ubuntu для GPU с предустановленной CUDA

Каждый сервер FullGPU с GPU NVIDIA выдаётся с образом Ubuntu для GPU с предустановленной CUDA, а серверы AMD — с образом ROCm, поэтому запускать задачи можно сразу после первого входа. На этой странице описано, что входит в образы, как проверить точные версии на вашем сервере, как выбрать между Ubuntu 22.04 и 24.04 и как сохранить стабильность драйвера при обновлении пакетов.

Что входит в наши образы

• Операционная система Ubuntu 22.04 LTS или 24.04 LTS. Debian или Rocky Linux по запросу.
• Серверы NVIDIA Драйвер NVIDIA, CUDA, Docker и NVIDIA Container Toolkit уже установлены.
• Серверы AMD Образы ROCm для AMD Instinct MI355X.
• Доступ Полный root-доступ по SSH с вашим открытым ключом.
• Программное обеспечение Устанавливайте всё, что разрешено нашими правилами допустимого использования.

Точные версии зависят от того, когда был установлен ваш сервер, поэтому здесь они не приводятся: что именно установлено на вашей машине, покажут команды ниже. Доступные варианты кратко описаны в обзоре образов ОС.

Проверка точных версий на сервере

cat /etc/os-release        # Ubuntu release
uname -r                   # running kernel
nvidia-smi                 # driver version, newest CUDA it supports
nvcc --version             # CUDA toolkit used for compiling
ls -d /usr/local/cuda*     # toolkits installed side by side
docker --version
nvidia-ctk --version       # NVIDIA Container Toolkit
dpkg -l | grep -i nvidia   # NVIDIA packages and versions

«CUDA Version» в выводе nvidia-smi — это самая новая версия CUDA, которую поддерживает драйвер, а не установленный CUDA Toolkit; версию CUDA Toolkit показывает nvcc. Если nvcc не найден, но каталог /usr/local/cuda существует, выполните export PATH=/usr/local/cuda/bin:$PATH. Как соотносятся эти две версии, объясняет руководство по драйверам NVIDIA и CUDA.

На серверах AMD:

amd-smi version                 # tool, library and ROCm versions
rocm-smi --showdriverversion    # kernel driver version
cat /opt/rocm/.info/version     # installed ROCm release

Ubuntu 22.04 или 24.04?

Для новых задач выбирайте 24.04, а 22.04 — когда какой-либо инструмент, пакет производителя или внутренняя сборка сертифицированы только для этой версии. С контейнерами выбор не так важен: контейнер содержит собственное пользовательское пространство, и только драйвер берётся с хоста, поэтому образ на базе 22.04 работает на сервере с 24.04. Подробнее — в руководстве по Docker-контейнерам с GPU. В любом выпуске устанавливайте пакеты Python в виртуальное окружение (venv или uv), а не на уровне всей системы.

Образы ROCm, Debian и Rocky Linux

Серверы AMD Instinct MI355X выдаются с образом ROCm. Проверьте GPU командой rocm-smi, а затем настройте группы пользователей, PyTorch и vLLM, следуя руководству по настройке ROCm.

Если вместо Ubuntu вам нужен Debian или Rocky Linux, укажите это в примечаниях к заказу, когда будете развёртывать сервер. Команды в этой документации рассчитаны на Ubuntu; в Rocky Linux используйте dnf вместо apt, а названия некоторых пакетов отличаются.

Переустановка или смена ОС

Переустановка выполняется по запросу через поддержку: создайте тикет в поддержку в личном кабинете, указав IP-адрес сервера и нужный образ. Перед запросом:

1. Скопируйте с сервера всё, что вам нужно. Считайте, что переустановка стирает данные сервера; мы не делаем резервных копий локального хранилища.
2. Запишите свои настройки: пользователей и ключи, записи в /etc/fstab, юниты systemd и правила файрвола.

После переустановки ключ хоста сервера меняется. Удалите старую запись на своём компьютере командой ssh-keygen -R 203.0.113.10 (подставьте IP-адрес своего сервера), снова войдите на сервер и повторите настройку.

Фиксация драйвера при обновлениях через apt

Обновление через apt, в том числе автоматические обновления безопасности Ubuntu (unattended-upgrades), если они включены, может заменить драйвер NVIDIA, пока ещё загружен старый модуль ядра. Тогда до перезагрузки nvidia-smi завершается ошибкой «Driver/library version mismatch», а запущенные задачи могут аварийно завершиться. Фиксация пакетов драйвера позволяет вам самим решать, когда менять драйвер.

1. Выведите список пакетов NVIDIA:

   dpkg -l | grep -i nvidia | awk '{print $2}'

2. Зафиксируйте пакеты драйвера из этого списка. Их названия зависят от того, как был установлен драйвер, и содержат номер ветки драйвера (ниже — NNN). Например:

   sudo apt-mark hold nvidia-driver-NNN-server nvidia-utils-NNN-server \
     libnvidia-compute-NNN-server

   Используйте точные названия из своего списка. Пакеты NVIDIA Container Toolkit, в названиях которых есть nvidia-container, не фиксируйте. На 8-GPU-серверах HGX зафиксируйте также пакет Fabric Manager (его название начинается с nvidia-fabricmanager): его версия всегда должна совпадать с версией драйвера.
3. Проверьте результат командой apt-mark showhold. Следующий запуск sudo apt upgrade покажет эти пакеты как «kept back».