预装 CUDA 的 Ubuntu GPU 镜像

每台配备 NVIDIA GPU 的 FullGPU 服务器交付时都带有预装 CUDA 的 Ubuntu GPU 镜像，AMD 服务器则带有 ROCm 镜像，因此您首次登录后即可运行工作负载。本页列出这些镜像包含的内容，并介绍如何查看服务器上的确切版本、如何在 Ubuntu 22.04 和 24.04 之间做出选择，以及更新软件包时如何保持驱动稳定。

我们的镜像包含什么

• 操作系统 Ubuntu 22.04 LTS 或 24.04 LTS。Debian 或 Rocky Linux 可应要求提供。
• NVIDIA 服务器 预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。
• AMD 服务器 适用于 AMD Instinct MI355X 的 ROCm 镜像。
• 访问方式 使用您的公钥通过 SSH 登录，拥有完整的 root 权限。
• 软件 可安装我们的可接受使用政策所允许的任何软件。

确切版本取决于服务器的安装时间，因此本页不一一列出：下面的命令会显示您机器上的实际版本。操作系统镜像概览汇总了各个可选项。

查看服务器上的确切版本

cat /etc/os-release        # Ubuntu release
uname -r                   # running kernel
nvidia-smi                 # driver version, newest CUDA it supports
nvcc --version             # CUDA toolkit used for compiling
ls -d /usr/local/cuda*     # toolkits installed side by side
docker --version
nvidia-ctk --version       # NVIDIA Container Toolkit
dpkg -l | grep -i nvidia   # NVIDIA packages and versions

nvidia-smi 输出的“CUDA Version”是驱动支持的最新 CUDA 版本，而不是已安装的工具包版本；工具包版本要看 nvcc。如果找不到 nvcc，但 /usr/local/cuda 存在，请运行 export PATH=/usr/local/cuda/bin:$PATH。驱动与 CUDA 指南解释了这两个版本如何对应。

在 AMD 服务器上：

amd-smi version                 # tool, library and ROCm versions
rocm-smi --showdriverversion    # kernel driver version
cat /opt/rocm/.info/version     # installed ROCm release

Ubuntu 22.04 还是 24.04？

新项目请选择 24.04；如果某个工具、厂商软件包或内部构建只在 22.04 上经过认证，则选择 22.04。使用容器时，这一选择就没那么关键了：容器自带用户空间，只有驱动来自主机，因此基于 22.04 的镜像也能在 24.04 服务器上运行。请参阅 Docker GPU 容器。无论使用哪个版本，都请在虚拟环境（venv 或 uv）中安装 Python 包，而不要安装到系统全局。

ROCm 镜像、Debian 与 Rocky Linux

AMD Instinct MI355X 服务器交付时带有 ROCm 镜像。请用 rocm-smi 检查 GPU，然后按照 ROCm 配置指南设置用户组、PyTorch 和 vLLM。

如果您需要 Debian 或 Rocky Linux 而不是 Ubuntu，请在部署服务器时于订单备注中注明。本系列文档中的命令均以 Ubuntu 为准；在 Rocky Linux 上，请用 dnf 代替 apt，部分软件包的名称也有所不同。

重装或更换操作系统

重装系统需通过支持团队申请：请在控制台提交工单，注明服务器的 IP 地址和您需要的镜像。提交申请之前：

1. 把您需要的所有数据从服务器上复制出来。请把重装视为清除服务器上的数据；我们不备份本地存储。
2. 记下您的自定义设置：用户和密钥、/etc/fstab 条目、systemd 单元和防火墙规则。

重装后，服务器的主机密钥会改变。请在您的电脑上用 ssh-keygen -R 203.0.113.10（换成您服务器的 IP）删除旧条目，然后重新登录，重新完成各项设置。

apt 升级时锁定驱动版本

执行 apt 升级时（包括 Ubuntu 的自动安全更新 unattended-upgrades，若已启用），NVIDIA 驱动可能会在旧内核模块仍处于加载状态时被替换。此后 nvidia-smi 会报“Driver/library version mismatch”错误，直到您重启为止，正在运行的任务也可能崩溃。锁定（hold）驱动软件包后，驱动何时变更就由您来决定。

1. 列出 NVIDIA 软件包：

   dpkg -l | grep -i nvidia | awk '{print $2}'

2. 锁定列表中的驱动软件包。它们的名称取决于驱动的安装方式，并包含驱动分支号（下例中的 NNN）。例如：

   sudo apt-mark hold nvidia-driver-NNN-server nvidia-utils-NNN-server \
     libnvidia-compute-NNN-server

   请使用您列表中的确切名称。名称中含有 nvidia-container 的容器工具包软件包不要锁定。在 8 卡 HGX 服务器上，还要锁定 Fabric Manager 软件包（名称以 nvidia-fabricmanager 开头），它的版本必须始终与驱动版本一致。
3. 用 apt-mark showhold 检查。下次运行 sudo apt upgrade 时，这些软件包会被列为保留不升级（kept back）。