GPU 服务器操作系统镜像：预装 CUDA、ROCm 与 Docker

FullGPU 的 GPU 服务器操作系统镜像已经装好了 GPU 软件栈。NVIDIA 服务器启动的是预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04，AMD 服务器则使用 ROCm 镜像。您以 root 身份通过 SSH 登录，直接从您自己的代码开始，而不必先安装驱动。

我们的 GPU 服务器操作系统镜像包含什么

本页不列出固定的驱动或 CUDA 版本号，因为它们会随 GPU 代次和版本发布而变化。登录后，nvidia-smi 会显示驱动版本，以及该驱动支持的最高 CUDA 版本。如果您的项目依赖特定的驱动分支，请在订单备注中注明，或凭 root 权限自行安装。

在单卡套餐中，镜像运行在整卡直通的独享虚拟机里。在 8 卡服务器上，镜像直接运行在裸金属机器上。下面的检查在两者上的操作方式相同，只有拓扑输出有所不同。

上手使用预装 CUDA 的 Ubuntu 镜像

如果需要更新的内核和工具链，请选择 24.04；如果您的构建脚本或基础容器仍以 22.04 为目标，请选择 22.04。然后运行以下三项检查：

nvidia-smi
nvidia-smi topo -m
docker run --rm --gpus all ubuntu nvidia-smi

第一条命令列出每一张 GPU 及其显存、利用率和驱动。第二条输出拓扑，在 HGX 服务器上会显示全部 8 张 GPU 之间的 NVLink。第三条证明容器能够通过 NVIDIA Container Toolkit 访问 GPU：容器启动时，该工具包会把驱动库和设备挂载到容器中。

容器是控制 CUDA 版本最简单的方法。框架镜像自带 CUDA 库，主机只需要一个足够新的驱动来支持它们。如果镜像需要的 CUDA 版本高于主机驱动所支持的版本，它通常会拒绝启动，因此请先与 nvidia-smi 显示的 CUDA 版本进行比较。我们的 Docker 与容器指南和 NVIDIA 驱动与 CUDA 指南有更深入的介绍。

如果您改为直接安装框架，请为每个项目使用一个虚拟环境，并选择针对您的驱动所支持的 CUDA 版本构建的 wheel 包。例如，PyTorch 会针对多个 CUDA 版本发布构建，因此同样的规则也适用：先查看 nvidia-smi，再选择构建版本。

面向 AMD Instinct 的 ROCm 镜像

AMD Instinct MI355X 服务器使用 ROCm 镜像，而不是 CUDA。ROCm 是 AMD 用于 GPU 计算的软件栈，PyTorch 和 vLLM 等框架都支持它。请用 rocm-smi（在较新的 ROCm 版本上也可用 amd-smi）检查 GPU，并用 rocminfo 列出设备。在 MI355X 服务器上，两者都应显示全部 8 张 GPU。为 ROCm 构建的容器通过 /dev/kfd 和 /dev/dri 设备访问 GPU，这两个设备通过 --device 参数传入。

停留在框架层面的代码通常无需修改即可迁移。自定义 CUDA 内核则需要用 HIP 移植。AMD ROCm 指南介绍了具体细节。

其他发行版、root 权限与系统重装

Debian 或 Rocky Linux 可应要求提供，适合工具链、安全加固基线或配置管理已经以其中某个发行版为目标的团队。请在给我们工程师的订单备注中写明所需的发行版，以及您希望镜像中包含哪些内容。

每个镜像都通过 SSH 为您提供 root 权限：在部署服务器时，您在订单表单中选择镜像和登录方式（SSH 密钥或 root 密码）。SSH 访问指南介绍了密钥和首次登录。在我们的可接受使用政策允许的范围内，您可以安装、升级或移除任何软件，包括更换驱动分支或容器运行时。

如果想从头开始或更换镜像，可以随时在控制台提交支持工单，申请重装系统。请先备份您需要的数据：除非另有书面约定，我们不备份本地存储。

免费预装软件

如果想从现成的应用而不是空白系统开始，可以在部署服务器时在订单表单中选择一款。交付前，我们的工程师会在您的镜像上完成安装和测试，不额外收费；随服务器提供的备注会说明打开方式。

• 模型推理与聊天：vLLM、SGLang、Ollama、Open WebUI（搭配 Ollama）、llama.cpp、Text Generation WebUI、Hugging Face Text Generation Inference 和 NVIDIA Triton Inference Server，以及用于构建智能体的 Langflow。
• 训练与微调：搭配 JupyterLab 的 PyTorch 或 TensorFlow、Unsloth 和 Axolotl。
• 图像与视频：ComfyUI、Stable Diffusion WebUI Forge、AUTOMATIC1111、InvokeAI、Fooocus、SwarmUI 和 Wan2GP，以及用于训练 LoRA 的 Kohya’s GUI、AI Toolkit 和 FluxGym。
• 笔记本、代码及其他：JupyterLab、code-server、Whisper、NVIDIA RAPIDS、Blender 和远程 Linux 桌面。

其中部分软件仅支持 NVIDIA GPU，订单表单只会显示适用于所选服务器的软件。软件安装后完全由您管理，可以自行更新、配置或卸载。

让您的软件栈可复现

• 通过标签或摘要（digest）固定框架容器的版本，而不要使用 latest。
• 在长时间训练期间锁定驱动软件包，例如使用 apt-mark hold，并在两次运行之间升级。
• 把您的配置步骤写进脚本或 Dockerfile，这样重装系统或配置第二台服务器时，都会执行同样的步骤。
• 每次实验都保存 nvidia-smi 的输出，以便将结果追溯到具体的驱动版本。
• 内核或驱动更新后，请重启并在开始长时间任务之前运行 nvidia-smi，而不是等任务失败之后才运行。

如果交付后有任何地方与预期不符，我们的工程师可以在驱动、容器和框架方面为您提供帮助，这是工程师上手协助的一部分。