收到服务器时，NVMe 数据盘已经挂载好了吗？

不一定。视订单而定，8 卡服务器的数据盘交付时可能尚未挂载，因此请用 lsblk 检查，并按照 NVMe 存储指南进行格式化和挂载。

单卡套餐是虚拟机吗？

是的。单卡套餐是整卡直通的独享虚拟机，8 卡服务器则是裸金属服务器。无论哪种情况，GPU 都只分配给您一人使用。

交付后可以更换操作系统吗？

可以。请在控制台的服务器页面申请重装系统，该操作会创建一个工单。请先把数据复制出来，因为我们不备份本地存储。

GPU 服务器快速入门：运行第一个工作负载

从服务器交付到运行第一个 GPU 任务，所需的每一步都在这里：登录、检查 GPU、更新系统、运行容器，并让任务在您断开连接后继续运行。

这份 GPU 服务器快速入门将带您从服务器交付开始，一直到在 GPU 上运行起第一个工作负载。它适用于所有 FullGPU 服务器：单卡套餐是整卡直通的独享虚拟机，8 卡服务器则是裸金属服务器。每一步最后都有一项检查，让您确认操作成功后再进入下一步。

交付内容

服务器就绪后，其 IP 地址和 SSH 登录信息会显示在您的控制台中。您可以使用下单时添加的公钥通过 SSH 访问服务器，并拥有完整的 root 权限。每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 配有 DDoS 防护。

我们的 Ubuntu 22.04 和 24.04 镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。AMD Instinct 服务器运行我们的 ROCm 镜像。如果您还没有提交公钥，请先阅读通过 SSH 连接 GPU 服务器。

通过 SSH 登录

在您的电脑上打开终端（Windows 上为 PowerShell），使用控制台中显示的 IP 地址和用户名进行连接。本站的示例使用 root 和文档专用地址 203.0.113.10：
```
ssh root@203.0.113.10
```
首次连接时，SSH 会请您确认主机密钥。输入 yes 即可。
检查操作系统：
```
cat /etc/os-release
```
您应该会看到所订购的 Ubuntu 版本。

本页的命令使用了 sudo，以 root 身份登录时同样适用。

确认每张 GPU 都可见

在 NVIDIA 服务器上：

nvidia-smi
nvidia-smi -L

您应该会看到每张 GPU 各占一行（单卡套餐为 1 行，8 卡服务器为 8 行），表头中显示驱动版本和“CUDA Version”。这里的 CUDA Version 是该驱动支持的最新 CUDA 版本，不一定是已安装的工具包版本。nvidia-smi -L 会列出每张 GPU 及其 UUID。

在 AMD Instinct MI355X 服务器上：

rocm-smi

您应该会看到 8 张 GPU。ROCm 配置指南介绍了 amd-smi、rocminfo 和用户组。无论在哪台服务器上，如果缺少某张 GPU，请记下是哪一张，并在开始工作之前在控制台提交工单。

更新系统

sudo apt update
sudo apt upgrade -y
[ -f /var/run/reboot-required ] && echo "Reboot required"

如果弹出对话框，询问如何处理已修改的配置文件，请保留当前已安装的版本。如果最后一条命令输出“Reboot required”，请运行 sudo reboot，等待几分钟后重新登录，再次运行 nvidia-smi。

凡是涉及 NVIDIA 驱动的更新，完成后一定要重启。在重启之前，nvidia-smi 可能会报“Driver/library version mismatch”错误，因为旧的内核模块仍处于加载状态。

在 GPU 上运行第一个容器

在 NVIDIA 服务器上，以下命令会启动一个普通的 Ubuntu 容器，并让它访问所有 GPU：

docker run --rm --gpus all ubuntu nvidia-smi

您应该会看到与主机上相同的表格。NVIDIA Container Toolkit 会把主机的驱动挂载到容器中，因此镜像本身无需包含驱动。如果以非 root 用户身份操作，请在 docker 前加上 sudo。

在 AMD 服务器上，则要改为传入 GPU 设备文件（如果您的镜像未包含 Docker，请先安装）：

docker run --rm --device=/dev/kfd --device=/dev/dri --group-add video \
  rocm/pytorch:latest \
  python3 -c "import torch; print(torch.cuda.device_count())"

它应输出 8。该镜像体积较大，首次拉取需要一些时间。Docker GPU 容器一文介绍了如何选择 GPU、如何使用 Docker Compose，以及如何为 PyTorch 配置共享内存。

用 tmux 让任务持续运行

在普通 SSH 会话中启动的进程，会在连接断开时停止。请在 tmux 中运行耗时较长的任务：

用 tmux new -s work 启动一个命名会话。如果系统中没有 tmux，请用 sudo apt install -y tmux 安装。
启动您的任务，例如 python3 train.py。
先按 Ctrl+B，再按 D，即可脱离会话。任务会在服务器上继续运行。
之后，用 tmux ls 列出会话，用 tmux attach -t work 重新接入。

凡是需要在重启后继续运行的程序（例如推理端点），都应改为以 systemd 服务的形式运行。用 vLLM 提供大语言模型（LLM）推理服务的指南中就包含一个示例。

故障排查

Permission denied (publickey). SSH 没有提供正确的密钥，或者用户名有误。请用 ssh -i ~/.ssh/id_ed25519 root@203.0.113.10 指定您的密钥，并核对控制台中显示的用户名。
更新后 nvidia-smi 运行失败。请先重启。如果仍然失败，请收集 sudo dmesg | grep -i nvidia 的输出，并在控制台提交工单时附上。
could not select device driver "" with capabilities: [[gpu]]. Docker 尚未针对 NVIDIA 运行时进行配置。请运行 sudo nvidia-ctk runtime configure --runtime=docker，然后运行 sudo systemctl restart docker。

后续步骤

挂载 NVMe 数据盘。在 8 卡服务器上，视订单而定，数据盘交付时可能尚未挂载。
配置防火墙，然后再向互联网开放任何服务。
连接 VS Code 或 Jupyter，在您的笔记本电脑上远程使用服务器。

在任何一步遇到问题？我们的工程师 7×24 小时为您解答：请在控制台提交工单。