# GPU 服务器快速入门

> GPU 服务器快速入门，适用于新交付的 FullGPU 服务器：通过 SSH 登录、检查各张 GPU、更新 Ubuntu 系统，再运行第一个 GPU 容器，每一步都附有检查方法。

来源：https://fullgpu.com/zh/docs/quickstart  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

这份 GPU 服务器快速入门将带您从服务器交付开始，一直到在 GPU 上运行起第一个工作负载。它适用于所有 FullGPU 服务器：单卡套餐是整卡直通的独享虚拟机，8 卡服务器则是裸金属服务器。每一步最后都有一项检查，让您确认操作成功后再进入下一步。

## 交付内容

服务器就绪后，其 IP 地址和 SSH 登录信息会显示在您的控制台中。您可以使用下单时添加的公钥通过 SSH 访问服务器，并拥有完整的 root 权限。每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 配有 DDoS 防护。

我们的 Ubuntu 22.04 和 24.04 镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。AMD Instinct 服务器运行我们的 ROCm 镜像。如果您还没有提交公钥，请先阅读[通过 SSH 连接 GPU 服务器](https://fullgpu.com/zh/docs/ssh-access)。

## 通过 SSH 登录

1. 在您的电脑上打开终端（Windows 上为 PowerShell），使用控制台中显示的 IP 地址和用户名进行连接。本站的示例使用 `root` 和文档专用地址 `203.0.113.10`： `ssh root@203.0.113.10`
2. 首次连接时，SSH 会请您确认主机密钥。输入 `yes` 即可。
3. 检查操作系统： `cat /etc/os-release` 您应该会看到所订购的 Ubuntu 版本。

本页的命令使用了 `sudo`，以 root 身份登录时同样适用。

## 确认每张 GPU 都可见

在 NVIDIA 服务器上：

```
nvidia-smi
nvidia-smi -L
```

您应该会看到每张 GPU 各占一行（单卡套餐为 1 行，8 卡服务器为 8 行），表头中显示驱动版本和“CUDA Version”。这里的 CUDA Version 是该驱动支持的最新 CUDA 版本，不一定是已安装的工具包版本。`nvidia-smi -L` 会列出每张 GPU 及其 UUID。

在 AMD Instinct MI355X 服务器上：

```
rocm-smi
```

您应该会看到 8 张 GPU。[ROCm 配置指南](https://fullgpu.com/zh/docs/amd-rocm)介绍了 amd-smi、rocminfo 和用户组。无论在哪台服务器上，如果缺少某张 GPU，请记下是哪一张，并在开始工作之前在控制台提交工单。

## 更新系统

```
sudo apt update
sudo apt upgrade -y
[ -f /var/run/reboot-required ] && echo "Reboot required"
```

如果弹出对话框，询问如何处理已修改的配置文件，请保留当前已安装的版本。如果最后一条命令输出“Reboot required”，请运行 `sudo reboot`，等待几分钟后重新登录，再次运行 `nvidia-smi`。

凡是涉及 NVIDIA 驱动的更新，完成后一定要重启。在重启之前，nvidia-smi 可能会报“Driver/library version mismatch”错误，因为旧的内核模块仍处于加载状态。

## 在 GPU 上运行第一个容器

在 NVIDIA 服务器上，以下命令会启动一个普通的 Ubuntu 容器，并让它访问所有 GPU：

```
docker run --rm --gpus all ubuntu nvidia-smi
```

您应该会看到与主机上相同的表格。NVIDIA Container Toolkit 会把主机的驱动挂载到容器中，因此镜像本身无需包含驱动。如果以非 root 用户身份操作，请在 `docker` 前加上 `sudo`。

在 AMD 服务器上，则要改为传入 GPU 设备文件（如果您的镜像未包含 Docker，请先安装）：

```
docker run --rm --device=/dev/kfd --device=/dev/dri --group-add video \
  rocm/pytorch:latest \
  python3 -c "import torch; print(torch.cuda.device_count())"
```

它应输出 `8`。该镜像体积较大，首次拉取需要一些时间。[Docker GPU 容器](https://fullgpu.com/zh/docs/docker-containers)一文介绍了如何选择 GPU、如何使用 Docker Compose，以及如何为 PyTorch 配置共享内存。

## 用 tmux 让任务持续运行

在普通 SSH 会话中启动的进程，会在连接断开时停止。请在 tmux 中运行耗时较长的任务：

1. 用 `tmux new -s work` 启动一个命名会话。如果系统中没有 tmux，请用 `sudo apt install -y tmux` 安装。
2. 启动您的任务，例如 `python3 train.py`。
3. 先按 Ctrl+B，再按 D，即可脱离会话。任务会在服务器上继续运行。
4. 之后，用 `tmux ls` 列出会话，用 `tmux attach -t work` 重新接入。

凡是需要在重启后继续运行的程序（例如推理端点），都应改为以 systemd 服务的形式运行。[用 vLLM 提供大语言模型（LLM）推理服务](https://fullgpu.com/zh/docs/pytorch-vllm)的指南中就包含一个示例。

## 故障排查

- **Permission denied (publickey).** SSH 没有提供正确的密钥，或者用户名有误。请用 `ssh -i ~/.ssh/id_ed25519 root@203.0.113.10` 指定您的密钥，并核对控制台中显示的用户名。
- **更新后 nvidia-smi 运行失败。**请先重启。如果仍然失败，请收集 `sudo dmesg | grep -i nvidia` 的输出，并在控制台提交工单时附上。
- **could not select device driver "" with capabilities: [[gpu]].** Docker 尚未针对 NVIDIA 运行时进行配置。请运行 `sudo nvidia-ctk runtime configure --runtime=docker`，然后运行 `sudo systemctl restart docker`。

## 后续步骤

- [挂载 NVMe 数据盘](https://fullgpu.com/zh/docs/storage-nvme)。在 8 卡服务器上，视订单而定，数据盘交付时可能尚未挂载。
- [配置防火墙](https://fullgpu.com/zh/docs/networking-firewall)，然后再向互联网开放任何服务。
- [连接 VS Code 或 Jupyter](https://fullgpu.com/zh/docs/remote-development)，在您的笔记本电脑上远程使用服务器。

在任何一步遇到问题？我们的工程师 7×24 小时为您解答：请在控制台[提交工单](https://fullgpu.com/zh/help/getting-support)。

## 常见问题

### 收到服务器时，NVMe 数据盘已经挂载好了吗？

不一定。视订单而定，8 卡服务器的数据盘交付时可能尚未挂载，因此请用 lsblk 检查，并按照 NVMe 存储指南进行格式化和挂载。

### 单卡套餐是虚拟机吗？

是的。单卡套餐是整卡直通的独享虚拟机，8 卡服务器则是裸金属服务器。无论哪种情况，GPU 都只分配给您一人使用。

### 交付后可以更换操作系统吗？

可以。请在控制台的服务器页面申请重装系统，该操作会创建一个工单。请先把数据复制出来，因为我们不备份本地存储。

## 相关页面

- [在 Ubuntu 上查看 CUDA 版本和 NVIDIA 驱动](https://fullgpu.com/zh/docs/nvidia-drivers-cuda): 用 nvidia-smi 和 nvcc 查看 NVIDIA 驱动与 CUDA 版本，了解两者的版本必须如何对应，并在 Ubuntu 24.04 上加装一个 CUDA 工具包，而无需安装新的驱动。
- [预装 CUDA 的 Ubuntu GPU 镜像](https://fullgpu.com/zh/docs/os-images): 了解我们预装 CUDA 的 Ubuntu GPU 镜像包含哪些内容，如何查看驱动和 CUDA 工具包版本、在 22.04 与 24.04 之间做出选择，以及如何安全地锁定驱动版本。
- [用于监控 GPU 服务器的 nvidia-smi 命令](https://fullgpu.com/zh/docs/gpu-monitoring): 用 nvidia-smi 命令在 Linux 上监控 GPU 使用率：实时查看、CSV 日志、nvtop、DCGM exporter、ECC 与 Xid 错误，以及 AMD 平台上 rocm-smi 的对应命令。
- [GPU 服务器多久能交付](https://fullgpu.com/zh/help/delivery-and-provisioning): 租用 GPU 服务器要等多久？现货最快 1 个工作日内交付，交付时间自付款起按工作日计算，承诺交付日期会在您付款前显示。未按期交付？可取消订单并全额退款。