# GPU 服务器文档

> 连接 FullGPU 服务器并运行工作负载的指南：SSH、驱动与 CUDA、ROCm、Docker、vLLM、NCCL、监控、存储和防火墙。

来源：https://fullgpu.com/zh/docs  
发布方：FullGPU (https://fullgpu.com/)

## 立即开始

- [GPU 服务器快速入门](https://fullgpu.com/zh/docs/quickstart): GPU 服务器快速入门，适用于新交付的 FullGPU 服务器：通过 SSH 登录、检查各张 GPU、更新 Ubuntu 系统，再运行第一个 GPU 容器，每一步都附有检查方法。
- [通过 SSH 连接 GPU 服务器](https://fullgpu.com/zh/docs/ssh-access): 如何通过 SSH 连接 GPU 服务器：在 macOS、Linux 或 Windows 上创建 ed25519 密钥，连接服务器，添加团队成员，并禁用密码登录。步骤可直接复制。
- [在 GPU 服务器上使用 VS Code Remote SSH 和 Jupyter](https://fullgpu.com/zh/docs/remote-development): 在您的 GPU 服务器上使用 VS Code Remote SSH，通过 SSH 隧道在远程 GPU 上运行 Jupyter，并用 rsync 和 scp 传输数据。采用安全的默认设置，分步讲解。
- [预装 CUDA 的 Ubuntu GPU 镜像](https://fullgpu.com/zh/docs/os-images): 了解我们预装 CUDA 的 Ubuntu GPU 镜像包含哪些内容，如何查看驱动和 CUDA 工具包版本、在 22.04 与 24.04 之间做出选择，以及如何安全地锁定驱动版本。

## GPU 软件

- [在 Ubuntu 上查看 CUDA 版本和 NVIDIA 驱动](https://fullgpu.com/zh/docs/nvidia-drivers-cuda): 用 nvidia-smi 和 nvcc 查看 NVIDIA 驱动与 CUDA 版本，了解两者的版本必须如何对应，并在 Ubuntu 24.04 上加装一个 CUDA 工具包，而无需安装新的驱动。
- [在 AMD Instinct MI355X 上配置 ROCm](https://fullgpu.com/zh/docs/amd-rocm): AMD Instinct MI355X 服务器的 ROCm 配置方法：用 rocm-smi 和 amd-smi 检查 GPU，设置用户组，在 ROCm 容器中运行 PyTorch 和 vLLM，并测试 RCCL 多卡通信。
- [使用 NVIDIA Container Toolkit 运行 Docker GPU 容器](https://fullgpu.com/zh/docs/docker-containers): NVIDIA Container Toolkit 的 Docker GPU 指南：使用 --gpus 参数、选择设备、在 Compose 中预留 GPU、解决 PyTorch 共享内存不足问题，并运行 ROCm 容器。
- [使用 vLLM 部署 LLM 推理服务](https://fullgpu.com/zh/docs/pytorch-vllm): 在您的 GPU 服务器上用 vLLM 部署 LLM 推理服务：用 uv 配置 Python 环境，安装 PyTorch 和 vLLM，测试兼容 OpenAI 的 API，再将其作为系统服务长期运行。
- [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。
- [用于监控 GPU 服务器的 nvidia-smi 命令](https://fullgpu.com/zh/docs/gpu-monitoring): 用 nvidia-smi 命令在 Linux 上监控 GPU 使用率：实时查看、CSV 日志、nvtop、DCGM exporter、ECC 与 Xid 错误，以及 AMD 平台上 rocm-smi 的对应命令。

## 服务器设置

- [在 Ubuntu 上挂载 NVMe 硬盘](https://fullgpu.com/zh/docs/storage-nvme): 如何在 Ubuntu 上挂载 NVMe 硬盘：用 lsblk 找到这些硬盘，格式化后按 UUID 写入 fstab，或用 mdadm 组建 NVMe RAID 0，另附硬盘健康检查与数据备份方法。
- [GPU 服务器防火墙配置](https://fullgpu.com/zh/docs/networking-firewall): GPU 服务器防火墙配置指南：用 ufw 先放行 SSH 再启用防火墙，同时过滤 IPv6，避开 Docker 发布端口绕过 ufw 的陷阱，并用 TLS 和 API 密钥保护 vLLM 推理端点。