文档
GPU 服务器文档
从首次 SSH 登录到多 GPU 训练的分步指南：驱动与 CUDA、ROCm、Docker、vLLM、NCCL、监控、存储和防火墙。
立即开始
4 篇指南- GPU 服务器快速入门GPU 服务器快速入门，适用于新交付的 FullGPU 服务器：通过 SSH 登录、检查各张 GPU、更新 Ubuntu 系统，再运行第一个 GPU 容器，每一步都附有检查方法。
- 通过 SSH 连接 GPU 服务器如何通过 SSH 连接 GPU 服务器：在 macOS、Linux 或 Windows 上创建 ed25519 密钥，连接服务器，添加团队成员，并禁用密码登录。步骤可直接复制。
- 在 GPU 服务器上使用 VS Code Remote SSH 和 Jupyter在您的 GPU 服务器上使用 VS Code Remote SSH，通过 SSH 隧道在远程 GPU 上运行 Jupyter，并用 rsync 和 scp 传输数据。采用安全的默认设置，分步讲解。
- 预装 CUDA 的 Ubuntu GPU 镜像了解我们预装 CUDA 的 Ubuntu GPU 镜像包含哪些内容，如何查看驱动和 CUDA 工具包版本、在 22.04 与 24.04 之间做出选择，以及如何安全地锁定驱动版本。
GPU 软件
6 篇指南- 在 Ubuntu 上查看 CUDA 版本和 NVIDIA 驱动
用 nvidia-smi 和 nvcc 查看 NVIDIA 驱动与 CUDA 版本，了解两者的版本必须如何对应，并在 Ubuntu 24.04 上加装一个 CUDA 工具包，而无需安装新的驱动。 - 在 AMD Instinct MI355X 上配置 ROCm
AMD Instinct MI355X 服务器的 ROCm 配置方法：用 rocm-smi 和amd-smi 检查 GPU，设置用户组，在 ROCm 容器中运行 PyTorch 和 vLLM，并测试 RCCL 多卡通信。 - 使用 NVIDIA Container Toolkit 运行 Docker GPU 容器NVIDIA Container Toolkit 的 Docker GPU 指南：使用 --gpus 参数、选择设备、在 Compose 中预留 GPU、解决 PyTorch 共享内存不足问题，并运行 ROCm 容器。
- 使用 vLLM 部署 LLM 推理服务在您的 GPU 服务器上用 vLLM 部署 LLM 推理服务：用 uv 配置 Python 环境，安装 PyTorch 和 vLLM，测试兼容 OpenAI 的 API，再将其作为系统服务长期运行。
- 在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南
在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests ，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。 用于监控 GPU 服务器的 nvidia-smi 命令用 nvidia-smi 命令在 Linux 上监控 GPU 使用率：实时查看、CSV 日志、nvtop、DCGM exporter、ECC 与 Xid 错误，以及 AMD 平台上rocm-smi 的对应命令。