GPU 服务器配置协助，由我们的工程师提供

GPU 服务器配置协助是每台 FullGPU 服务器的标配。作为 7×24 小时支持的一部分，我们的工程师会在交付后帮您检查服务器，并协助您把环境和数据准备就绪，不额外收费；下单前，我们的计算器和指南可以帮您确定服务器规格。这是协助和建议：您保留完整的 root 权限和完全的控制权，我们不会替您运行工作负载。

GPU 服务器配置协助包括哪些内容

上手协助涵盖三个阶段：下单前、服务器交付时，以及您把工作迁移过来的过程中。下单前，帮助中心、文档、GPU 页面和计算器可以解答选型问题；服务器交付后，工程师会通过您控制台中的支持工单随时提供帮助。

下单前选型

大部分成本在您选择 GPU 时就已确定。下单前，请先弄清：

• 模型、它的参数量，以及您计划使用的精度；
• 您要做的是训练、微调还是推理服务；如果是推理服务，还要明确预期的上下文长度和并发量；
• 数据集的大小，以及您需要这些算力多长时间。

显存计算器会把这些信息换算成显存估算值，每个 GPU 页面也列出了能装下哪些模型。一个典型结果：70B 模型在 FP8 精度下约需 70 GB，因此一张 H100 只能勉强装下，一张 H200 则绰绰有余。在 BF16 精度下约需 140 GB，H200 只能勉强装下，B200 或 B300 则绰绰有余。这些数字只包括权重；还要加上 KV 缓存，并预留 10–30% 的余量。使用 Adam 优化器做全参数微调时，不计激活值，每个参数大约需要 16–20 字节，因此 70B 模型就成了多 GPU 任务。部署时，请在给我们工程师的备注中描述您的工作负载。

交付后的首次启动检查

服务器交付、IP 地址和 SSH 登录信息出现在您的控制台中之后，请在正式开始工作前先做几项检查。我们会帮您解读输出结果。

nvidia-smi
nvidia-smi topo -m
docker run --rm --gpus all ubuntu nvidia-smi

第一条命令确认每一张 GPU 都可见，且显存完整。第二条显示 GPU 互联情况；在 HGX 服务器上，即全部 8 张 GPU 之间的 NVLink。第三条确认容器能够访问 GPU。

在 8 卡服务器上，NCCL all-reduce 测试会让互联链路承受负载。请编译 NVIDIA 的 nccl-tests，然后运行，例如：

./build/all_reduce_perf -b 8 -e 8G -f 2 -g 8

如果少了某张 GPU，或总线带宽明显偏低，请在支持工单中把输出发给我们。硬件故障由我们负责修复：发生故障的 GPU 和组件会被优先更换。在 AMD MI355X 服务器上，对应的工具是 rocm-smi 和 RCCL 测试。多 GPU 与 NCCL 指南对这些测试有更详细的介绍。

环境与数据迁移建议

关于镜像与您的代码之间这一层的问题，请提交支持工单：

• 驱动与 CUDA。您的框架需要哪个驱动分支，以及容器的 CUDA 版本是否与主机驱动匹配。
• 容器。使用 Docker 和 NVIDIA Container Toolkit 运行的 GPU 容器，或 AMD 上的 ROCm 容器。
• 框架。让 PyTorch、vLLM、SGLang 或 TensorRT-LLM 用上每一张 GPU，以及对多 GPU 运行至关重要的设置。

在数据迁移方面，我们会就如何从其他服务商或您之前的 FullGPU 服务器迁移数据集、检查点和模型权重提供建议：目录通过 SSH 用 rsync 传输，大规模传输使用并行流，删除源数据之前先核对校验和。入站流量不计入额度，因此上传到新服务器不会占用您所含的流量。如果您当前的服务商对出站流量收费，请为对方那一侧的这笔费用做好预算。我们的 PyTorch 与 vLLM 指南和操作系统镜像页面介绍了软件方面的内容。

GPU 上手协助不包括哪些内容

上手协助是协助和建议，而不是代运维服务。我们不会：

• 运行、监控或重启您的训练任务或推理服务；
• 维护您的应用代码、模型或容器；
• 备份您的数据，除非另有书面约定；
• 访问您的数据，除非是为应您的要求运营或维修服务，或法律有此要求。

我们负责的是基础设施：电力、网络和硬件，由附带服务赔偿额度的 99.9% 月度可用性 SLA（服务等级协议）保障，背后还有 7×24 小时的支持。如果某张 GPU 发生故障，由我们负责修复。您的工作负载仍由您自己运行。

如何获得配置协助

下单前，您可以在帮助中心、文档、GPU 页面和计算器中找到答案；下单时，可以在给我们工程师的备注中描述您的工作负载；服务器交付后，请在控制台提交支持工单，工程师会随时答复。请写明是哪台服务器、您想要完成什么，并附上相关的命令输出。无需另付费用，也无需预约。我们的获取支持页面说明了申请中应包含哪些信息。