GPU 服务器基础设施

我们的 GPU 服务器基础设施，专为运行数周而非数分钟的工作打造。每台服务器要么是裸金属机器，要么是整卡直通的独享虚拟机，均托管在专业数据中心，并全天候监控。本页介绍我们部署的硬件、每台服务器如何均衡配置、如何接入网络，以及我们如何保障其持续运行。

我们部署的硬件

我们专注于当前一代的 AI 训练、推理和渲染加速器，提供三种形态。

8 卡裸金属服务器

配备 8 张 GPU 的 NVIDIA HGX B300、B200、H200 和 H100，AMD Instinct MI355X，以及 RTX PRO 6000 Blackwell 服务器。根据 NVIDIA 公布的规格，HGX 基板上的 8 张 SXM GPU 通过 NVLink 互联，Blackwell 每张 GPU 的带宽为 1.8 TB/s，Hopper 为 900 GB/s。MI355X 平台通过 AMD Infinity Fabric 连接其 8 张 GPU，RTX PRO 6000 则是不支持 NVLink 的 PCIe Gen5 显卡。完整产品线请参阅我们的 8 卡服务器。

单卡服务器

整卡直通的独享虚拟机：B300、B200、H200、H100 SXM、RTX PRO 6000 Blackwell、L40S 或 GeForce RTX 5090。您可以使用这张 GPU 的全部显存和算力，每台单卡服务器的 vCPU、内存和 NVMe 均已明确列出。

机架级系统，按申请供货

对于前沿规模的训练，NVIDIA GB300 NVL72 机架将 72 张 Blackwell Ultra GPU 连接在同一个 NVLink 域中，采用液冷，租期为 12 至 36 个月。Vera Rubin NVL72 已开放预订。两者都通过部署页面上的预订申请订购：提交申请时不收取任何费用，我们的团队会先以书面形式确认资源分配、价格、期限、位置和交付时间窗口，再由您接受并从余额中付款；详见机架级系统。

每台服务器都会安装我们的一款操作系统镜像：预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04，适用于 AMD 的 ROCm 镜像，以及可应要求提供的 Debian 或 Rocky Linux。

均衡配置的服务器，而不只是 GPU

再快的 GPU，也要等待它周围的一切。数据加载器需要 CPU 核心，数据集缓存需要内存，检查点需要高速本地磁盘。我们为每台服务器的其余部分确定合适的规格，确保 GPU 始终有充足的数据供给。

单卡服务器也按同样的思路配置：从配备 RTX 5090 的 16 个 vCPU、64 GB 内存和 1 TB NVMe，到配备 B300 的 28 个 vCPU、384 GB 内存和 3.5 TB NVMe。本地 NVMe 是存放数据集和检查点的高速工作存储。除非另有书面约定，我们不会对其进行备份，因此请为任何无法重新生成的数据保留副本。

网络与带宽

每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 均配有 DDoS 防护。

• 单卡服务器：B300、B200、H200 和 H100 为 25 Gbps；RTX PRO 6000、L40S 和 RTX 5090 为 10 Gbps。
• 8 卡服务器：HGX B300 配备 8 块 800G ConnectX-8 网卡；HGX B200、H200 和 H100 配备 8 块 400G ConnectX-7 网卡；MI355X 配备 8 块 400G RoCE 网卡；RTX PRO 6000 服务器配备 2 个 100 GbE 端口。
• 私有网络：可应要求在您的服务器之间开通，内部流量因此无需经过公网接口。

流量已包含在内，不收取出站流量费：单卡套餐每月 20 TB，8 卡服务器每月 50 TB，遵循合理使用原则，且入站流量不计算在内。我们的带宽与出站流量指南介绍了流量额度的计算方式。计划跨多台服务器训练？多台 8 卡服务器可以通过私有网络互联，一个 GB300 NVL72 机架则为您提供一个 72 卡 NVLink 域。

数据中心 GPU 服务器，位置以书面形式告知

我们的数据中心 GPU 服务器运行在专业数据中心，而不是点对点主机上。自交付起，每台服务器的位置都会显示在您的控制台中。如果您需要遵守数据驻留规定，或希望服务器靠近您的用户，请在订单备注中注明所需的国家或地区；如果无法满足该要求，您可以在交付前取消订单并获得全额退款。

我们如何运维 GPU 服务器基础设施

我们全天候监控每台服务器，关注 GPU 健康状况、温度和链路。发生故障的 GPU 和组件会被优先更换；如果维修无法迅速完成，我们会在有可用设备时提供一台同等配置的服务器。

我们的服务等级协议承诺每台服务器的电力、网络和硬件月度可用性达到 99.9%。如果未达到，您可以按该服务器的月费申请赔偿额度，赔偿额度将计入您的账户余额；如果您的服务已终止，则予以退款：

• 低于 99.9% 10% 的赔偿额度
• 低于 99.5% 25% 的赔偿额度
• 低于 99.0% 50% 的赔偿额度
• 低于 95.0% 100% 的赔偿额度

每次更换客户时，磁盘都会被安全擦除。您最后一个已付费月份结束时，服务器将被停用，其磁盘会在硬件再次投入使用之前被擦除，因此您的数据绝不会落到下一位租户手中。