# GPU 服务器基础设施 > 我们的 GPU 服务器基础设施：从 HGX B300 到 H100，以及 AMD MI355X 和 RTX PRO 6000 服务器，部署在专业数据中心，7×24 小时监控。查看各服务器的详细规格。 来源：https://fullgpu.com/zh/infrastructure 更新日期：2026-10-23 发布方：FullGPU (https://fullgpu.com/) ## 要点 - **全天候监控:** 7×24 小时监控 GPU 健康状况、温度和链路，故障部件会被优先更换。 - **99.9% 可用性 SLA:** 涵盖电力、网络和硬件，服务赔偿额度最高可达月费的 100%。 - **高速网络:** 每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，HGX 服务器配备 400G 或 800G 网卡。 - **DDoS 防护:** 每个公网 IP 地址都有防护，root 访问可使用 SSH 密钥或密码。 - **本地 NVMe:** 每台服务器都配有本地 NVMe，从单卡套餐的 1 TB，到 HGX 和 MI355X 服务器的 8 块 3.84 TB 硬盘。 - **安全擦除:** 每次更换客户时，磁盘都会被安全擦除，因此您的数据绝不会落到下一位租户手中。 ## 推荐配置 - [8× NVIDIA HGX B300](https://fullgpu.com/zh/gpus/nvidia-b300): 每月 US$39,900 — 8× 288 GB HBM3e 和 8 块 800G 网卡，适合大规模训练 - [NVIDIA H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$3,090 — 单张 GPU 配备 141 GB HBM3e，网络带宽 25 Gbps - [8× NVIDIA RTX PRO 6000 Blackwell](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000): 每月 US$10,490 — 8 张 GPU 共 768 GB GDDR7，适合推理和渲染 ## 概览 我们的 GPU 服务器基础设施，专为运行数周而非数分钟的工作打造。每台服务器要么是裸金属机器，要么是整卡直通的独享虚拟机，均托管在专业数据中心，并全天候监控。本页介绍我们部署的硬件、每台服务器如何均衡配置、如何接入网络，以及我们如何保障其持续运行。 ## 我们部署的硬件 我们专注于当前一代的 AI 训练、推理和渲染加速器，提供三种形态。 ### 8 卡裸金属服务器 配备 8 张 GPU 的 NVIDIA HGX B300、B200、H200 和 H100，AMD Instinct MI355X，以及 RTX PRO 6000 Blackwell 服务器。根据 NVIDIA 公布的规格，HGX 基板上的 8 张 SXM GPU 通过 NVLink 互联，Blackwell 每张 GPU 的带宽为 1.8 TB/s，Hopper 为 900 GB/s。MI355X 平台通过 AMD Infinity Fabric 连接其 8 张 GPU，RTX PRO 6000 则是不支持 NVLink 的 PCIe Gen5 显卡。完整产品线请参阅我们的 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)。 ### 单卡服务器 整卡直通的独享虚拟机：B300、B200、H200、H100 SXM、RTX PRO 6000 Blackwell、L40S 或 GeForce RTX 5090。您可以使用这张 GPU 的全部显存和算力，每台[单卡服务器](https://fullgpu.com/zh/products/single-gpu-servers)的 vCPU、内存和 NVMe 均已明确列出。 ### 机架级系统，按申请供货 对于前沿规模的训练，NVIDIA GB300 NVL72 机架将 72 张 Blackwell Ultra GPU 连接在同一个 NVLink 域中，采用液冷，租期为 12 至 36 个月。Vera Rubin NVL72 已开放预订。两者都通过[部署页面](https://fullgpu.com/zh/deploy)上的预订申请订购：提交申请时不收取任何费用，我们的团队会先以书面形式确认资源分配、价格、期限、位置和交付时间窗口，再由您接受并从余额中付款；详见[机架级系统](https://fullgpu.com/zh/products/rack-scale-systems)。 每台服务器都会安装我们的一款[操作系统镜像](https://fullgpu.com/zh/products/os-images)：预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04，适用于 AMD 的 ROCm 镜像，以及可应要求提供的 Debian 或 Rocky Linux。 ## 均衡配置的服务器，而不只是 GPU 再快的 GPU，也要等待它周围的一切。数据加载器需要 CPU 核心，数据集缓存需要内存，检查点需要高速本地磁盘。我们为每台服务器的其余部分确定合适的规格，确保 GPU 始终有充足的数据供给。 | 8 卡服务器 | CPU | 内存 | NVMe | 网络 | | --- | --- | --- | --- | --- | | NVIDIA HGX B300 | 2× Xeon 6776P，128 核 | 4 TB DDR5 | 8× 3.84 TB | 8× 800G ConnectX-8 | | NVIDIA HGX B200 | 2× Xeon 8570，112 核 | 2 TB DDR5 | 8× 3.84 TB | 8× 400G ConnectX-7 | | NVIDIA HGX H200 | 2× Xeon 8480+，112 核 | 2 TB DDR5 | 8× 3.84 TB | 8× 400G ConnectX-7 | | NVIDIA HGX H100 | 2× Xeon 8480+，112 核 | 2 TB DDR5 | 8× 3.84 TB | 8× 400G ConnectX-7 | | AMD Instinct MI355X | 2× EPYC 9575F，128 核 | 3 TB DDR5 | 8× 3.84 TB | 8× 400G RoCE | | NVIDIA RTX PRO 6000 Blackwell | 2× EPYC 9555，128 核 | 1.5 TB DDR5 | 4× 3.84 TB | 2× 100 GbE | 单卡服务器也按同样的思路配置：从配备 RTX 5090 的 16 个 vCPU、64 GB 内存和 1 TB NVMe，到配备 B300 的 28 个 vCPU、384 GB 内存和 3.5 TB NVMe。本地 NVMe 是存放数据集和检查点的高速工作存储。除非另有书面约定，我们不会对其进行备份，因此请为任何无法重新生成的数据保留副本。 ## 网络与带宽 每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 均配有 DDoS 防护。 - **单卡服务器：**B300、B200、H200 和 H100 为 25 Gbps；RTX PRO 6000、L40S 和 RTX 5090 为 10 Gbps。 - **8 卡服务器：**HGX B300 配备 8 块 800G ConnectX-8 网卡；HGX B200、H200 和 H100 配备 8 块 400G ConnectX-7 网卡；MI355X 配备 8 块 400G RoCE 网卡；RTX PRO 6000 服务器配备 2 个 100 GbE 端口。 - **私有网络：**可应要求在您的服务器之间开通，内部流量因此无需经过公网接口。 流量已包含在内，不收取出站流量费：单卡套餐每月 20 TB，8 卡服务器每月 50 TB，遵循合理使用原则，且入站流量不计算在内。我们的[带宽与出站流量指南](https://fullgpu.com/zh/help/bandwidth-and-egress)介绍了流量额度的计算方式。计划跨多台服务器训练？多台 8 卡服务器可以通过[私有网络](https://fullgpu.com/zh/products/private-networking)互联，一个 [GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 机架则为您提供一个 72 卡 NVLink 域。 ## 数据中心 GPU 服务器，位置以书面形式告知 我们的数据中心 GPU 服务器运行在专业数据中心，而不是点对点主机上。自交付起，每台服务器的位置都会显示在您的控制台中。如果您需要遵守数据驻留规定，或希望服务器靠近您的用户，请在订单备注中注明所需的国家或地区；如果无法满足该要求，您可以在交付前取消订单并获得全额退款。 ## 我们如何运维 GPU 服务器基础设施 我们全天候监控每台服务器，关注 GPU 健康状况、温度和链路。发生故障的 GPU 和组件会被优先更换；如果维修无法迅速完成，我们会在有可用设备时提供一台同等配置的服务器。 我们的[服务等级协议](https://fullgpu.com/zh/legal/sla)承诺每台服务器的电力、网络和硬件月度可用性达到 99.9%。如果未达到，您可以按该服务器的月费申请赔偿额度，赔偿额度将计入您的账户余额；如果您的服务已终止，则予以退款： - **低于 99.9%:** 10% 的赔偿额度 - **低于 99.5%:** 25% 的赔偿额度 - **低于 99.0%:** 50% 的赔偿额度 - **低于 95.0%:** 100% 的赔偿额度 每次更换客户时，磁盘都会被安全擦除。您最后一个已付费月份结束时，服务器将被停用，其磁盘会在硬件再次投入使用之前被擦除，因此您的数据绝不会落到下一位租户手中。 ## 常见问题 ### FullGPU 的数据中心位于哪里？ 我们的服务器运行在专业数据中心。自交付起，每台服务器的位置都会显示在您的控制台中。如果您需要特定的国家或地区，请在订单备注中注明；如果无法满足该要求，您可以在交付前取消订单并获得全额退款。 ### 8 卡服务器是裸金属吗？ 是的。每台 8 卡服务器都是裸金属机器，并通过 SSH 提供 root 权限。单卡套餐是整卡直通的独享虚拟机。 ### 每台服务器的网络速率是多少？ 单卡服务器中，B300、B200、H200 和 H100 为 25 Gbps，RTX PRO 6000、L40S 和 RTX 5090 为 10 Gbps。HGX 服务器配备 8 块 400G 或 800G 网卡，每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段。 ### GPU 发生故障怎么办？ 发生故障的 GPU 和组件会被优先更换。如果维修无法迅速完成，我们会在有可用设备时提供一台同等配置的服务器；硬件故障造成的停机时间，会计入我们 99.9% 可用性承诺的考核。 ### 我可以通过私有网络连接我的服务器吗？ 可以。您的服务器之间可应要求开通私有网络。 ### 计划维护算作停机时间吗？ 不算。根据我们的 SLA，至少提前 48 小时公告的计划维护不计入停机时间，由您自己的软件或配置导致的问题也同样不计入。 ## 相关页面 - [8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct](https://fullgpu.com/zh/products/8-gpu-servers): 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，付款后 10 分钟内交付。 - [单卡 GPU 服务器租用：独享虚拟机中的整张 GPU](https://fullgpu.com/zh/products/single-gpu-servers): 单卡 GPU 服务器租用：一整张 GPU，运行在您独享的云虚拟机中，型号从 RTX 5090 到 B300 可选。提供 root 权限，每月含 20 TB 流量，按月计费，付款后 10 分钟内交付。 - [GPU 服务器之间的私有网络](https://fullgpu.com/zh/products/private-networking): GPU 服务器之间的私有网络，可应要求开通：将您租用的各台 FullGPU 服务器连接到同一个隔离网络中，用于数据流水线和多节点任务。了解私有网络的运作方式。 - [服务等级协议](https://fullgpu.com/zh/legal/sla): 99.9% 月度可用性，服务赔偿额度最高可达月费的 100%。 - [信任与安全](https://fullgpu.com/zh/trust): FullGPU 的信任与安全：整卡独享，GPU 上没有其他租户；通过 SSH 密钥或密码获得 root 权限，磁盘安全擦除，DDoS 防护，以及适度、相称的审核。了解具体做法。 - [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。