# GPU 服务器之间的私有网络

> GPU 服务器之间的私有网络，可应要求开通：将您租用的各台 FullGPU 服务器连接到同一个隔离网络中，用于数据流水线和多节点任务。了解私有网络的运作方式。

来源：https://fullgpu.com/zh/products/private-networking  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

## 要点

- **仅限您自己的服务器:** 私有网络上只有您自己的服务器，并与每台服务器的公网接口相互隔离。
- **由我们的团队配置:** 在订单备注中提出，或在控制台提交工单申请。我们的工程师会完成配置，并把详细信息发送给您。
- **数据流水线:** 通过私有地址在您的服务器之间传输数据集、检查点和嵌入向量。
- **多节点任务:** 将训练节点与用于评测或推理服务的机器相连，或把分布式任务分散到多台服务器上运行。
- **内部服务只对内开放:** 将数据库、队列、监控指标和内部 API 绑定到私有地址，公网一侧则由防火墙保护。

## 推荐配置

- [8× NVIDIA HGX H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$23,900 — 8 卡训练节点，可搭配推理服务器或评测服务器使用
- [8× NVIDIA HGX B200](https://fullgpu.com/zh/gpus/nvidia-b200): 每月 US$34,900 — Blackwell 训练节点，为您的其他服务器输送训练成果
- [NVIDIA H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$3,090 — 141 GB 推理 GPU，通过私有网络与您的训练节点相连

## 概览

GPU 服务器之间的私有网络，让您的机器通过互联网无法访问的地址相互通信。在 FullGPU，私有网络可应要求开通：我们的团队把您租用的服务器连接到一个隔离网络中，您可以用它承载数据流水线、多节点任务，以及所有没有必要放在公网 IP 上的服务。

## 为什么要在 GPU 服务器之间使用私有网络

每台 FullGPU 服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 均有 DDoS 防护。这正是您的用户和您的 SSH 会话所需要的。而您自己的服务器之间的流量，则是另一回事：

- **暴露风险。**放在公网 IP 上的向量数据库、Redis 队列或监控指标端点，离暴露在互联网上只差一次防火墙配置失误。放在私有网络上，外部就无法访问它们。
- **规则更简单。**内部服务只在私有地址上监听，因此公网防火墙的规则可以保持精简：只需放行 SSH 和您的用户需要的端口。
- **流量分离。**您的服务器之间的检查点复制和数据集传输，不经过为用户提供服务的公网接口。

您也可能并不需要私有网络。单台服务器，或者只与外界通信的多台服务器，都不会从私有网络中获得任何好处。一旦您的两台机器之间需要交换数据，或者依赖彼此的服务，私有网络就开始变得重要。

## 常见部署方式

### 训练节点为推理服务器输送模型

一台 HGX 节点负责训练或微调，单卡服务器则用训练结果提供推理服务。检查点经私有网络传到推理服务器上（例如用 `rsync`），只有推理端点对公网开放。

### 数据流水线

一台服务器负责预处理、分词或生成嵌入向量，其他服务器则用这些数据进行训练或建立索引。数据分片、嵌入向量和日志通过私有地址在它们之间传输。

### 多节点任务

分布式评测、超参数搜索、Ray worker 和数据并行任务，只要彼此交换的数据量不大，都很适合使用私有网络。大规模的紧耦合训练则是另一回事，下一节会专门介绍。

### 监控与内部 API

指标导出器、日志转发程序和内部模型 API 只在私有网络一侧监听。我们的 [GPU 监控指南](https://fullgpu.com/zh/docs/gpu-monitoring)介绍了哪些指标值得采集。

## 私有网络，还是集群高速互联网络？

私有网络并不等同于 GPU 集群的高速互联网络。每一步都要跨节点同步梯度的训练任务，需要基于 InfiniBand 或 RoCE 的 RDMA。当这样一个任务所需的 GPU 超出一台 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)的容量时，[GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 机架可以把 72 张 GPU 放进同一个 NVLink 域。私有网络承载的则是这之外的一切：数据传输、任务编排、各类服务，以及较轻量的分布式工作。

吞吐量取决于您所连接的服务器。每台服务器的网络规格都列在我们的产品目录中，例如单卡 H100 套餐为 25 Gbps，L40S 套餐为 10 Gbps。请在订单备注或工单中说明您计划在服务器之间传输哪些数据，以便我们的工程师提前规划。

## 私有网络一侧的安全

- 将内部服务绑定到私有网络接口，而不是 `0.0.0.0`。
- 在公网接口上保留主机防火墙：放行 SSH 和您的用户需要的端口，拒绝其余所有流量。[网络与防火墙指南](https://fullgpu.com/zh/docs/networking-firewall)给出了一套基线配置。
- 内部服务仍要保留身份验证。网络隔离限制的是谁能访问这些服务，但不能取代访问凭据。
- Docker 发布的端口可能绕过主机防火墙规则。内部容器只应在私有地址上发布端口，例如 `-p <private-ip>:6379:6379`。

DDoS 防护保护的是您的公网 IP，而私有网络本来就无法从互联网访问。公网一侧的防护请参阅我们的 [DDoS 防护](https://fullgpu.com/zh/products/ddos-protection)页面。

## 私有网络的日常使用

开通之后，在每台服务器上运行 `ip -br addr`，即可看到私有网络接口及其地址。然后为服务器设置固定的名称，让脚本和配置永远不依赖公网 IP。例如，在每台服务器的 `/etc/hosts` 中添加：

```
<private-ip-1>  train-1
<private-ip-2>  serve-1
```

此后，内部流量都使用这些名称。从训练节点向推理节点复制检查点，命令就变成：

```
rsync -a --info=progress2 /data/ckpt/ serve-1:/data/ckpt/
```

让内部服务也指向这些名称：在私有地址上监听的数据库或向量存储、在私有网络一侧读取导出器数据的指标采集程序，或者只供您其他服务器调用的内部模型 API。请在每台服务器上保持这些名称完全一致，这样更换某个节点时，就无需逐一修改所有配置。

## 如何申请私有网络

1. [部署服务器](https://fullgpu.com/zh/deploy)时，在订单备注中注明这一需求；对于您已在租用的服务器，请提交支持工单。
2. 列出需要连接的服务器，以及它们之间将传输哪些数据。
3. 我们的团队完成配置，并把每台服务器的详细信息发送给您。

在首次下单时就提出，规划起来最为方便，尤其是需要多台 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)时。

## 常见问题

### 如何在我的服务器之间开通私有网络？

在订单备注中提出，或在控制台提交工单申请，并列出需要连接的服务器。我们的团队会完成配置，并把详细信息发送给您。

### 其他客户能访问我的私有网络吗？

不能。私有网络是隔离的，只连接您自己的服务器。

### 私有网络和集群高速互联网络是一回事吗？

不是。私有网络承载的是数据传输、各类服务和较轻量的分布式工作，而不是紧耦合多节点训练所需的、基于 InfiniBand 或 RoCE 的 RDMA 互联网络。如果单个任务需要跨越大量 GPU，GB300 NVL72 机架可以把 72 张 GPU 放进同一个 NVLink 域。

### 私有网络的速度有多快？

这取决于您连接的服务器，每台服务器的网络规格都列在我们的产品目录中。请在订单备注或工单中说明您计划传输的数据，以便我们的工程师提前规划。

### 我还需要防火墙吗？

需要，公网接口上仍要有防火墙。请让内部服务始终绑定在私有地址上并保留身份验证，公网上只开放您的用户需要的端口。

## 相关页面

- [GB300 NVL72 租用，每 GPU·月 US$7,990 起](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72): GB300 NVL72 租用：US$7,990/GPU·月起（约合每 GPU 小时 US$10.95），租期为 12–36 个月；72 张 Blackwell Ultra GPU 全部位于同一个 NVLink 域内。欢迎立即提交预订申请。
- [8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct](https://fullgpu.com/zh/products/8-gpu-servers): 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，付款后 10 分钟内交付。
- [单卡 GPU 服务器租用：独享虚拟机中的整张 GPU](https://fullgpu.com/zh/products/single-gpu-servers): 单卡 GPU 服务器租用：一整张 GPU，运行在您独享的云虚拟机中，型号从 RTX 5090 到 B300 可选。提供 root 权限，每月含 20 TB 流量，按月计费，付款后 10 分钟内交付。
- [GPU 服务器 DDoS 防护：每个公网 IP 均已配备](https://fullgpu.com/zh/products/ddos-protection): GPU 服务器 DDoS 防护覆盖每台服务器的每个公网 IP，始终开启，不额外收费。本页说明它能防护哪些攻击、不能防护哪些，以及如何对推理 API 进行安全加固。
- [GPU 服务器防火墙配置](https://fullgpu.com/zh/docs/networking-firewall): GPU 服务器防火墙配置指南：用 ufw 先放行 SSH 再启用防火墙，同时过滤 IPv6，避开 Docker 发布端口绕过 ufw 的陷阱，并用 TLS 和 API 密钥保护 vLLM 推理端点。
- [在多 GPU 服务器上运行 NCCL 测试：all_reduce_perf 分步指南](https://fullgpu.com/zh/docs/multi-gpu-nccl): 在多 GPU 服务器上运行 NCCL 测试：检查 NVLink 拓扑，编译 nccl-tests，读懂 all_reduce_perf 输出中的 busbw，并在全部 8 张 GPU 上启动 torchrun 任务。