GPU 服务器之间的私有网络

GPU 服务器之间的私有网络，让您的机器通过互联网无法访问的地址相互通信。在 FullGPU，私有网络可应要求开通：我们的团队把您租用的服务器连接到一个隔离网络中，您可以用它承载数据流水线、多节点任务，以及所有没有必要放在公网 IP 上的服务。

为什么要在 GPU 服务器之间使用私有网络

每台 FullGPU 服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，其公网 IP 均有 DDoS 防护。这正是您的用户和您的 SSH 会话所需要的。而您自己的服务器之间的流量，则是另一回事：

• 暴露风险。放在公网 IP 上的向量数据库、Redis 队列或监控指标端点，离暴露在互联网上只差一次防火墙配置失误。放在私有网络上，外部就无法访问它们。
• 规则更简单。内部服务只在私有地址上监听，因此公网防火墙的规则可以保持精简：只需放行 SSH 和您的用户需要的端口。
• 流量分离。您的服务器之间的检查点复制和数据集传输，不经过为用户提供服务的公网接口。

您也可能并不需要私有网络。单台服务器，或者只与外界通信的多台服务器，都不会从私有网络中获得任何好处。一旦您的两台机器之间需要交换数据，或者依赖彼此的服务，私有网络就开始变得重要。

常见部署方式

训练节点为推理服务器输送模型

一台 HGX 节点负责训练或微调，单卡服务器则用训练结果提供推理服务。检查点经私有网络传到推理服务器上（例如用 rsync），只有推理端点对公网开放。

数据流水线

一台服务器负责预处理、分词或生成嵌入向量，其他服务器则用这些数据进行训练或建立索引。数据分片、嵌入向量和日志通过私有地址在它们之间传输。

多节点任务

分布式评测、超参数搜索、Ray worker 和数据并行任务，只要彼此交换的数据量不大，都很适合使用私有网络。大规模的紧耦合训练则是另一回事，下一节会专门介绍。

监控与内部 API

指标导出器、日志转发程序和内部模型 API 只在私有网络一侧监听。我们的 GPU 监控指南介绍了哪些指标值得采集。

私有网络，还是集群高速互联网络？

私有网络并不等同于 GPU 集群的高速互联网络。每一步都要跨节点同步梯度的训练任务，需要基于 InfiniBand 或 RoCE 的 RDMA。当这样一个任务所需的 GPU 超出一台 8 卡服务器的容量时，GB300 NVL72 机架可以把 72 张 GPU 放进同一个 NVLink 域。私有网络承载的则是这之外的一切：数据传输、任务编排、各类服务，以及较轻量的分布式工作。

吞吐量取决于您所连接的服务器。每台服务器的网络规格都列在我们的产品目录中，例如单卡 H100 套餐为 25 Gbps，L40S 套餐为 10 Gbps。请在订单备注或工单中说明您计划在服务器之间传输哪些数据，以便我们的工程师提前规划。

私有网络一侧的安全

• 将内部服务绑定到私有网络接口，而不是 0.0.0.0。
• 在公网接口上保留主机防火墙：放行 SSH 和您的用户需要的端口，拒绝其余所有流量。网络与防火墙指南给出了一套基线配置。
• 内部服务仍要保留身份验证。网络隔离限制的是谁能访问这些服务，但不能取代访问凭据。
• Docker 发布的端口可能绕过主机防火墙规则。内部容器只应在私有地址上发布端口，例如 -p <private-ip>:6379:6379。

DDoS 防护保护的是您的公网 IP，而私有网络本来就无法从互联网访问。公网一侧的防护请参阅我们的 DDoS 防护页面。

私有网络的日常使用

开通之后，在每台服务器上运行 ip -br addr，即可看到私有网络接口及其地址。然后为服务器设置固定的名称，让脚本和配置永远不依赖公网 IP。例如，在每台服务器的 /etc/hosts 中添加：

<private-ip-1>  train-1
<private-ip-2>  serve-1

此后，内部流量都使用这些名称。从训练节点向推理节点复制检查点，命令就变成：

rsync -a --info=progress2 /data/ckpt/ serve-1:/data/ckpt/

让内部服务也指向这些名称：在私有地址上监听的数据库或向量存储、在私有网络一侧读取导出器数据的指标采集程序，或者只供您其他服务器调用的内部模型 API。请在每台服务器上保持这些名称完全一致，这样更换某个节点时，就无需逐一修改所有配置。

如何申请私有网络

1. 部署服务器时，在订单备注中注明这一需求；对于您已在租用的服务器，请提交支持工单。
2. 列出需要连接的服务器，以及它们之间将传输哪些数据。
3. 我们的团队完成配置，并把每台服务器的详细信息发送给您。

在首次下单时就提出，规划起来最为方便，尤其是需要多台 8 卡服务器时。