GPU 服务器 DDoS 防护：每个公网 IP 均已配备

GPU 服务器 DDoS 防护是每台 FullGPU 服务器的标配。无论您租用一张 GPU 还是八张，服务器公网 IP 上的防护都始终开启，不额外收费。它的作用是在网络层的大流量攻击到达您的机器之前将其过滤掉。但仅靠它，并不能让一个开放的推理端点变得安全，本页将解释两者的区别。

GPU 服务器 DDoS 防护如何运作

分布式拒绝服务攻击利用来自大量来源的流量，试图耗尽服务器的网络链路或连接处理能力。防护在网络层部署于您的公网 IP 之前：攻击流量在到达服务器之前就被过滤掉，合法流量则照常通行。由于防护始终开启，您无需打开任何开关，也无需先提交工单，它就已在工作。

它适用于我们出租的每一台服务器，无论是单卡还是 8 卡。如果您在服务器之间使用私有网络，这一侧根本无法从互联网访问。

它涵盖什么，不涵盖什么

涵盖的情况

• 在网络层针对您的公网 IP 发起的大流量攻击，即若不加防护就会占满链路的那类攻击。
• 每一台服务器，全天候防护，不额外收费。

不涵盖的情况

• 超出所含防护能力的攻击。我们的服务等级协议（SLA）将其排除在停机时间之外，因此不计入服务赔偿额度。
• 应用层滥用。在网络层看起来合法的请求，例如向开放 API 发送的大量长提示词，会被放行。这类请求需要由您的应用来处理。
• 您的软件和配置。暴露在外的 notebook 服务器、没有密码的数据库或泄露的 API 密钥，都不是网络层防护能解决的问题。SLA 同样不涵盖由您的软件、配置或使用方式导致的问题。
• 凭据。妥善保管 SSH 密钥和 API 密钥是您的责任，服务器上发生的活动同样由您负责。

为什么推理端点仅有 DDoS 防护还不够

GPU 推理端点处理每个请求的成本都很高。提供一个静态网页几乎不花成本，而语言模型处理一个长提示词并生成一段长回答，可能要耗费数秒的 GPU 时间。要耗尽它的资源，根本用不着大流量攻击。数量不多但上下文很长的并发请求，就能占满 KV 缓存，让所有真实用户都排在它们后面等待；而在网络看来，这些流量完全正常。

因此，推理服务的防护要在您自己的软件栈中实现：在模型服务器前面部署防火墙、反向代理、身份验证和限流。我们关于使用 vLLM 自托管 LLM 推理的指南介绍了推理服务这一侧。

对外暴露端点的安全加固清单

1. 为主机配置防火墙

放行 SSH 和 HTTPS，拒绝其他一切流量：

sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp
sudo ufw allow 443/tcp
sudo ufw enable

Docker 通过自己的 iptables 规则发布端口，这些规则可能绕过 ufw。请只在 localhost 上发布模型服务器的端口，例如 -p 127.0.0.1:8000:8000。网络与防火墙指南有更深入的介绍。

2. 在前面部署反向代理

让模型服务器只监听 127.0.0.1，只对外暴露 nginx 或 Caddy 之类的反向代理。反向代理负责终止 TLS 连接、限制请求大小，并按客户端限制请求速率：

limit_req_zone $binary_remote_addr zone=api:10m rate=5r/s;
server {
    listen 443 ssl;
    server_name api.example.com;
    # ssl_certificate and ssl_certificate_key go here
    client_max_body_size 1m;
    location /v1/ {
        limit_req zone=api burst=20 nodelay;
        proxy_pass http://127.0.0.1:8000;
        proxy_read_timeout 300s;
    }
}

3. 要求提供 API 密钥

不要因为疏忽而让端点处于开放状态。vLLM 兼容 OpenAI 的服务器支持 --api-key 选项，启用后会拒绝未携带匹配 Bearer 令牌的请求：

vllm serve <model> --host 127.0.0.1 --port 8000 --api-key "$VLLM_API_KEY"

如果有多个客户端使用该端点，请在代理或网关上为每个客户端分配各自的密钥，这样某个密钥泄露时，可以单独吊销它，而不影响其他客户端。

4. 限制单个请求的成本

限流统计的是请求数，而 GPU 成本取决于 token 数。请在服务器上限制上下文长度和并发量，例如使用 vLLM 的 --max-model-len 和 --max-num-seqs，并在您的 API 层为 max_tokens 设定上限。监控 GPU 利用率、队列深度和错误率，以便及早发现滥用；GPU 监控指南列出了需要跟踪的指标。

如果您正在遭受攻击

请在控制台的“支持”栏目提交工单，写明受影响的 IP 地址、问题开始的时间，以及您观察到的情况：流量图、错误率、日志。支持服务 7×24 小时提供。如果是应用层滥用，请同时收紧限制并轮换密钥。如果因我方电力、网络或硬件原因导致的停机使您的月度可用性低于 99.9%，请在该月结束后 30 天内通过支持工单申请服务赔偿额度；赔偿额度将计入您的账户余额。