大模型推理 GPU 服务器：7×24 小时运行，价格固定

用于大语言模型（LLM）推理的 GPU 服务器，在全天运行时最划算：一个 7×24 小时处理流量的模型，能用满按月套餐的每一个小时。我们按月出租整张 NVIDIA GPU，并提供 root 权限，因此您可以像在自己的硬件上一样运行 vLLM、SGLang 或 TensorRT-LLM。本页介绍决定您账单的规格估算：权重、KV 缓存、精度和批处理。

先估算权重，再估算 KV 缓存

权重占用约为参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，FP4 约为 0.5 字节，另加少量量化缩放因子。接下来是 KV 缓存，它通常是限制并发的因素。每个 token 的 KV 缓存为 2（键和值）× 层数 × KV 头数 × 头维度 × 每个值的字节数。

以 Llama 架构的 70B 模型为例：80 层，8 个 KV 头，头维度为 128，在 BF16 精度下每个 token 约 0.33 MB，FP8 精度下减半。一个 128k token 的上下文在 BF16 精度下约需 43 GB 缓存；32 个各含 4,000 个 token 的并发请求约需 42 GB。

运行时也要占用一部分：vLLM 默认最多使用 90% 的显存来存放权重、激活值和缓存，CUDA Graph 也需要占用一些自己的空间。要估算其他模型，请使用我们的显存计算器。

如何选择大模型推理 GPU 服务器

生成 token 主要受显存带宽限制，因为每个解码（decode）步骤都要把参与计算的权重读取一遍。NVIDIA 标称的显存带宽为：H100 为 3.35 TB/s，H200 为 4.8 TB/s，B200 为 8 TB/s，RTX PRO 6000 为 1.6 TB/s。预填充（prefill）即处理提示词的阶段，受算力限制，能从 FP8 和 FP4 Tensor Core 中获益。

• 8B 至 14B 模型：一张 RTX PRO 6000 能以 BF16 精度装下权重，96 GB 显存的大部分都可留给缓存。
• 32B 模型：约 32 GB 的 FP8 权重可装入一张 RTX PRO 6000 或 H100，并为并发留出空间。
• 70B 模型：以 FP8 运行可选 H200，以 FP8 或 FP4 运行可选 B200，以 FP4 运行也可选 RTX PRO 6000。
• 大型混合专家（MoE）模型：DeepSeek-V3 级模型约有 671B 参数，以其原生 FP8 格式约占 700 GB，因此需要一个 HGX H200 节点（1.13 TB）或一个 HGX B200 节点（1.44 TB）；而一个 HGX H100 节点总共只有 640 GB。请参阅我们的 DeepSeek 硬件要求指南。

Hopper 和 Blackwell 都原生支持 FP8；而在 NVIDIA 硬件上使用 FP4 则需要 Blackwell：B200、B300、RTX PRO 6000 或 RTX 5090。量化后的质量取决于模型和量化方法，因此请在您自己的评测集上比较输出；背景知识请参阅 FP8 与 FP4 精度详解。在 HGX 节点上，NVLink 让跨 GPU 的张量并行更加高效。RTX PRO 6000 没有 NVLink，因此在 8 卡 RTX PRO 服务器上，请在负载均衡器后面每张 GPU 运行一个副本，或运行小规模的张量并行组。

推理软件栈与批处理

vLLM、SGLang 和 TensorRT-LLM 都会对请求进行连续批处理，并以分页方式管理 KV 缓存，因此吞吐量会随并发量上升，直到缓存占满或 GPU 饱和为止。当许多请求共享一段很长的系统提示词时，前缀缓存会很有帮助。在 Docker 中运行 vLLM 时，典型的启动命令如下：

docker run --gpus all --ipc=host -p 8000:8000 \
  -v /data/hf:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model your-org/your-model-fp8 \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.90 \
  --api-key "$VLLM_API_KEY"

请把 --max-model-len 限制在您的产品实际需要的长度，因为最长上下文决定了每个请求在最坏情况下的缓存占用；在生产环境中，请固定镜像版本。该服务器使用与 OpenAI 兼容的协议；请按照我们的网络与防火墙指南，把它的端口置于防火墙或带 TLS 的反向代理之后，完整配置请参阅 PyTorch 与 vLLM 指南。

为什么固定月价适合 7×24 小时推理服务

按每月 730 小时计算，每月 US$3,090 的 H200 约合每 GPU 小时 US$4.23，每月 US$4,590 的 B200 约合 US$6.29，每月 US$1,390 的 RTX PRO 6000 约合 US$1.90。这些费率只有在 GPU 保持忙碌时才成立：一张每天处理 8 小时流量的 H200，每个实际使用小时的有效成本约为 US$12.70。稳定或持续增长的流量适合按月套餐。如果流量忽高忽低、长时间闲置，或者只是一个只有少数用户的原型，在别处按小时或按 token 计费可能更便宜；请参阅按月与按小时 GPU 计费对比。

价格含流量：在合理使用前提下，单卡套餐每月 20 TB，8 卡服务器每月 50 TB，不收取出站流量费，入站流量不计。文本数据量很小：即使每个流式输出的 token 占用几百字节，20 TB 也足以传输数百亿个生成的 token。

开始使用

在部署页面选择配置，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），并在同一表单中免费创建账户或登录；您可以在给我们工程师的备注中描述您的模型、精度、上下文长度和预期并发量。承诺交付日期会在您用预付余额支付首月费用之前显示（余额通过加密货币充值），IP 地址和 SSH 登录信息会在该日期前显示在您的控制台中。我们的 Ubuntu 镜像预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit，因此权重下载完成后，上面的容器即可运行。如需横向扩展，可以增加服务器，并应要求通过私有网络将它们互联。