# 大模型推理 GPU 服务器：7×24 小时运行，价格固定

> 大模型推理 GPU 服务器，可运行 vLLM、SGLang 或 TensorRT-LLM：本文介绍 KV 缓存估算以及 FP8 与 FP4 的选择，价格含每月 20–50 TB 流量。查看完整的选型计算。

来源：https://fullgpu.com/zh/solutions/inference  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

## 要点

- **满载也是固定价格:** 无论 GPU 夜间闲置还是整月满负荷运行，都是同一个月价。
- **含流量:** 单卡套餐每月 20 TB，8 卡服务器每月 50 TB，不收取出站流量费。
- **整卡独享:** 绝不切分，也不分时共享：全部显存和算力都用于处理您的请求。
- **自选推理软件栈:** 拥有 root 权限，可在 Docker 中运行 vLLM、SGLang、TensorRT-LLM 或您自己的推理服务器。
- **DDoS 防护:** 每台服务器都有一个公网 IPv4 地址和一个 IPv6 /64 网段，公网 IP 均有 DDoS 防护。
- **99.9% SLA:** 电力、网络和硬件的可用性由服务赔偿额度提供保障。

## 推荐配置

- [NVIDIA H200](https://fullgpu.com/zh/gpus/nvidia-h200): 每月 US$3,090 — 141 GB：FP8 精度的 70B 模型，并为长上下文留出空间
- [NVIDIA B200](https://fullgpu.com/zh/gpus/nvidia-b200): 每月 US$4,590 — 180 GB，8 TB/s，支持 FP4，适合高并发推理服务
- [NVIDIA RTX PRO 6000 Blackwell](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000): 每月 US$1,390 — 96 GB：适合 8B 至 32B 模型，或 FP4 精度的 70B 模型

## 概览

用于大语言模型（LLM）推理的 GPU 服务器，在全天运行时最划算：一个 7×24 小时处理流量的模型，能用满按月套餐的每一个小时。我们按月出租整张 NVIDIA GPU，并提供 root 权限，因此您可以像在自己的硬件上一样运行 vLLM、SGLang 或 TensorRT-LLM。本页介绍决定您账单的规格估算：权重、KV 缓存、精度和批处理。

## 先估算权重，再估算 KV 缓存

权重占用约为参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，FP4 约为 0.5 字节，另加少量量化缩放因子。接下来是 KV 缓存，它通常是限制并发的因素。每个 token 的 KV 缓存为 2（键和值）× 层数 × KV 头数 × 头维度 × 每个值的字节数。

以 Llama 架构的 70B 模型为例：80 层，8 个 KV 头，头维度为 128，在 BF16 精度下每个 token 约 0.33 MB，FP8 精度下减半。一个 128k token 的上下文在 BF16 精度下约需 43 GB 缓存；32 个各含 4,000 个 token 的并发请求约需 42 GB。

| GPU | 70B 权重 | 留给 KV 缓存和运行时的空间 |
| --- | --- | --- |
| H100，80 GB | FP8 精度约 70 GB | 约 10 GB：短上下文，低并发 |
| H200，141 GB | FP8 精度约 70 GB | 约 70 GB |
| B200，180 GB | FP8 精度约 70 GB，或 FP4 精度约 40 GB | 约 110–140 GB |
| RTX PRO 6000，96 GB | FP4 精度约 40 GB | 约 55 GB |

运行时也要占用一部分：vLLM 默认最多使用 90% 的显存来存放权重、激活值和缓存，CUDA Graph 也需要占用一些自己的空间。要估算其他模型，请使用我们的[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)。

## 如何选择大模型推理 GPU 服务器

生成 token 主要受显存带宽限制，因为每个解码（decode）步骤都要把参与计算的权重读取一遍。NVIDIA 标称的显存带宽为：H100 为 3.35 TB/s，H200 为 4.8 TB/s，B200 为 8 TB/s，RTX PRO 6000 为 1.6 TB/s。预填充（prefill）即处理提示词的阶段，受算力限制，能从 FP8 和 FP4 Tensor Core 中获益。

- **8B 至 14B 模型：**一张 RTX PRO 6000 能以 BF16 精度装下权重，96 GB 显存的大部分都可留给缓存。
- **32B 模型：**约 32 GB 的 FP8 权重可装入一张 RTX PRO 6000 或 H100，并为并发留出空间。
- **70B 模型：**以 FP8 运行可选 H200，以 FP8 或 FP4 运行可选 B200，以 FP4 运行也可选 RTX PRO 6000。
- **大型混合专家（MoE）模型：**DeepSeek-V3 级模型约有 671B 参数，以其原生 FP8 格式约占 700 GB，因此需要一个 HGX H200 节点（1.13 TB）或一个 HGX B200 节点（1.44 TB）；而一个 HGX H100 节点总共只有 640 GB。请参阅我们的 [DeepSeek 硬件要求指南](https://fullgpu.com/zh/blog/deepseek-hardware-requirements)。

Hopper 和 Blackwell 都原生支持 FP8；而在 NVIDIA 硬件上使用 FP4 则需要 Blackwell：B200、B300、RTX PRO 6000 或 RTX 5090。量化后的质量取决于模型和量化方法，因此请在您自己的评测集上比较输出；背景知识请参阅 [FP8 与 FP4 精度详解](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)。在 HGX 节点上，NVLink 让跨 GPU 的张量并行更加高效。RTX PRO 6000 没有 NVLink，因此在 8 卡 RTX PRO 服务器上，请在负载均衡器后面每张 GPU 运行一个副本，或运行小规模的张量并行组。

## 推理软件栈与批处理

vLLM、SGLang 和 TensorRT-LLM 都会对请求进行连续批处理，并以分页方式管理 KV 缓存，因此吞吐量会随并发量上升，直到缓存占满或 GPU 饱和为止。当许多请求共享一段很长的系统提示词时，前缀缓存会很有帮助。在 Docker 中运行 vLLM 时，典型的启动命令如下：

```
docker run --gpus all --ipc=host -p 8000:8000 \
  -v /data/hf:/root/.cache/huggingface \
  vllm/vllm-openai:latest \
  --model your-org/your-model-fp8 \
  --max-model-len 32768 \
  --kv-cache-dtype fp8 \
  --gpu-memory-utilization 0.90 \
  --api-key "$VLLM_API_KEY"
```

请把 `--max-model-len` 限制在您的产品实际需要的长度，因为最长上下文决定了每个请求在最坏情况下的缓存占用；在生产环境中，请固定镜像版本。该服务器使用与 OpenAI 兼容的协议；请按照我们的[网络与防火墙指南](https://fullgpu.com/zh/docs/networking-firewall)，把它的端口置于防火墙或带 TLS 的反向代理之后，完整配置请参阅 [PyTorch 与 vLLM 指南](https://fullgpu.com/zh/docs/pytorch-vllm)。

## 为什么固定月价适合 7×24 小时推理服务

按每月 730 小时计算，每月 US$3,090 的 H200 约合每 GPU 小时 US$4.23，每月 US$4,590 的 B200 约合 US$6.29，每月 US$1,390 的 RTX PRO 6000 约合 US$1.90。这些费率只有在 GPU 保持忙碌时才成立：一张每天处理 8 小时流量的 H200，每个实际使用小时的有效成本约为 US$12.70。稳定或持续增长的流量适合按月套餐。如果流量忽高忽低、长时间闲置，或者只是一个只有少数用户的原型，在别处按小时或按 token 计费可能更便宜；请参阅[按月与按小时 GPU 计费对比](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing)。

价格含流量：在合理使用前提下，单卡套餐每月 20 TB，8 卡服务器每月 50 TB，不收取出站流量费，入站流量不计。文本数据量很小：即使每个流式输出的 token 占用几百字节，20 TB 也足以传输数百亿个生成的 token。

## 开始使用

在[部署页面](https://fullgpu.com/zh/deploy)选择配置，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），并在同一表单中免费创建账户或登录；您可以在给我们工程师的备注中描述您的模型、精度、上下文长度和预期并发量。您用预付余额支付首月费用后（余额通过加密货币充值），服务器会在 10 分钟内交付，IP 地址和 SSH 登录信息会显示在您的控制台中。我们的 Ubuntu 镜像预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit，因此权重下载完成后，上面的容器即可运行。如需横向扩展，可以增加服务器，并应要求通过私有网络将它们互联。

## 常见问题

### 一张 H100 能为 70B 模型提供推理服务吗？

只能勉强装下。在 FP8 精度下，权重约占 H100 80 GB 显存中的 70 GB，留给 KV 缓存的空间很少，因此上下文长度和并发量都只能很小；H200 或 B200 则能留出多得多的缓存空间。

### 推理服务含多少流量？

在合理使用前提下，单卡套餐每月 20 TB，8 卡服务器每月 50 TB，不收取出站流量费。入站流量不计算在内。

### 可以运行哪些推理引擎？

由于您拥有 root 权限，任何引擎都可以：vLLM、SGLang、TensorRT-LLM 或您自己的推理服务器。我们的 Ubuntu 镜像已预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。

### 哪些 GPU 支持 FP4 推理？

NVIDIA 方面，是我们产品目录中的 Blackwell GPU：B200、B300、RTX PRO 6000 和 RTX 5090。AMD 标称 MI355X 支持 MXFP4；而 H100、H200 和 L40S 支持 FP8，但不支持 FP4。

### 如何扩展到多张 GPU？

在更多服务器上运行更多副本；对于更大的模型，也可以使用 8 卡节点，通过 NVLink 做张量并行。您的服务器之间可应要求配置私有网络；拥有运行中服务器的客户还可以通过工单咨询批量价格（通常三台服务器起）。

## 相关页面

- [如何使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm): 使用 vLLM 自托管 LLM 推理：本文介绍如何估算所需的 GPU，运行兼容 OpenAI API 的推理服务器，调优 FP8、前缀缓存和并行策略，并为生产环境做好安全加固。
- [2026年大语言模型推理最佳 GPU：按模型规模选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference): 大语言模型（LLM）推理的最佳 GPU 取决于模型规模、精度、KV 缓存和显存带宽。使用我们的 2026年选型表，在从 RTX 5090 到 8× B300 的各款配置中做出选择。
- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。
- [H200 与 B200 对比：下一台 GPU 服务器该选 Hopper 还是 Blackwell？](https://fullgpu.com/zh/compare/h200-vs-b200): H200 与 B200 对比：141 GB 对比 180 GB，4.8 TB/s 对比 8 TB/s，FP4 与 NVLink 5。了解各自能装下什么、每月多花 US$1,500 能换来什么，以及何时 H200 更划算。
- [GPU 服务器带宽与出站流量费](https://fullgpu.com/zh/help/bandwidth-and-egress): FullGPU 的 GPU 服务器带宽与出站流量费：每台服务器每月含 20 TB 或 50 TB 出站流量，入站流量不计入，额度内不收取出站流量费。看看哪些流量会计入额度。
- [使用 vLLM 部署 LLM 推理服务](https://fullgpu.com/zh/docs/pytorch-vllm): 在您的 GPU 服务器上用 vLLM 部署 LLM 推理服务：用 uv 配置 Python 环境，安装 PyTorch 和 vLLM，测试兼容 OpenAI 的 API，再将其作为系统服务长期运行。