大语言模型 GPU 要求
大模型 GPU 需求：开源模型需要多少显存
热门开源模型在推理和微调时需要多少显存，以及能运行它们的最低价服务器。所有数字均根据模型公布的架构参数，使用与我们显存计算器相同的公式算出。
- 配置数
- 15
- 现可订购
- 13
- 起价
- US$449/月
- 开通费与出站流量费
- US$0
| 模型 | 参数量 | 权重 FP8 | KV 缓存 每 1k token | 推理所需 8k × 8 个请求 | 最低价服务器 |
|---|---|---|---|---|---|
| Llama 3.1 8BMeta · 稠密 | 8B | 8.0 GB | 131 MBBF16 | 27 GBBF16 | US$449NVIDIA GeForce RTX 5090 |
| Qwen3 14BAlibaba Qwen · 稠密 | 14.8B | 15 GB | 164 MBBF16 | 44 GBBF16 | US$1,390NVIDIA RTX PRO 6000 Blackwell |
| Mistral Small 24BMistral AI · 稠密 | 23.6B | 24 GB | 164 MBBF16 | 38 GBFP8 | US$890NVIDIA L40S |
| Qwen3 32BAlibaba Qwen · 稠密 | 32.8B | 33 GB | 262 MBBF16 | 54 GBFP8 | US$1,390NVIDIA RTX PRO 6000 Blackwell |
| Llama 3.3 70BMeta · 稠密 | 70.6B | 71 GB | 328 MBBF16 | 100 GBFP8 | US$3,090NVIDIA H200 |
| 117B激活 5.1B | 117 GB | 37 MBBF16 | 68 GBMXFP4（原生 4 位） | US$1,390NVIDIA RTX PRO 6000 Blackwell | |
| 235B激活 22B | 235 GB | 193 MBBF16 | 272 GBFP8 | US$10,4908× NVIDIA RTX PRO 6000 Blackwell · PCIe 互联，无 NVLink | |
| Llama 3.1 405BMeta · 稠密 | 405B | 405 GB | 516 MBBF16 | 480 GBFP8 | US$10,4908× NVIDIA RTX PRO 6000 Blackwell · PCIe 互联，无 NVLink |
| 671B激活 37B | 671 GB | 70 MBMLA, BF16 | 阅读 DeepSeek 硬件要求指南 | ||
左右滑动表格可查看全部列
下载这些要求的 CSV 文件。
推理总显存包括权重、8 个 8k token 请求的 BF16 KV 缓存，以及约 10% 的运行时开销，并预留 8% 的显存空闲。拆分到多张 GPU 上的模型在 NVLink 服务器上运行效果最佳；8× RTX PRO 6000 服务器的 GPU 之间通过 PCIe 互联。价格以美元计，按月计算，不含增值税。
模型指南
- Meta Llama 3.1 8B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
- Alibaba Qwen Qwen3 14B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
- Mistral AI Mistral Small 24B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
- Alibaba Qwen Qwen3 32B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
- Meta Llama 3.3 70B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
-
OpenAI
gpt-oss-120b GPU 要求 -
Alibaba Qwen
Qwen3 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算235B-A22B GPU 要求 - Meta Llama 3.1 405B GPU 要求 BF16、FP8 和 4 位精度下的显存、按上下文长度计算的 KV 缓存、微调显存，以及能运行该模型的服务器。 查看显存估算
如何估算任意大语言模型（LLM）的 GPU 要求
模型提供推理服务所需的显存由三部分相加而成，上方的每个页面都根据模型公布的架构参数计算这三部分：
- 权重 参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，4 位格式约为 0.5 字节。70B 模型在 BF16 精度下约占 141 GB，在 FP8 精度下约占 71 GB。
- KV 缓存 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数，按每个在途 token 计算（术语解释见术语表）。它随上下文长度和并发请求数增长。
- 运行时开销 激活值、CUDA Graph 和显存分配器碎片：按权重的约 10% 再加 1 GB 来规划，并保留一部分空闲显存。
对于未列出的模型，在显存计算器中输入它的参数量、层数和 KV 头数；计算器使用同样的公式，并列出所有装得下的配置。
混合专家模型：显存由总参数量决定
推理与微调的 GPU 要求对比
运行大语言模型：消费级 GPU 与数据中心 GPU 对比
GeForce RTX 5090 配备 32 GB GDDR7 显存，带宽 1.8 TB/s：足以运行 BF16 精度的 8B 模型、短上下文下 4 位精度约 32B 以内的模型，以及图像生成，而且月价最低。数据中心 GPU 提供更大的容量和更高的带宽：H100 配备 80 GB HBM3，H200 为 141 GB，B200 为 180 GB，B300 和 MI355X 为 288 GB；8 卡服务器中的 GPU 之间通过 NVLink 或 Infinity Fabric 互联，一个模型可以横跨全部 8 张 GPU。RTX PRO 6000 Blackwell 介于两者之间，配备 96 GB GDDR7。
经验法则是：选择显存能装下权重、满足您流量所需的 KV 缓存以及约 10% 余量的最小 GPU，然后比较月价。大语言模型推理最佳 GPU 选型指南按模型规模逐一给出建议。
运行 70B 模型需要多少显存？
权重在 BF16 精度下约需 141 GB，FP8 约需 71 GB，4 位约需 35 GB，另需 KV 缓存和运行时开销。在 FP8 精度下，一张 141 GB 的 H200 可以为 70B 模型提供推理服务，同时处理 8 个 8K 上下文的并发请求。
可以在单张 GPU 上运行大语言模型吗？
约 70B 参数以内的大多数模型，在 FP8 或 4 位精度下都能在单张 GPU 上运行：8B 模型用 RTX 5090，32B 模型用 H100，70B 模型用 H200。Llama 3.1 405B 或 Qwen3 235B 等更大的模型则需要 8 卡服务器。
KV 缓存会增加多少显存？
这取决于模型、上下文长度和用户数量。以 Llama 3.3 70B 为例，BF16 KV 缓存每个 token 约占 0.33 MB，因此 32 个 32K token 的请求在权重之外还需要约 340 GB。
这些数字准确吗？
它们是根据各模型公布的架构参数、用与显存计算器相同的公式得出的估算值。不同推理引擎的开销各不相同，因此请把它们当作选型参考，并在启动时查看您的引擎报告的空闲显存。