# 大模型 GPU 需求：开源模型需要多少显存

> Llama、Qwen3、Mistral 和 gpt-oss 模型在 BF16、FP8 和 4 位下的显存、KV 缓存，以及最便宜的适配服务器。

来源：https://fullgpu.com/zh/models  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

## 开源大语言模型的 GPU 要求

BF16、FP8 和 4 位三列仅计算权重；最便宜的服务器按模型的常用精度、8k 上下文和 8 个并发请求提供推理服务。另提供 CSV 格式：https://fullgpu.com/data/llm-gpu-requirements.csv

| 模型 | 参数量 | BF16 权重 | FP8 权重 | 4 位权重 | 最便宜的 FullGPU 服务器 |
| --- | --- | --- | --- | --- | --- |
| [Llama 3.1 8B](https://fullgpu.com/zh/models/llama-3-1-8b) | 8B | 16 GB | 8.0 GB | 4.0 GB | NVIDIA GeForce RTX 5090（US$449/月） |
| [Qwen3 14B](https://fullgpu.com/zh/models/qwen3-14b) | 14.8B | 30 GB | 15 GB | 7.4 GB | NVIDIA RTX PRO 6000 Blackwell（US$1,390/月） |
| [Mistral Small 24B](https://fullgpu.com/zh/models/mistral-small-24b) | 23.6B | 47 GB | 24 GB | 12 GB | NVIDIA L40S（US$890/月） |
| [Qwen3 32B](https://fullgpu.com/zh/models/qwen3-32b) | 32.8B | 66 GB | 33 GB | 16 GB | NVIDIA RTX PRO 6000 Blackwell（US$1,390/月） |
| [Llama 3.3 70B](https://fullgpu.com/zh/models/llama-3-3-70b) | 70.6B | 141 GB | 71 GB | 35 GB | NVIDIA H200（US$3,090/月） |
| [gpt-oss-120b](https://fullgpu.com/zh/models/gpt-oss-120b) | 117B | 234 GB | 117 GB | 59 GB | NVIDIA RTX PRO 6000 Blackwell（US$1,390/月） |
| [Qwen3 235B-A22B](https://fullgpu.com/zh/models/qwen3-235b-a22b) | 235B | 470 GB | 235 GB | 118 GB | 8× NVIDIA RTX PRO 6000 Blackwell（US$10,490/月） |
| [Llama 3.1 405B](https://fullgpu.com/zh/models/llama-3-1-405b) | 405B | 810 GB | 405 GB | 203 GB | 8× NVIDIA RTX PRO 6000 Blackwell（US$10,490/月） |

## 如何估算任意大语言模型（LLM）的 GPU 要求

模型提供推理服务所需的显存由三部分相加而成，上方的每个页面都根据模型公布的架构参数计算这三部分：

- **权重:** 参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，4 位格式约为 0.5 字节。70B 模型在 BF16 精度下约占 141 GB，在 FP8 精度下约占 71 GB。
- **KV 缓存:** 2 × 层数 × KV 头数 × 头维度 × 每个值的字节数，按每个在途 token 计算（术语解释见[术语表](https://fullgpu.com/zh/glossary)）。它随上下文长度和并发请求数增长。
- **运行时开销:** 激活值、CUDA Graph 和显存分配器碎片：按权重的约 10% 再加 1 GB 来规划，并保留一部分空闲显存。

对于未列出的模型，在[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)中输入它的参数量、层数和 KV 头数；计算器使用同样的公式，并列出所有装得下的配置。

## 混合专家模型：显存由总参数量决定

[Qwen3 235B-A22B](https://fullgpu.com/zh/models/qwen3-235b-a22b) 或 [gpt-oss-120b](https://fullgpu.com/zh/models/gpt-oss-120b) 等混合专家（MoE）模型，每个 token 只激活一小部分参数，分别约为 22B 和 5.1B，但所有专家都必须常驻显存。请按总参数量估算权重。激活参数量只决定每个 token 的计算量，这也是 MoE 模型一旦装得下就能快速生成的原因。

## 推理与微调的 GPU 要求对比

微调比推理需要更多显存。QLoRA 把基座模型权重保持在 4 位精度，只训练小型适配器；LoRA 在冻结的 BF16 权重之上训练适配器；使用 AdamW 和混合精度的全参数微调，则要为每个参数保存权重、梯度和优化器状态，不计激活值，每个参数约需 16 字节。对于 70B 模型，我们的估算是：QLoRA 约 53 GB，LoRA 约 175 GB，全参数微调约 1.36 TB，需借助 FSDP 或 ZeRO-3 分片到一台 8 卡服务器上。[70B 模型微调指南](https://fullgpu.com/zh/blog/fine-tune-70b-model)逐一介绍了每种方法。

## 运行大语言模型：消费级 GPU 与数据中心 GPU 对比

[GeForce RTX 5090](https://fullgpu.com/zh/gpus/nvidia-rtx-5090) 配备 32 GB GDDR7 显存，带宽 1.8 TB/s：足以运行 BF16 精度的 8B 模型、短上下文下 4 位精度约 32B 以内的模型，以及图像生成，而且月价最低。数据中心 GPU 提供更大的容量和更高的带宽：H100 配备 80 GB HBM3，H200 为 141 GB，B200 为 180 GB，B300 和 MI355X 为 288 GB；8 卡服务器中的 GPU 之间通过 NVLink 或 Infinity Fabric 互联，一个模型可以横跨全部 8 张 GPU。[RTX PRO 6000 Blackwell](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000) 介于两者之间，配备 96 GB GDDR7。

经验法则是：选择显存能装下权重、满足您流量所需的 KV 缓存以及约 10% 余量的最小 GPU，然后比较月价。[大语言模型推理最佳 GPU 选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference)按模型规模逐一给出建议。

## 大语言模型 GPU 要求常见问题

### 运行 70B 模型需要多少显存？

权重在 BF16 精度下约需 141 GB，FP8 约需 71 GB，4 位约需 35 GB，另需 KV 缓存和运行时开销。在 FP8 精度下，一张 141 GB 的 H200 可以为 70B 模型提供推理服务，同时处理 8 个 8K 上下文的并发请求。

### 可以在单张 GPU 上运行大语言模型吗？

约 70B 参数以内的大多数模型，在 FP8 或 4 位精度下都能在单张 GPU 上运行：8B 模型用 RTX 5090，32B 模型用 H100，70B 模型用 H200。Llama 3.1 405B 或 Qwen3 235B 等更大的模型则需要 8 卡服务器。

### KV 缓存会增加多少显存？

这取决于模型、上下文长度和用户数量。以 Llama 3.3 70B 为例，BF16 KV 缓存每个 token 约占 0.33 MB，因此 32 个 32K token 的请求在权重之外还需要约 340 GB。

### 这些数字准确吗？

它们是根据各模型公布的架构参数、用与显存计算器相同的公式得出的估算值。不同推理引擎的开销各不相同，因此请把它们当作选型参考，并在启动时查看您的引擎报告的空闲显存。