大语言模型显存计算器：您的模型能装进 GPU 吗？

我们的大语言模型（LLM）显存计算器回答的是任何 GPU 选型的第一个问题：运行或微调一个模型需要多少显存？估算会把占用显存的各部分相加（模型权重、KV 缓存和运行时开销），训练时还要再加上梯度和优化器状态。本页解释了其中的公式，方便您核对结果，或为任意模型重新计算。

LLM 显存计算器的工作原理

对于推理，估算公式为：

GPU memory ≈ weights + KV cache + overhead (10–20%)

选定模型和精度后，权重就固定了。KV 缓存随上下文长度和同时处理的请求数增长。额外开销涵盖运行时分配的其他所有显存。上下文较短时，权重占大头；上下文很长或并发很高时，KV 缓存可能反超权重。微调还要加上梯度和优化器状态，这就是训练一个模型所需的显存是推理的数倍的原因。

模型权重：参数量 × 每个参数的字节数

每个参数都以某种数值格式存储，格式决定了它的大小：

量化格式还要存储缩放因子，而且部分层往往保留为更高精度，因此实际的 4 位检查点会大出几个百分点。较低的精度能节省显存和带宽，代价是一定的精度损失，其大小取决于模型和量化方法；我们的 FP8 与 FP4 精度指南介绍了其中的权衡。

KV 缓存：随每个 token 增长的显存

在生成过程中，模型会保存上下文中每个 token 的注意力键和值，以免重复计算。每个 token 的开销为：

KV cache per token = 2 × layers × KV heads × head dimension × bytes per value

系数 2 对应键和值两部分。再乘以在途 token 数：上下文长度 × 并发序列数。

计算示例：采用分组查询注意力的 70B 模型

以一个 70B 模型为例：80 层，8 个 KV 头，头维度为 128，缓存采用 BF16（每个值 2 字节）：

• 2 × 80 × 8 × 128 × 2 = 327,680 字节，即每个 token 约 320 KB。
• 一个 32K token（32,768 个）的序列：约 10 GB。
• 8 个并发的 32K 序列：约 80 GB，超过该模型的 FP8 权重。

正是分组查询注意力让这一数字保持在可控范围内：8 个 KV 头由所有查询头共享。如果每个查询头都配一个 KV 头（典型的 70B 模型有 64 个查询头），所需显存将是 8 倍。以 FP8 存储缓存可以将其减半，而在推理服务器中限制上下文长度或并发数，则能为它设定上限。

运行时开销与激活值

除了权重和缓存，GPU 上还有 CUDA 上下文、推理引擎的工作空间、当前批次（batch）的激活值、CUDA Graph（如已启用），以及一些碎片。我们为这些预留 10–20%：精简的推理服务、提示词较短时取下限；大批次、长预填充（prefill）或单张 GPU 上运行多个进程时取上限。

即使在空闲时，监控工具显示 GPU 显存几乎被占满也是意料之中的。vLLM 等推理服务器会在启动时预留固定比例的显存，并用 KV 缓存块填满；预留空间的大小决定了能同时运行多少个请求。

微调所需显存：全参数微调、LoRA 与 QLoRA

• 全参数微调在使用 AdamW 和混合精度时，不计激活值，每个参数大约需要 16 字节：BF16 权重 2 字节，梯度 2 字节，FP32 主权重副本 4 字节，两个优化器矩 8 字节。对于 70B 模型，这约为 1.1 TB，需要一台采用分片（FSDP 或 ZeRO-3）的 8 卡服务器，例如 8× B200（1.44 TB）或 8× B300（2.3 TB）。
• LoRA 冻结基座模型，只训练小型适配器矩阵，参数量通常远低于总参数的 1%。所需显存大致为冻结的权重（70B 模型在 BF16 精度下约 140 GB），加上适配器及其梯度和优化器状态，再加上激活值。
• QLoRA 以 4 位精度加载冻结的权重，每个参数约 0.5 字节，因此 70B 基座模型在计入适配器和激活值之前约占 35–40 GB。在中等序列长度下，一张 80 GB 的 H100 或 96 GB 的 RTX PRO 6000 就能胜任。

激活值随批次大小和序列长度增长，在长序列上可能超过权重。梯度检查点以额外的计算换取大幅减少的激活值显存。

将模型拆分到多张 GPU 上

当总量超出单张 GPU 的容量时，张量并行会把每一层的权重和 KV 缓存拆分到多张 GPU 上，每张 GPU 各承担两者的约 1/N，外加自身的开销。每张 GPU 请保留约 8% 的空闲显存，与计算器采用的余量相同。BF16 精度的 70B 模型运行在 8× H100 服务器（共 640 GB）上时，每张 80 GB 的 GPU 上约有 17.5 GB 权重，大部分显存可以留给 KV 缓存和长上下文。张量并行在每一层都要交换数据，因此在通过 NVLink 互联的 GPU 上运行效果最好，例如我们的 NVIDIA HGX 8 卡服务器。

任何显存估算都有局限

• 混合专家（MoE）模型每个 token 只运行少数几个专家，但所有专家都必须常驻显存。请按总参数量而非激活参数量来估算。
• 框架开销各不相同，随推理引擎及其版本、内核和设置而变化。运行同一模型的两台服务器，显存占用可能相差数 GB。
• 长上下文会改变各部分的比重：从 128K token 起，KV 缓存可能超过权重。滑动窗口注意力或潜在注意力等注意力变体，会改变每个 token 的计算公式。
• 多模态模型还要加上视觉或音频编码器及其激活值。

请把结果当作规划用的数字，并通过真实的负载测试加以确认。如需按模型规模逐一分析，请阅读我们的大语言模型显存指南。

哪款 GPU 能装下您的估算结果

在保留约 8% 空闲显存（与计算器采用的余量相同）的前提下，每款单张 GPU 能容纳的最大估算值如下：

超出这一范围时，一台 8 卡服务器最多可容纳 2.3 TB（HGX B300 或 AMD Instinct MI355X 上的 8 × 288 GB）。每个 GPU 页面，例如 H100、H200、B200 和 B300，都列出了其显存能装下什么；您也可以浏览我们出租的所有 GPU。