DeepSeek R1 硬件要求：R1 与 V3 所需的 GPU 和显存
FullGPU 工程团队
更新于 阅读约 7 分钟
DeepSeek R1 硬件要求一览
- 架构 混合专家（MoE），总参数量 671B，每个 token 激活约 37B
- 发布精度 FP8（E4M3）权重，采用分块缩放因子
- 权重显存占用 FP8 约 671 GB，BF16 约 1.3 TB
- KV 缓存 得益于多头潜在注意力，每个 token 占用很小
- 能宽裕运行的最小服务器 8× H200，1,128 GB
- 可容纳 BF16 或超长上下文 8× B300 或 8× MI355X，2,304 GB
- 装不下 FP8 权重 8× H100，640 GB
- R1 蒸馏模型 1.5B 至 70B 参数，每个模型单张 GPU 即可
为什么只激活 37B 参数，仍需要 671 GB
37B 激活参数决定的是每生成一个 token 所需的计算量和读取的字节数，这也是为什么对于这种规模的模型来说，解码的开销相对较低。但它们并不决定您需要多少显存。有些运行时会改为把专家放在 CPU 内存中，但这样每个 token 都要等待慢得多的系统内存或 CPU 计算：做实验尚可，用于生产环境的推理服务则不太合适。
权重所需显存：FP8、BF16 与 4 位
DeepSeek 使用 FP8 混合精度框架训练 V3，并以 FP8 格式发布权重，量化后的权重矩阵中每个 128 × 128 的块都有一个缩放因子。按每个参数 1 字节计算，权重约占 671 GB。发布的检查点还包含一个 14B 参数的多 token 预测（MTP）模块，总计 685B 参数，因此请预留约 700 GB 的磁盘空间。
| 精度 | 每个参数的字节数 | 权重（约） | 我们产品目录中能宽裕装下的最小配置 |
|---|---|---|---|
| FP8（官方发布精度） | 1 | 671 GB | 8× H200（1,128 GB） |
| BF16 | 2 | 1,342 GB | 8× B300 或 8× MI355X（2,304 GB） |
| 4 位（由您自己或社区量化） | 约 0.5，另加缩放因子 | 约 340 GB 起 | 8× H100（640 GB）或 8× RTX PRO 6000（768 GB） |
有两点容易被忽略。第一，由于官方权重是 FP8 格式，BF16 副本只是精度上转换的结果：它用两倍的显存保存了基本相同的信息。它适用于不支持 FP8 的软件路径和某些微调流程，并不能带来更好的回答。第二，降到 FP8 以下确实会改变模型。4 位版本让 8× H100 或 8× RTX PRO 6000 也能运行完整模型，但在依赖这类版本之前，请先在您自己的任务上测量质量。我们关于 FP8 与 4 位格式工作原理的解读文章介绍了其中的权衡。
KV 缓存：为什么多头潜在注意力能让它保持很小
标准的多头注意力会为每个 token 在每一层的每个注意力头缓存一个键向量和一个值向量。多头潜在注意力（MLA）则改为缓存一个压缩后的潜在向量：每层、每个 token 缓存 512 个潜在值，外加一个 64 维的位置键，共 576 个值，由全部 128 个注意力头共享。
按 61 层、BF16 缓存计算：61 × 576 × 2 字节 = 70,272 字节，即每个 token 约 70 KB。
- 单个 32K token 序列：约 2.3 GB。
- 单个 128K token 序列：约 9.2 GB。
作为对比，70B 蒸馏模型以 Llama 70B 为基座，有 80 层、8 个 KV 头，每个头 128 维，在 BF16 精度下每个 token 约需 0.33 MB：每个 token 的缓存约为完整 R1 的 4.7 倍，而模型规模只有后者的十分之一左右。缓存如何分布到各张 GPU 上，取决于推理引擎及其并行模式，因此请以引擎启动时报告的 KV 缓存容量为准，而不要依赖手工计算。
但推理模型的思考过程依然会让缓存变得很重要。R1 在给出回答之前会先写出思维链，长达数千 token 的思维链很常见，因此不仅要为长提示词做规划，也要为长输出做规划。
DeepSeek V3 的 GPU 要求：哪些 8 卡服务器装得下
平均分配到 8 张 GPU 上时，FP8 权重每张 GPU 约占 84 GB，BF16 权重约占 168 GB。每张 GPU 上剩余的空间则用于 KV 缓存、激活值和运行时。
| 服务器 | 显存 | 装入 FP8 权重后每卡剩余 | BF16 权重 | 结论 | 月价 |
|---|---|---|---|---|---|
| 8× H100 | 640 GB | 无：80 GB 低于所需的 84 GB | 装不下 | 只能使用 4 位权重，或跨两台服务器运行 | US$16,900 |
| 8× RTX PRO 6000 | 768 GB | ≈ 12 GB | 装不下 | FP8 只能勉强装下，且没有 NVLink；4 位是更实际的方案 | US$10,490 |
| 8× H200 | 1,128 GB | ≈ 57 GB | 装不下 | 能宽裕运行 FP8 的最小配置 | US$23,900 |
| 8× B200 | 1,440 GB | ≈ 96 GB | 只能勉强装下，每卡剩余约 12 GB | FP8，可支撑高并发 | US$34,900 |
| 8× B300 | 2,304 GB | ≈ 204 GB | 装得下，每卡剩余约 120 GB | BF16，或 FP8 加超长上下文 | US$39,900 |
| 8× MI355X | 2,304 GB | ≈ 204 GB | 装得下，每卡剩余约 120 GB | 容量相同，基于 ROCm | US$19,900 |
表中的剩余显存是根据标称容量计算的上限；驱动、运行时和激活值缓冲区还会占用一部分。即便如此，余量仍然很大。假设推理引擎在每张 H200 上都保留一份完整的潜在向量缓存，并且每张 GPU 还剩 45 GB 可用于缓存：按每个 token 约 70 KB 计算，仍可容纳约 640,000 个 token，例如 19 个并发的 32K token 对话。把缓存切分到多张 GPU 上的引擎还能容纳更多。
如果您已经在使用 8× H100 服务器，可以通过私有网络连接两台，共 1,280 GB 显存，在这两台服务器之间做流水线并行，就能装下 FP8 权重。这种方式可行，但单台 8× H200 运维起来更简单。AMD 方案请参阅我们关于 AMD MI355X 用于 AI 的分析；NVIDIA 方面，NVIDIA H200 页面列出了 HGX H200 的配置及库存情况。
在单张 GPU 上运行 R1 蒸馏模型
在发布 R1 的同时，DeepSeek 还发布了六个稠密模型：它们以 Qwen2.5 和 Llama 3 为基座模型，使用 R1 生成的推理数据微调而成。这些模型采用常规的分组查询注意力（GQA），因此适用通常的显存计算方法。
| 蒸馏模型 | 基座模型 | 权重（BF16 / FP8） | 推荐 GPU |
|---|---|---|---|
| DeepSeek-R1-Distill-Qwen-1.5B | ≈ 3 / 1.5 GB | RTX 5090 | |
| DeepSeek-R1-Distill-Qwen-7B | ≈ 14 / 7 GB | RTX 5090 | |
| DeepSeek-R1-Distill-Llama-8B | ≈ 16 / 8 GB | RTX 5090 或 L40S | |
| DeepSeek-R1-Distill-Qwen-14B | ≈ 28 / 14 GB | BF16 用 L40S，FP8 用 RTX 5090 | |
| DeepSeek-R1-Distill-Qwen-32B | ≈ 64 / 32 GB | BF16 用 RTX PRO 6000 或 H100，FP8 用 L40S | |
| DeepSeek-R1-Distill-Llama-70B | ≈ 140 / 70 GB | FP8 用 H200，BF16 用 B200 或 B300 |
请为 KV 缓存留足空间，因为这些模型同样会写出很长的思维链。在每月 US$1,390 的 RTX PRO 6000 上运行 32B 蒸馏模型，或在每月 US$3,090 的 H200 上运行 70B 蒸馏模型，都能以较低的成本把 R1 式的推理能力投入生产环境，并了解您的用户是否需要完整模型。我们的大语言模型推理最佳 GPU 选型指南把同样的选型方法应用到了其他模型上。
使用 vLLM 或 SGLang 部署 DeepSeek R1 推理服务
vLLM 和 SGLang 都支持这一模型系列，包括 MLA 和 FP8 权重；两者都能在 NVIDIA GPU 上运行，也能通过 ROCm 在 AMD Instinct GPU 上运行。在一台 8 卡服务器上，最简单的启动方式如下：
# vLLM: tensor parallelism across all eight GPUs, context capped at 32K tokens
vllm serve deepseek-ai/DeepSeek-R1 \
--tensor-parallel-size 8 --max-model-len 32768
# SGLang: the same server
python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-R1 \
--tp 8 --trust-remote-code
# A distilled model on a single GPU
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --max-model-len 32768几点实用提示：
- 磁盘与下载。我们的 HGX 服务器配备 8 × 3.84 TB 本地 NVMe 存储，约 700 GB 的检查点放得下，还能留出空间存放转换后的副本；入站流量也不计入套餐所含流量。
- 限制上下文长度。把最大模型长度设为您的应用实际需要的值，而不是模型的完整上下文窗口；引擎会根据它能分配的缓存来校验这一设置。
- 查看启动日志。引擎在加载权重后会报告其 KV 缓存容量，规划并发量时应以这个数字为准。
- 处理思考内容。R1 会在给出最终回答之前，把推理过程写在 <think> 标签内。请为这部分内容预留输出长度，并决定您的应用是展示还是去除它。
如需完整的生产环境部署方案，请参阅我们关于使用 vLLM 自托管 LLM 推理的指南。
如何选择配置
- 以 FP8 精度在生产环境中为 R1 或 V3 提供中等并发的推理服务：8× H200。
- 高并发，或大规模处理长思维链：8× B200。
- BF16 权重或超长上下文：8× B300；如果您的技术栈能在 ROCm 上运行，也可选择月价约为 B300 一半的 8× MI355X。
- 预算有限的推理模型部署：在单张 GPU 上运行蒸馏模型，例如在 RTX PRO 6000 上运行 32B 模型，或在 H200 上以 FP8 运行 70B 模型。
我们所有的 8 卡服务器都是按月租用的裸金属服务器，付款后 10 分钟内交付。如需核算特定模型和上下文长度的需求，可以使用我们的显存计算器。
常见问题
DeepSeek R1 需要多少显存？
以 DeepSeek 发布时采用的 FP8 精度计算，权重约需 671 GB，另需 KV 缓存和运行时开销；若采用 BF16，则约需 1.3 TB。实际上，这意味着需要一整台 8 卡服务器，例如拥有 1,128 GB 显存的 8× H200。
DeepSeek R1 能在 8× H100 上运行吗？
使用 FP8 权重时不行：8× H100 只有 640 GB，少于权重所需的约 671 GB。您需要采用 4 位量化（其精度损失需要实测），或者使用两台服务器。
DeepSeek V3 的 GPU 要求与 R1 相同吗？
相同。两者都是 671B 参数的混合专家模型，每个 token 激活约 37B 参数，架构也相同，因此显存计算和服务器选择完全一样。
DeepSeek R1 蒸馏模型需要什么 GPU？
1.5B、7B 和 8B 模型可在 RTX 5090 上运行，14B 可在 L40S 上运行，32B 可在 RTX PRO 6000 或 H100 上运行，70B 则可以 FP8 精度在 H200 上运行，或以 BF16 精度在 B200 上运行。
能在 AMD GPU 上运行 DeepSeek R1 吗？
可以。8× MI355X 服务器拥有 2,304 GB HBM3e，足以容纳 FP8 或 BF16 权重，而且 vLLM 和 SGLang 都支持 ROCm。投入生产环境之前，请先用该模型验证您所用的引擎版本。
