# DeepSeek R1 硬件要求：R1 与 V3 所需的 GPU 和显存

> DeepSeek R1 硬件要求详解：FP8 权重约需 671 GB 显存，还要留出 KV 缓存空间。了解哪些 8 卡 GPU 服务器能装下 R1 和 V3，以及各个蒸馏模型分别该选哪款 GPU。

来源：https://fullgpu.com/zh/blog/deepseek-hardware-requirements  
更新日期：2026-10-23  
发布方：FullGPU (https://fullgpu.com/)

DeepSeek R1 的硬件要求可以归结为一个数字：以 FP8 精度（DeepSeek 发布权重时采用的精度）存放权重约需 671 GB 显存，另外还要为 KV 缓存留出空间。因此，完整模型需要一台 8 卡服务器，而不是单张卡。DeepSeek-V3 的架构和规模与之相同，因此 GPU 要求也一样。R1 蒸馏模型则是另一回事：它们是参数量从 1.5B 到 70B 不等的普通稠密模型，每个都能在单张 GPU 上运行。本指南涵盖这两类模型，并附上具体计算。

## DeepSeek R1 硬件要求一览

- **架构:** 混合专家（MoE），总参数量 671B，每个 token 激活约 37B
- **发布精度:** FP8（E4M3）权重，采用分块缩放因子
- **权重显存占用:** FP8 约 671 GB，BF16 约 1.3 TB
- **KV 缓存:** 得益于多头潜在注意力，每个 token 占用很小
- **能宽裕运行的最小服务器:** 8× H200，1,128 GB
- **可容纳 BF16 或超长上下文:** 8× B300 或 8× MI355X，2,304 GB
- **装不下 FP8 权重:** 8× H100，640 GB
- **R1 蒸馏模型:** 1.5B 至 70B 参数，每个模型单张 GPU 即可

DeepSeek-R1 是在 DeepSeek-V3 基座模型的基础上训练而成的，因此下文的显存计算对两者都适用。

## 为什么只激活 37B 参数，仍需要 671 GB

在混合专家模型中，大多数层把一个大型前馈模块替换成许多较小的专家。DeepSeek-V3 和 R1 的每个 MoE 层包含 256 个路由专家和 1 个共享专家，路由器会为每个 token 从路由专家中选出 8 个。不同的 token 会选择不同的专家，因此所有专家都必须常驻显存，随时准备处理下一个需要它们的 token。

37B 激活参数决定的是每生成一个 token 所需的计算量和读取的字节数，这也是为什么对于这种规模的模型来说，解码的开销相对较低。但它们并不决定您需要多少显存。有些运行时会改为把专家放在 CPU 内存中，但这样每个 token 都要等待慢得多的系统内存或 CPU 计算：做实验尚可，用于生产环境的推理服务则不太合适。

## 权重所需显存：FP8、BF16 与 4 位

DeepSeek 使用 FP8 混合精度框架训练 V3，并以 FP8 格式发布权重，量化后的权重矩阵中每个 128 × 128 的块都有一个缩放因子。按每个参数 1 字节计算，权重约占 671 GB。发布的检查点还包含一个 14B 参数的多 token 预测（MTP）模块，总计 685B 参数，因此请预留约 700 GB 的磁盘空间。

| 精度 | 每个参数的字节数 | 权重（约） | 我们产品目录中能宽裕装下的最小配置 |
| --- | --- | --- | --- |
| FP8（官方发布精度） | 1 | 671 GB | 8× H200（1,128 GB） |
| BF16 | 2 | 1,342 GB | 8× B300 或 8× MI355X（2,304 GB） |
| 4 位（由您自己或社区量化） | 约 0.5，另加缩放因子 | 约 340 GB 起 | 8× H100（640 GB）或 8× RTX PRO 6000（768 GB） |

有两点容易被忽略。第一，由于官方权重是 FP8 格式，BF16 副本只是精度上转换的结果：它用两倍的显存保存了基本相同的信息。它适用于不支持 FP8 的软件路径和某些微调流程，并不能带来更好的回答。第二，降到 FP8 以下确实会改变模型。4 位版本让 8× H100 或 8× RTX PRO 6000 也能运行完整模型，但在依赖这类版本之前，请先在您自己的任务上测量质量。我们关于 [FP8 与 4 位格式工作原理](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)的解读文章介绍了其中的权衡。

## KV 缓存：为什么多头潜在注意力能让它保持很小

标准的多头注意力会为每个 token 在每一层的每个注意力头缓存一个键向量和一个值向量。多头潜在注意力（MLA）则改为缓存一个压缩后的潜在向量：每层、每个 token 缓存 512 个潜在值，外加一个 64 维的位置键，共 576 个值，由全部 128 个注意力头共享。

按 61 层、BF16 缓存计算：61 × 576 × 2 字节 = 70,272 字节，即每个 token 约 70 KB。

- 单个 32K token 序列：约 2.3 GB。
- 单个 128K token 序列：约 9.2 GB。

作为对比，70B 蒸馏模型以 Llama 70B 为基座，有 80 层、8 个 KV 头，每个头 128 维，在 BF16 精度下每个 token 约需 0.33 MB：每个 token 的缓存约为完整 R1 的 4.7 倍，而模型规模只有后者的十分之一左右。缓存如何分布到各张 GPU 上，取决于推理引擎及其并行模式，因此请以引擎启动时报告的 KV 缓存容量为准，而不要依赖手工计算。

但推理模型的思考过程依然会让缓存变得很重要。R1 在给出回答之前会先写出思维链，长达数千 token 的思维链很常见，因此不仅要为长提示词做规划，也要为长输出做规划。

## DeepSeek V3 的 GPU 要求：哪些 8 卡服务器装得下

平均分配到 8 张 GPU 上时，FP8 权重每张 GPU 约占 84 GB，BF16 权重约占 168 GB。每张 GPU 上剩余的空间则用于 KV 缓存、激活值和运行时。

| 服务器 | 显存 | 装入 FP8 权重后每卡剩余 | BF16 权重 | 结论 | 月价 |
| --- | --- | --- | --- | --- | --- |
| 8× H100 | 640 GB | 无：80 GB 低于所需的 84 GB | 装不下 | 只能使用 4 位权重，或跨两台服务器运行 | US$16,900 |
| 8× RTX PRO 6000 | 768 GB | ≈ 12 GB | 装不下 | FP8 只能勉强装下，且没有 NVLink；4 位是更实际的方案 | US$10,490 |
| 8× H200 | 1,128 GB | ≈ 57 GB | 装不下 | 能宽裕运行 FP8 的最小配置 | US$23,900 |
| 8× B200 | 1,440 GB | ≈ 96 GB | 只能勉强装下，每卡剩余约 12 GB | FP8，可支撑高并发 | US$34,900 |
| 8× B300 | 2,304 GB | ≈ 204 GB | 装得下，每卡剩余约 120 GB | BF16，或 FP8 加超长上下文 | US$39,900 |
| 8× MI355X | 2,304 GB | ≈ 204 GB | 装得下，每卡剩余约 120 GB | 容量相同，基于 ROCm | US$19,900 |

表中的剩余显存是根据标称容量计算的上限；驱动、运行时和激活值缓冲区还会占用一部分。即便如此，余量仍然很大。假设推理引擎在每张 H200 上都保留一份完整的潜在向量缓存，并且每张 GPU 还剩 45 GB 可用于缓存：按每个 token 约 70 KB 计算，仍可容纳约 640,000 个 token，例如 19 个并发的 32K token 对话。把缓存切分到多张 GPU 上的引擎还能容纳更多。

如果您已经在使用 8× H100 服务器，可以通过私有网络连接两台，共 1,280 GB 显存，在这两台服务器之间做流水线并行，就能装下 FP8 权重。这种方式可行，但单台 8× H200 运维起来更简单。AMD 方案请参阅我们关于 [AMD MI355X 用于 AI](https://fullgpu.com/zh/blog/amd-mi355x-for-ai) 的分析；NVIDIA 方面，[NVIDIA H200 页面](https://fullgpu.com/zh/gpus/nvidia-h200)列出了 HGX H200 的配置及库存情况。

## 在单张 GPU 上运行 R1 蒸馏模型

在发布 R1 的同时，DeepSeek 还发布了六个稠密模型：它们以 Qwen2.5 和 Llama 3 为基座模型，使用 R1 生成的推理数据微调而成。这些模型采用常规的分组查询注意力（GQA），因此适用通常的显存计算方法。

| 蒸馏模型 | 基座模型 | 权重（BF16 / FP8） | 推荐 GPU |
| --- | --- | --- | --- |
| DeepSeek-R1-Distill-Qwen-1.5B | Qwen2.5-Math-1.5B | ≈ 3 / 1.5 GB | RTX 5090 |
| DeepSeek-R1-Distill-Qwen-7B | Qwen2.5-Math-7B | ≈ 14 / 7 GB | RTX 5090 |
| DeepSeek-R1-Distill-Llama-8B | Llama-3.1-8B | ≈ 16 / 8 GB | RTX 5090 或 L40S |
| DeepSeek-R1-Distill-Qwen-14B | Qwen2.5-14B | ≈ 28 / 14 GB | BF16 用 L40S，FP8 用 RTX 5090 |
| DeepSeek-R1-Distill-Qwen-32B | Qwen2.5-32B | ≈ 64 / 32 GB | BF16 用 RTX PRO 6000 或 H100，FP8 用 L40S |
| DeepSeek-R1-Distill-Llama-70B | Llama-3.3-70B-Instruct | ≈ 140 / 70 GB | FP8 用 H200，BF16 用 B200 或 B300 |

请为 KV 缓存留足空间，因为这些模型同样会写出很长的思维链。在每月 US$1,390 的 RTX PRO 6000 上运行 32B 蒸馏模型，或在每月 US$3,090 的 H200 上运行 70B 蒸馏模型，都能以较低的成本把 R1 式的推理能力投入生产环境，并了解您的用户是否需要完整模型。我们的[大语言模型推理最佳 GPU 选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference)把同样的选型方法应用到了其他模型上。

## 使用 vLLM 或 SGLang 部署 DeepSeek R1 推理服务

vLLM 和 SGLang 都支持这一模型系列，包括 MLA 和 FP8 权重；两者都能在 NVIDIA GPU 上运行，也能通过 ROCm 在 AMD Instinct GPU 上运行。在一台 8 卡服务器上，最简单的启动方式如下：

```
# vLLM: tensor parallelism across all eight GPUs, context capped at 32K tokens
vllm serve deepseek-ai/DeepSeek-R1 \
  --tensor-parallel-size 8 --max-model-len 32768

# SGLang: the same server
python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-R1 \
  --tp 8 --trust-remote-code

# A distilled model on a single GPU
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --max-model-len 32768
```

几点实用提示：

- **磁盘与下载。**我们的 HGX 服务器配备 8 × 3.84 TB 本地 NVMe 存储，约 700 GB 的检查点放得下，还能留出空间存放转换后的副本；入站流量也不计入套餐所含流量。
- **限制上下文长度。**把最大模型长度设为您的应用实际需要的值，而不是模型的完整上下文窗口；引擎会根据它能分配的缓存来校验这一设置。
- **查看启动日志。**引擎在加载权重后会报告其 KV 缓存容量，规划并发量时应以这个数字为准。
- **处理思考内容。**R1 会在给出最终回答之前，把推理过程写在 <think> 标签内。请为这部分内容预留输出长度，并决定您的应用是展示还是去除它。

如需完整的生产环境部署方案，请参阅我们关于[使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm)的指南。

## 如何选择配置

- **以 FP8 精度在生产环境中为 R1 或 V3 提供中等并发的推理服务：**8× H200。
- **高并发，或大规模处理长思维链：**8× B200。
- **BF16 权重或超长上下文：**8× B300；如果您的技术栈能在 ROCm 上运行，也可选择月价约为 B300 一半的 8× MI355X。
- **预算有限的推理模型部署：**在单张 GPU 上运行蒸馏模型，例如在 RTX PRO 6000 上运行 32B 模型，或在 H200 上以 FP8 运行 70B 模型。

我们所有的 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)都是按月租用的裸金属服务器，付款后 10 分钟内交付。如需核算特定模型和上下文长度的需求，可以使用我们的[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)。

## 常见问题

### DeepSeek R1 需要多少显存？

以 DeepSeek 发布时采用的 FP8 精度计算，权重约需 671 GB，另需 KV 缓存和运行时开销；若采用 BF16，则约需 1.3 TB。实际上，这意味着需要一整台 8 卡服务器，例如拥有 1,128 GB 显存的 8× H200。

### DeepSeek R1 能在 8× H100 上运行吗？

使用 FP8 权重时不行：8× H100 只有 640 GB，少于权重所需的约 671 GB。您需要采用 4 位量化（其精度损失需要实测），或者使用两台服务器。

### DeepSeek V3 的 GPU 要求与 R1 相同吗？

相同。两者都是 671B 参数的混合专家模型，每个 token 激活约 37B 参数，架构也相同，因此显存计算和服务器选择完全一样。

### DeepSeek R1 蒸馏模型需要什么 GPU？

1.5B、7B 和 8B 模型可在 RTX 5090 上运行，14B 可在 L40S 上运行，32B 可在 RTX PRO 6000 或 H100 上运行，70B 则可以 FP8 精度在 H200 上运行，或以 BF16 精度在 B200 上运行。

### 能在 AMD GPU 上运行 DeepSeek R1 吗？

可以。8× MI355X 服务器拥有 2,304 GB HBM3e，足以容纳 FP8 或 BF16 权重，而且 vLLM 和 SGLang 都支持 ROCm。投入生产环境之前，请先用该模型验证您所用的引擎版本。

## 相关页面

- [8 卡 GPU 服务器租用：裸金属 NVIDIA HGX 与 AMD Instinct](https://fullgpu.com/zh/products/8-gpu-servers): 裸金属 8 卡 GPU 服务器租用：可选 NVIDIA HGX B300、B200、H200、H100，AMD MI355X 或 8× RTX PRO 6000。每月含 50 TB 流量，按月租用，付款后 10 分钟内交付。
- [租用 NVIDIA H200 与 HGX H200 服务器，每月 US$3,090 起](https://fullgpu.com/zh/gpus/nvidia-h200): 租用独享 NVIDIA H200（141 GB）：单卡 US$3,090/月（全天候满载约合每 GPU 小时 US$4.23），8 卡 HGX H200 US$23,900/月。固定月价，使用加密货币支付。
- [如何使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm): 使用 vLLM 自托管 LLM 推理：本文介绍如何估算所需的 GPU，运行兼容 OpenAI API 的推理服务器，调优 FP8、前缀缓存和并行策略，并为生产环境做好安全加固。
- [2026年大语言模型推理最佳 GPU：按模型规模选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference): 大语言模型（LLM）推理的最佳 GPU 取决于模型规模、精度、KV 缓存和显存带宽。使用我们的 2026年选型表，在从 RTX 5090 到 8× B300 的各款配置中做出选择。