大语言模型 GPU 要求
Llama 3.1 8B GPU 要求：显存、GPU 与服务器
Llama 3.1 8B 在 BF16、FP8 和 4 位精度下需要多少显存、KV 缓存如何随上下文增长、微调需要多少显存，以及哪些服务器能运行它，并附月价。
- 参数量
- 8B
- 架构
- 稠密 32 层
- KV 头数
- 8 × 128 维
- 上下文
- 128k 个 token
可运行该模型的最低价服务器
权重精度 BF16 · 8k 上下文 · 8 个并发请求 · 共约 27 GB
-
32 GB GDDR7 · 单卡
US$449/月
-
NVIDIA L40S 现货
48 GB GDDR6 · 单卡
US$890/月
-
96 GB GDDR7 · 单卡
US$1,390/月
付款前显示承诺交付日期。未能按期交付？全额退款。
推理显存
Llama 3.1 8B 需要多少显存
权重占用 = 参数量 × 每个参数的字节数。提供推理服务时，还要加上 KV 缓存和约 10% 的运行时开销；下表总量假设上下文为 8k、并发请求为 8 个，并使用 BF16 KV 缓存。
| 精度 | 权重 | 推理总显存 | 可装下的最低价服务器 |
|---|---|---|---|
| BF16 每个参数 2 字节 | 16 GB | 27 GB | NVIDIA GeForce RTX 5090 US$449/月 |
| FP8 每个参数 1 字节 | 8.0 GB | 18 GB | NVIDIA GeForce RTX 5090 US$449/月 |
| 4 位 每个参数 0.5 字节 | 4.0 GB | 14 GB | NVIDIA GeForce RTX 5090 US$449/月 |
适用于 llama.cpp 和 Ollama 的 GGUF 量化版本
| 量化类型 | 权重 | 最小 GPU（单个 8k 请求） |
|---|---|---|
| Q8_0 每个权重约 8.5 位 | 8.5 GB | NVIDIA GeForce RTX 5090 32 GB · US$449/月 |
| Q6_K 每个权重约 6.56 位 | 6.6 GB | NVIDIA GeForce RTX 5090 32 GB · US$449/月 |
| Q5_K_M 每个权重约 5.69 位 | 5.7 GB | NVIDIA GeForce RTX 5090 32 GB · US$449/月 |
| Q4_K_M 每个权重约 4.85 位 | 4.9 GB | NVIDIA GeForce RTX 5090 32 GB · US$449/月 |
以上为估算值，预留约 8% 的显存空闲。量化权重还会把部分层保留为更高精度，各框架的开销也各不相同；请在启动时查看推理引擎报告的空闲显存。通过张量并行拆分到多张 GPU 上的模型，在 NVLink 服务器（HGX）上运行效果最佳；8× RTX PRO 6000 服务器的 GPU 之间通过 PCIe 互联。
GPU 与服务器
哪些 GPU 能运行 Llama 3.1 8B？
可以。采用 BF16，单张 NVIDIA GeForce RTX 5090（32 GB，FullGPU 每月 US$449）即可运行 Llama 3.1 8B，支持 8k 上下文和 8 个并发请求。 下表逐一核对了我们出租的每种配置在各精度下的情况。
| 配置 | BF16 | FP8 | 4 位 |
|---|---|---|---|
| NVIDIA GeForce RTX 5090 32 GB · US$449/月 | 可以 | 可以 | 可以 |
| NVIDIA L40S 48 GB · US$890/月 | 可以 | 可以 | 可以 |
| NVIDIA H100 SXM 80 GB · US$2,190/月 | 可以 | 可以 | 可以 |
| NVIDIA RTX PRO 6000 Blackwell 96 GB · US$1,390/月 | 可以 | 可以 | 可以 |
| NVIDIA H200 141 GB · US$3,090/月 | 可以 | 可以 | 可以 |
| NVIDIA B200 180 GB · US$4,590/月 | 可以 | 可以 | 可以 |
| NVIDIA B300 288 GB · US$5,190/月 | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX H100 8 × 80 GB · US$16,900/月 | 可以 | 可以 | 可以 |
| 8× NVIDIA RTX PRO 6000 Blackwell 8 × 96 GB · US$10,490/月 | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX H200 8 × 141 GB · US$23,900/月 | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX B200 8 × 180 GB · US$34,900/月 | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX B300 8 × 288 GB · US$39,900/月 | 可以 | 可以 | 可以 |
| 8× AMD Instinct MI355X 8 × 288 GB · US$19,900/月 | 可以 | 可以 | 可以 |
可以：8 个并发请求，每个请求 8k 上下文。1 个请求：同一时间只能处理一个 8k 请求。—：权重、KV 缓存和运行时装不下。计算公式与上方各表相同，并预留约 8% 的显存空闲。
KV 缓存
Llama 3.1 8B 在不同上下文长度下的 KV 缓存
每个在途 token 都会在每一层存储键和值：2 × 32 层 × 8 个 KV 头 × 128 维 × 2 字节 = 每个 token 128 KB（BF16）。 改用 FP8 KV 缓存，这些数字会减半。
| 每个请求的上下文 | 1 个请求 | 8 个请求 | 32 个请求 |
|---|---|---|---|
| 4k 个 token | 537 MB | 4.3 GB | 17 GB |
| 32k 个 token | 4.3 GB | 34 GB | 137 GB |
| 128k 个 token | 17 GB | 137 GB | 550 GB |
微调
微调 Llama 3.1 8B 所需的显存
以下为调整批次大小和序列长度之前的粗略总量：QLoRA 将基座模型权重保持为 4 位，LoRA 冻结 BF16 权重，使用 AdamW 的全参数微调每个参数约需 16 字节，另加激活值，并分片到多张 GPU 上。
| 方式 | 约需显存 | 可装下的最低价服务器 |
|---|---|---|
| QLoRA（4 位基座模型） | 6.1 GB | NVIDIA GeForce RTX 5090 US$449/月 |
| LoRA（BF16 基座模型） | 20 GB | NVIDIA GeForce RTX 5090 US$449/月 |
| 全参数微调（AdamW，混合精度） | 154 GB | NVIDIA B200 US$4,590/月 |
关于 Llama 3.1 8B
Meta 的 Llama 3.1 8B 是许多团队起步时选用的小型稠密模型：32 层，采用 8 个 KV 头的分组查询注意力，上下文窗口为 128k 个 token。它足够小，单张显卡即可以 BF16 精度提供推理服务，因此真正的选型问题在于：针对您的上下文长度和并发量，需要多少 KV 缓存。
本页所有数字均根据该模型公布的架构参数，使用与我们显存计算器相同的公式算出；您可以在计算器中调整上下文长度、并发数和 KV 缓存精度。
模型概况
- 开发者
- Meta
- 许可证
- Llama 3.1 社区许可证
- 类型
- 稠密
- 参数量
- 8B
- 层数
- 32
- 注意力机制
- 32 个查询头，8 个 KV 头分组查询注意力，头维度 128
- 上下文窗口
- 128k 个 token
Llama 3.1 8B 需要多少显存？
权重在 BF16 下约需 16 GB，FP8 下约需 8.0 GB，4 位下约需 4.0 GB，另需 KV 缓存：使用 BF16 缓存时，上下文中每 1,000 个 token 约占 131 MB。采用 BF16，以 8k 上下文和 8 个并发请求提供推理服务，总计约需 27 GB。
Llama 3.1 8B 能在单张 GPU 上运行吗？
可以。采用 BF16，单张 NVIDIA GeForce RTX 5090（32 GB）即可提供推理服务，支持 8k 上下文和 8 个并发请求。上下文更长或用户更多时，KV 缓存需要更多显存，请在显存计算器中核算您的具体情况。
运行 Llama 3.1 8B 最便宜的 FullGPU 服务器是哪款？
采用 BF16，以 8k 上下文和 8 个并发请求提供推理服务时，每月 US$449 的 NVIDIA GeForce RTX 5090 是装得下的配置中价格最低的。如需估算其他上下文长度和并发量，请使用显存计算器。
微调 Llama 3.1 8B 需要多少显存？
部署 GPU 服务器
在独享 GPU 上运行 Llama 3.1 8B。
选择配置，在同一表单中创建账户，并用余额支付首月费用。承诺交付日期会在您付款前显示，未能按期交付即全额退款。
- 付款前显示承诺交付日期
- 任何月份均可取消
- 加密货币支付，最高加赠 50%