RTX 5090 与 RTX PRO 6000 对比：32 GB 显存什么时候够用？

在 RTX 5090 与 RTX PRO 6000 之间做选择，比大多数 GPU 对比都简单，因为两张卡都基于 NVIDIA Blackwell 架构。GeForce RTX 5090 是一款消费级显卡，配备 32 GB GDDR7 显存。RTX PRO 6000 Blackwell Server Edition 是一款专业卡，配备 96 GB 带 ECC 的 GDDR7 显存，并支持 MIG。我们出租的 RTX 5090 每月 US$449，RTX PRO 6000 每月 US$1,390。真正的问题在于您的工作能否装进 32 GB。

RTX 5090 与 RTX PRO 6000：简要结论

如果您的模型和数据装进 32 GB 后还有余量，RTX 5090 只需约三分之一的价格就能胜任。这涵盖了大多数图像生成任务、7B 到 14B 的语言模型，以及约 30B 参数的 4 位模型。如果您需要更大的显存，或者生产环境推理服务需要 ECC 和 MIG，请选择 RTX PRO 6000。两者之间几乎没有折中地带：一旦任务超出 32 GB，您就只能卸载到系统内存、采用更激进的量化或拆分工作，而每一种做法都有代价。此外，我们的 RTX 5090 套餐配备 64 GB 系统内存，这也限制了您能卸载的数据量。

32 GB 什么时候够用

粗略估算，权重占用为：BF16 每个参数 2 字节，FP8 为 1 字节，4 位格式为 0.5 字节；另需 10–30% 用于 KV 缓存、激活值和其他开销。

对于前五行，RTX PRO 6000 多出的显存换来的是更大的批次（batch）和更长的上下文，而不是能不能运行。FP8 精度的 14B 模型在 5090 上还剩约 18 GB 可用于 KV 缓存和其他开销，足以支撑少量并发对话。用一个更小的模型来具体算一算：BF16 精度的 Llama 3.1 8B 约占 16 GB，其 16 位 KV 缓存每个 token 约占 0.13 MB。在不计其他开销的情况下，5090 剩余的 16 GB 大约可同时容纳 15 个 8k token 的对话；RTX PRO 6000 剩余的 80 GB 大约可容纳 75 个。对 7B 到 8B 模型做 LoRA 微调、对 14B 模型做 QLoRA，也都能在 32 GB 内完成。

什么时候需要 96 GB

• 70B 级模型。即使采用 4 位精度，70B 模型的权重也需要约 35 GB。我们的单卡套餐是相互独立的虚拟机，因此您无法像在同一台服务器内那样，把一个模型拆分到两张 RTX 5090 上。
• FP8 或 BF16 精度的 32B 级模型。32 GB 的 FP8 权重在还没算上 KV 缓存之前，就已经占满了 5090。
• 视频生成。视频模型的注意力计算覆盖所有帧，因此显存占用会随分辨率和片段长度增长。有了 96 GB，您可以让模型保持 BF16 精度，无需卸载就能生成更长的片段。
• 长上下文和大量用户。装入 35 GB 的 4 位 70B 权重后，RTX PRO 6000 仍有约 61 GB 可用于 KV 缓存。
• 大型渲染场景。GPU 渲染器需要把场景放进显存；超过 32 GB 后，它们会退回到较慢的核外（out-of-core）模式，或者直接失败。

我们的大语言模型显存指南详细讲解了这些数字背后的 KV 缓存计算。

架构相同，带宽相近

两张卡都是 Blackwell GPU，Tensor Core 支持的格式相同（包括 FP8 和 FP4），CUDA 支持也相同，因此能在其中一张上运行的代码，在另一张上同样能运行。根据 NVIDIA 公布的规格，RTX 5090 的显存带宽为 1.79 TB/s，RTX PRO 6000 约为 1.6 TB/s，因此 5090 的带宽实际上还要高出约 12%。算力方面，NVIDIA 给出的 FP4 稀疏算力，RTX 5090 为 3,352 AI TOPS，RTX PRO 6000 为 4 PFLOPS，后者在纸面上高出约 20%。

功耗也很接近：5090 为 575 W，RTX PRO 6000 最高 600 W。两者都没有 NVLink，都采用 PCIe Gen5。真正把它们区分开来的规格，是显存容量和专业功能。

ECC、MIG 与专业卡

NVIDIA 为 RTX PRO 6000 的显存规定了 ECC。ECC 能检测并纠正单比特显存错误，这对长时间训练、生产环境推理，以及任何静默错误比崩溃代价更高的任务都很重要。RTX 5090 则是一款 GeForce 显卡，面向消费者设计和销售。

RTX PRO 6000 还支持 MIG：根据 NVIDIA 公布的规格，每张卡最多可划分为四个相互隔离的实例，每个实例都拥有独立的显存和算力。例如，划分为四个约 24 GB 的切片，在严格隔离的条件下分别为四个小模型提供推理服务。我们出租的是整张 GPU，从不自行分区；如果您计划使用 MIG，请在订单备注中告知我们的工程师。

RTX PRO 6000 也是我们以 8 卡服务器形式提供的显卡：768 GB 显存，每月 US$10,490。RTX 5090 只提供单卡套餐。

每月成本与性价比

RTX 5090 每月 US$449，约合每 GPU 小时 US$0.62。RTX PRO 6000 每月 US$1,390，约合 US$1.90。按每 GB 显存计算，两者几乎相同：每月约 US$14.03 对比 US$14.48。您并不需要为专业卡的显存支付溢价，只是要一次性买下一整块 96 GB。

因此，两者的区别在于显存的组合形态。三张 RTX 5090 每月 US$1,347，比一张 RTX PRO 6000 便宜 US$43，为您提供三张相互独立的 32 GB GPU：非常适合并行图像生成，或三个独立的小模型推理端点。一张 RTX PRO 6000 则为您提供一整张 96 GB GPU，也是两种方案中唯一能装下 70B 模型的选择。每个单卡套餐每月还包含 20 TB 出站流量（遵循合理使用原则），因此三个 RTX 5090 套餐所含的流量是一个 RTX PRO 6000 套餐的三倍。我们的生成式媒体页面介绍了这两种配置，GPU 成本计算器则可以比较总费用。

如何选择

1. 测量您最繁重任务的峰值显存占用。如果低于约 26 GB，就选择 RTX 5090，同时还能留有余量。
2. 如果生产环境需要 ECC 或 MIG，无论显存需求多大，都选择 RTX PRO 6000。
3. 如果介于 26 到 32 GB 之间，先在 5090 上测试：最短期限为一个月，任何月份均可免费取消。
4. 如果超过 32 GB，或计划运行 70B 级模型，请选择 RTX PRO 6000。可以用显存计算器核对显存需求。