面向 AI 的 RTX 5090 与 RTX 4090 对比：多出的 8 GB 显存能带来什么

每当工作流程从工作站迁移到服务器时，就会遇到 RTX 4090 与 RTX 5090 怎么选的问题。先说明一个事实：FullGPU 不出租 RTX 4090。我们出租的是 GeForce RTX 5090，每月 US$449。4090 配备 24 GB GDDR6X 显存，带宽 1,008 GB/s；5090 配备 32 GB GDDR7 显存，带宽 1.79 TB/s，并借助 Blackwell 架构新增了 FP4 支持。下面来看这些差异对实际工作负载意味着什么。

RTX 4090 与 RTX 5090：简要结论

对于 AI 工作，RTX 5090 在每一项关键规格上都更强：显存多出三分之一，显存带宽高出约 78%，Tensor Core 还支持 FP4。对于 24 GB 装得下的任何工作，RTX 4090 依然完全胜任；如果您手头有一张，就继续用它来做这类工作。我们之所以把 5090 纳入产品目录，是因为多出的 8 GB 让好几类常见工作负载从“需要变通”变成了“装得下”。

多出的 8 GB 能做什么

权重大约占用：BF16 每个参数 2 字节，FP8 为 1 字节，4 位格式为 0.5 字节；另需 10–30% 用于 KV 缓存、激活值和其他开销。在 24 GB 显存上，许多常见规模的模型都刚好卡在临界点上；在 32 GB 上，它们都能装下，还留有余量。

长上下文这一行最能体现 8 GB 的价值。Llama 3.1 8B 采用分组查询注意力，有 32 层、8 个 KV 头，因此其 16 位 KV 缓存每个 token 约占 0.13 MB，完整的 128k token 上下文约需 17 GB。再加上约 8 GB 的 FP8 权重，在不计其他开销的情况下就需要大约 25 GB：超出了 4090 的上限，却在 5090 的容量之内。

在图像生成方面，多出的显存能让 12B 模型的 Transformer 保持 BF16 精度，而不必压缩到 FP8，还能为更大的批次（batch）或同时加载更多组件留出空间。对于 SDXL 级模型，两张卡的显存都绰绰有余。我们的 RTX 5090 套餐还配备 64 GB 系统内存，足以在 GPU 工作时存放被卸载的文本编码器或闲置的流水线组件。显存计算器可以针对您的模型做同样的计算。

微调也遵循同样的规律。使用 Adam 优化器做全参数微调时，不计激活值，每个参数大约需要 16–20 字节，因此在 24 GB 上最多只能微调约 1.2–1.5B 参数的模型，在 32 GB 上约为 1.6–2B。适配器方法则能走得更远。对 8B 模型做 LoRA 时，冻结的 BF16 权重约 16 GB，两张卡都装得下，而 5090 能为序列长度留出更多空间。对 32B 模型做 QLoRA 时，4 位权重约 16 GB，再加上适配器和激活值，在 24 GB 上只能勉强装下，在 32 GB 上则可以正常运行。

显存带宽：1,008 GB/s 对比 1.79 TB/s

根据 NVIDIA 公布的规格，RTX 4090 的 GDDR6X 带宽为 1,008 GB/s，RTX 5090 的 GDDR7 为 1.79 TB/s，高出约 78%。每生成一个 token，都要从显存中读取模型权重和 KV 缓存，因此在批次较小的大语言模型（LLM）推理服务中，带宽通常就是瓶颈。对于两张卡都装得下的模型，就 token 生成而言，这是最相关的硬件差异。批次更大时，推理服务会逐渐转为受算力限制，FP4 支持也正是在这时开始发挥作用。扩散模型同样更依赖算力，因此在这类模型上，提升幅度取决于精度和内核实现。

FP4 与精度格式

RTX 4090 是一款 Ada Lovelace 架构的显卡：它的 Tensor Core 最低支持到 FP8，NVIDIA 给出的 FP8 稀疏算力为 1,321 AI TOPS。RTX 5090 采用 Blackwell 架构，新增了 FP4；NVIDIA 给出的 FP4 稀疏算力为 3,352 AI TOPS。这两个标称数字基于不同的精度，因此并非同类比较：提升中有一部分来自位数减半。

当您的模型在 4 位精度下仍能保持准确度，并且您使用的框架为 Blackwell 提供了 FP4 内核时，FP4 才能真正带来收益。在 4090 上，您仍然可以通过 AWQ 或 GPTQ 等仅权重量化方法运行 4 位权重，但计算以更高的精度进行，因此显存占用会下降，算力却不会提升。我们的 FP8 与 FP4 详解介绍了准确度方面的权衡。

功耗、PCIe 与软件

RTX 5090 的额定功耗为 575 W，4090 为 450 W。在租用的服务器上，这是我们需要操心的事，而不会成为您账单上的一项费用，因为月价是固定的。5090 还升级到了 PCIe Gen5 接口，每条通道的速率是 4090 所用 Gen4 的两倍；对于需要在系统内存与 GPU 之间大量传输数据的工作负载，这一点很重要。

从 4090 迁移时有一点需要注意：Blackwell 需要 CUDA 12.8 或更高版本以及与之匹配的驱动，因此为旧版 CUDA 构建的容器和 PyTorch 版本可能需要重新构建。我们的 Ubuntu 镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit；详情请参阅 NVIDIA 驱动与 CUDA。

成本：RTX 5090 每月 US$449

我们的 RTX 5090 套餐每月 US$449，约合每 GPU 小时 US$0.62，配备 16 个 vCPU、64 GB 内存、1 TB NVMe 存储，以及每月 20 TB 出站流量（遵循合理使用原则）。这是我们价格最低的 GPU，也是使用 Blackwell 架构的入门之选。价格还包含 SSH root 权限、一个公网 IPv4 地址和一个 IPv6 /64 网段、DDoS 防护以及 7×24 小时支持，不收取开通费。如果您需要全天候运行，固定月价比按小时计费更便于规划；我们的按月与按小时 GPU 计费对比说明了每种模式各在什么情况下合理。如果您的工作超出 32 GB，下一步就是每月 US$1,390、配备 96 GB 显存的 RTX PRO 6000；请参阅 RTX 5090 与 RTX PRO 6000 对比。

如何选择

• 您手头有一张 4090，而且工作在 24 GB 内装得下：继续用它。
• 您的工作已触及 24 GB 的上限，只能靠 FP8 变通、卸载或缩短上下文来应付：对许多模型而言，5090 的 32 GB 能消除这一上限。
• 您想租用：我们提供的是 RTX 5090，最短期限一个月，取消不收取任何费用。
• 您需要超过 32 GB：两者都不必考虑，直接看 RTX PRO 6000。

这两张卡也可以很好地配合使用。在您自己的 4090 上开发和测试，再把需要 32 GB 显存或需要全天候运行的任务转移到租用的 5090 上。