租用独享 RTX 5090 云服务器，每月 US$449

如果您想租用 RTX 5090 的算力，又不想自己购买和托管这张卡，我们提供运行在独享虚拟机中的一整张 GeForce RTX 5090，配备 32 GB GDDR7 显存，每月 US$449。这是我们价格最低的套餐，只要您的工作能装进 32 GB，就很适合图像生成、小型或量化的语言模型、原型开发和软件开发。下文将具体说明这一限制会在哪些地方成为瓶颈。

RTX 5090 是什么，不是什么

RTX 5090 是 NVIDIA 基于 Blackwell 架构的 GeForce 旗舰卡。根据 NVIDIA 公布的规格，它配备 32 GB GDDR7 显存，带宽 1.79 TB/s，通过 PCIe Gen5 连接，功耗最高 575 W；其 Tensor Core 支持低至 FP4 的低精度格式，NVIDIA 标称的 FP4 稀疏算力为 3,352 AI TOPS。对于能装进显存的模型，就这个价格而言，这样的带宽相当高：超过 L40S（864 GB/s）和 RTX PRO 6000（1.6 TB/s）。

不过，它仍是一张为台式机设计的 GeForce 显卡，而不是数据中心 GPU。它没有 NVLink，显存止步于 32 GB，我们也只以单卡套餐出租。请把它当作一张快速而实惠的 GPU，用于显存装得下的工作，而不是在生产环境中替代 H100。如果您是从旧款显卡升级，我们关于它与上一代 GeForce 的对比的页面介绍了两者的差异；RTX 5090 与 RTX PRO 6000 对比则说明了何时应该升级。

32 GB 显存能装下什么，装不下什么

权重大约需要每个参数 2 字节（BF16）、1 字节（FP8）或 0.5 字节（4 位），再加上 KV 缓存或激活值，以及 10–30% 的余量。

• 图像生成：约有 3.5B 参数的 SDXL 在 FP16 精度下约占 7 GB，还能留出空间运行大批次。FLUX.1 等 12B 参数的模型仅 BF16 权重就需要约 24 GB，因此在 32 GB 显存上，需要以 FP8 精度运行（约 12 GB），或者让流水线在提示词编码完成后卸载文本编码器。
• 视频生成：14B 参数的视频模型在 BF16 精度下，不计激活值就需要约 28 GB，剩余空间不够用。请使用 FP8 权重、更小的模型变体，或 96 GB 的 RTX PRO 6000。
• 大语言模型（LLM）推理：BF16 精度的 8B 模型（约 16 GB）扣除余量后还剩约 10 GB 可用于 KV 缓存；14B 模型以 FP8 精度（约 14 GB）可以装下，以 BF16 精度则装不下；32B 模型以 4 位量化（约 16 GB）可以装下。70B 模型即使采用 4 位量化（约 35 GB）也装不下。作为参考，采用分组查询注意力（GQA）的类 Llama 架构 8B 模型（32 层，8 个 KV 头）在 BF16 精度下每个 token 约需 0.13 MB KV 缓存，因此 10 GB 大约可容纳所有活跃请求合计 75,000 个 token。
• 训练：对图像模型做 LoRA、对 8B–14B 的 LLM 做 QLoRA 都可行。使用 Adam 做全参数微调时，每个参数大约需要 16–20 字节，因此只能用于约 1B 参数的模型。

该套餐的系统内存为 64 GB，这也限制了您能卸载到 CPU 的数据量，因此请把 32 GB 视为硬性上限。达到这一上限后，请将视频和大型图像流水线迁移到 RTX PRO 6000，将 LLM 推理服务迁移到 L40S 或 H100；我们的生成式媒体指南介绍了媒体工作负载的选型方法。

使用相同 CUDA 软件栈的开发机

RTX 5090 也很适合用作长期保留环境的开发机。您将获得 SSH root 权限、预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit 的 Ubuntu 22.04 或 24.04 系统，以及 1 TB NVMe 存储，下载的模型和数据集在会话之间都会保留。在这里编写的代码，可以使用相同的 CUDA 工具链在我们的 H100 和 H200 服务器上运行，前提是所有编译型扩展都同时面向这两种架构；因此，您可以先以每月 US$449 的价格做原型开发，等工作负载增长后再迁移到数据中心 GPU。

实际使用中有一点需要注意：Blackwell 需要较新的软件。请安装面向 CUDA 12.8 或更高版本的 PyTorch 构建版本；旧版本不包含适用于这款 GPU 的 CUDA 内核，会因“no kernel image is available”错误而停止运行。安装完成后，可以这样快速检查：

nvidia-smi        # GPU model, driver and CUDA version
python -c "import torch; print(torch.cuda.get_device_name(0),
  torch.version.cuda)"

支持 SSH 的编辑器可以直接连接；JupyterLab 或 ComfyUI 等 Web 工具最好通过 SSH 隧道访问，而不是开放公网端口。我们关于 NVIDIA 驱动与 CUDA 和远程开发的指南有更深入的介绍。

RTX 5090 价格：每月与每 GPU 小时

RTX 5090 每月 US$449，如果全月 730 小时都在运行，约合每 GPU 小时 US$0.62。这适合全天候运行的生成队列，或全天不间断处理流量的小型推理端点。作为开发机时，则取决于您怎么算：如果每天使用 8 小时，每月 22 个工作日（共 176 小时），折合每个使用小时约 US$2.55，换来的是一个随时可用的环境。如果只是一个周末的工作，在别处按小时计费通常更便宜。要计算您的盈亏平衡点，请用 US$449 除以您需要支付的小时单价。

价格包含每月 20 TB 出站流量，额度内不收取出站流量费；另含一个公网 IPv4 地址和一个 IPv6 /64 网段、DDoS 防护、工程师 7×24 小时支持，以及 99.9% 可用性 SLA（服务等级协议），不收取开通费。只要您保留套餐，您的环境就会一直保持您离开时的状态。

订购 RTX 5090

只需一张表单即可部署 RTX 5090：选择配置，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），免费创建账户或登录，然后用预付余额支付首月费用；余额可通过 BTC、ETH、XMR、TRON 网络上的 USDT 或 SOL 充值（了解加密货币支付的流程）。如果余额不足，可在同一表单中充值：订单会保留 72 小时，充值到账后即自动完成支付。银行卡支付即将推出。大多数订单只需要账户和已充值的余额。承诺交付日期会在付款前显示，IP 地址和 SSH 登录信息会在该日期前显示在您的控制台中。如果我们未能按期交付，您可以取消订单，全额退款至余额；任何月份也都可以免费取消。拥有运行中的服务器后，您可以在控制台提交工单，注明数量和租期，为团队或课程咨询多张 5090 的批量价格。