对比
AI GPU 对比表(2026)
我们出租的全部 GPU 并列对比:显存、带宽、FP8 和 FP4 算力、互联、功耗和月价。再选择一组一对一对比,查看完整分析。
- 配置数
- 15
- 现可订购
- 13
- 起价
- US$449/月
- 开通费与出站流量费
- US$0
| GPU | 显存 | 带宽 | FP8 稠密 | FP4 稠密 | 互联 | 功耗 | 起价 |
|---|---|---|---|---|---|---|---|
| B300NVIDIA · Blackwell Ultra | 288 GBHBM3e | 8 TB/s | 4,500 TFLOPS | 13,500 TFLOPS | NVLink 51.8 TB/s | ≈1,100 W | US$5,190/月 · 1 张 GPU |
| B200NVIDIA · Blackwell | 180 GBHBM3e | 8 TB/s | 4,500 TFLOPS | 9,000 TFLOPS | NVLink 51.8 TB/s | ≈1,000 W | US$4,590/月 · 1 张 GPU |
| H200NVIDIA · Hopper | 141 GBHBM3e | 4.8 TB/s | 1,979 TFLOPS | — | NVLink 4900 GB/s | 700 W | US$3,090/月 · 1 张 GPU |
| H100NVIDIA · Hopper | 80 GBHBM3 | 3.35 TB/s | 1,979 TFLOPS | — | NVLink 4900 GB/s | 700 W | US$2,190/月 · 1 张 GPU |
| MI355XAMD · CDNA 4 | 288 GBHBM3e | 8 TB/s | 5,000 TFLOPS | 10,100 TFLOPSMXFP4 | Infinity Fabric | 1,400 W | US$19,900/月 · 8 张 GPU,每张约 US$2,488 |
| RTX PRO 6000NVIDIA · Blackwell | 96 GBGDDR7 ECC | 1.6 TB/s | 支持 | 4,000 AI TOPS | PCIe Gen5 x16 | 600 W | US$1,390/月 · 1 张 GPU |
| L40SNVIDIA · Ada Lovelace | 48 GBGDDR6 ECC | 864 GB/s | 733 TFLOPS | — | PCIe Gen4 x16 | 350 W | US$890/月 · 1 张 GPU |
| RTX 5090NVIDIA · Blackwell | 32 GBGDDR7 | 1.79 TB/s | 支持 | 3,352 AI TOPS | PCIe Gen5 x16 | 575 W | US$449/月 · 1 张 GPU |
| GB300 NVL72NVIDIA · Blackwell Ultra | 288 GBHBM3e | 8 TB/s | 5,000 TFLOPS | 15,000 TFLOPS | NVLink 51.8 TB/s | 机架 | US$7,990/GPU·月 |
| Vera Rubin NVL72NVIDIA · Rubin | 288 GBHBM4 | 19.2 TB/s | 17,500 TFLOPS | 35,000 TFLOPSNVFP4 | NVLink 6 | 机架 | 按申请供货开放预订 |
左右滑动表格可查看全部列
数据为厂商公布的单卡规格,算力为稠密算力。机架级系统按每 GPU 列出。价格以美元计,按月计算,不含增值税。 下载本表的 CSV 文件。
一对一对比
详细对比
数据中心 GPU
- 对比 A100 与 H100 对比:有哪些变化,以及我们为何出租 H100 同为 80 GB 显存,H100 增加了 FP8 支持,带宽高出 64%,厂商标称的 BF16 稠密算力约为 A100 的 3.2 倍,NVLink 也更快,因此它是 2026年值得租用的 GPU;A100 则主要在您已经拥有它的情况下才有意义。 阅读对比
- 对比 B200 与 B300 对比:Blackwell Ultra 值得升级吗? 对于能装进 180 GB 的 FP8 和 BF16 工作,B200 能以更低的价格完成同样的任务,而且有现货;B300 则凭借 288 GB 显存、更快的 FP4 和 800G 网络,对得起高出 13% 的价格,前提是您能围绕有限的库存做好规划。 阅读对比
- 对比 H100 与 B200 对比:2026年还值得租用 H100 吗? 如果能让 B200 保持忙碌,按单位工作量计算它的性价比更高;但对于 80 GB 装得下的模型,以及会让 B200 处于半闲置状态的工作负载,每月 US$2,190 的 H100 仍是正确的选择。 阅读对比
- 对比 H100 与 H200 对比:Hopper 算力相同,显存差异巨大 如果您的模型及其 KV 缓存在 80 GB 内装得下,H100 能提供同样的算力,每月还便宜 US$900;一旦装不下,H200 在单张 GPU 上提供 141 GB 显存,就成了更划算的选择。 阅读对比
- 对比 H200 与 B200 对比:下一台 GPU 服务器该选 Hopper 还是 Blackwell? 如果您能用上 B200 的算力、带宽和 180 GB 显存,就选 B200;如果您的模型能装进 141 GB,Hopper 也跟得上您的流量,就选 H200:每张 GPU 便宜 US$1,500,每 GB 成本也更低。 阅读对比
- 对比 L40S 与 H100 对比:哪款 GPU 更适合您的工作负载和预算? 对于中小模型、媒体处理和渲染,每月 US$890 的 L40S 就能胜任;对于训练、更大的模型和对带宽要求高的 LLM 推理服务,每月 US$2,190 的 H100 物有所值。 阅读对比
- 对比 MI355X 与 B200 对比:显存、软件与成本 如果显存是您的瓶颈,且您的软件栈能在 ROCm 上运行,MI355X 服务器以每月 US$19,900 的价格为您提供 2,304 GB HBM3e;如果您依赖仅支持 CUDA 的软件,或只需要一张 GPU,请选择 B200。 阅读对比
- 对比 MI355X 与 H200 对比:双倍显存,还是久经考验的软件栈? 如果您的软件能在 ROCm 上运行,MI355X 服务器能为您提供双倍显存和更新的精度格式,每月还比 HGX H200 便宜 US$4,000;如果是仅支持 CUDA 的软件栈,或只需一张 GPU,请选择 H200。 阅读对比
- 对比 RTX PRO 6000 与 H100 对比:要更大的显存,还是更高的带宽? 对于大型量化模型的单卡推理,RTX PRO 6000 能以更低的价格提供更大的显存;对于多 GPU 训练和受带宽限制的推理服务,H100 才是合适的工具。 阅读对比
工作站与消费级 GPU
- 对比 RTX 5090 与 RTX PRO 6000 对比:32 GB 显存什么时候够用? 如果您的工作在 32 GB 内装得下,每月 US$449 的 RTX 5090 显然更具性价比;一旦您需要更大的显存、ECC 或 MIG,RTX PRO 6000 就值得每月 US$1,390 的价格。 阅读对比
- 对比 RTX PRO 6000 与 L40S 对比:升级到 96 GB 值得吗? 当您的工作需要超过 48 GB 的显存或 FP4 时,就每月多付 US$500 选择 RTX PRO 6000;如果 48 GB 装得下,每月 US$890 的 L40S 更划算。 阅读对比
- 对比 面向 AI 的 RTX 5090 与 RTX 4090 对比:多出的 8 GB 显存能带来什么 我们出租 RTX 5090 而不是 4090;多出的 8 GB 显存、更高的带宽和 FP4 支持,让它成为更出色的 AI 显卡。如果您已经拥有一张 4090,它仍然适合 24 GB 装得下的任务。 阅读对比
如何阅读这张 AI GPU 对比表
- 显存 每张 GPU 的容量,决定了模型、上下文和批次(batch)大小究竟能不能装下。
- 带宽 模型装下之后,显存带宽决定 GPU 生成 token 的速度,因为解码时每生成一个 token 都要读取一遍权重。
- FP8 和 FP4 厂商公布的稠密张量算力,决定训练和提示词处理的速度。Blackwell GPU 和 MI355X 原生支持 FP4。
- 互联 NVLink 或 Infinity Fabric 让同一台服务器中的 GPU 作为一个显存池协同工作,用于张量并行。
- 价格 我们每台服务器的固定月价;每篇对比还附有按每月 730 小时折算的每 GPU 小时价格。
不同工作负载适合哪款 GPU
| 工作负载 | 合适之选 | 原因 |
|---|---|---|
| 图像生成与约 14B 以内的模型 | RTX 5090、L40S | 32 至 48 GB 显存,月价最低 |
| 30B 至 70B 模型的推理服务 | RTX PRO 6000、H200 | 单张 GPU 即有 96 至 141 GB 显存 |
| 70B 以内模型的微调与训练 | HGX H100、HGX H200 | 8 张 GPU 通过 NVLink 4 互联,软件栈成熟 |
| 超大模型、FP4 与大批次 | B200、B300、MI355X | 每张 GPU 180 至 288 GB 显存,原生支持 FP4 |
| 同一 NVLink 域内超过 8 张 GPU | GB300 NVL72 | 一个机架内 72 张 GPU |
要核对某个具体模型,大语言模型 GPU 要求页面列出了能运行它的每种配置,其他任何模型都可以用显存计算器估算所需规格。
这张对比表是如何制作的
规格数据是 NVIDIA 和 AMD 为每款 GPU 公布的数字:显存容量与带宽、FP8 和 FP4 稠密算力(不计稀疏)、互联方式以及最大功耗。价格是我们当前的月价,与下单页面取自同一份产品目录。每篇详细对比还会补充显存能装下什么、每 GPU 小时价格,以及各款 GPU 分别适合在什么情况下选择。HBM3e、NVLink、FP4 等术语在 GPU 术语表中有解释。
哪款 GPU 最适合大语言模型推理?
显存装得下您的模型、其 KV 缓存和一定余量,且价格最低的那一款。对于 FP8 精度的 70B 模型,单张 H200 即可同时为 8 个 8K 上下文的请求提供服务;较小的模型用 RTX 5090、L40S 或 RTX PRO 6000 就能装下。
H100 和 H200 有什么区别?
两者都是 Hopper GPU,公布的算力相同。H200 配备 141 GB HBM3e 显存,带宽 4.8 TB/s;H100 则为 80 GB HBM3,带宽 3.35 TB/s。因此 H200 能装下更大的模型和更长的上下文。
B300 比 B200 更好吗?
B300(Blackwell Ultra)配备 288 GB HBM3e 显存,B200 为 180 GB;在 NVIDIA 公布的规格中,B300 的 FP4 稠密算力也更高。此外,HGX B300 服务器采用 800G 网络。如果您的模型在 180 GB 内装得下,B200 的月价更低。
应该按每小时价格比较 GPU 吗?
先按您的工作需要来比较:首先是显存,其次是带宽或算力。在装得下的 GPU 中,再按您的实际用量比较月价;GPU 成本计算器可以换算任何小时报价。