GPU 对比
A100 与 H100 对比：有哪些变化，以及我们为何出租 H100
FullGPU 不出租 A100。本页介绍 H100 带来的变化，从支持 FP8 到显存带宽高出 64%、NVLink 更快，并说明为什么它是 2026年更值得租用的 GPU。
以下情况选择 A100：
FullGPU 未提供
- 您已经拥有或已签约租用 A100，任务在上面运行良好。
- 您的结果是在 Ampere 上验证的，必须在完全相同的硬件上复现。
- 您的模型较小，A100 已能在您要求的时间内完成工作。
以下情况选择 H100：
US$2,190/月起
- 您需要 FP8，例如把 70B 模型压缩到约 70 GB，装进单张 GPU。
- 您的推理受显存带宽限制，3.35 TB/s 与 2.0 TB/s 的差距举足轻重。
- 您在多张 GPU 上训练，需要每张 GPU 900 GB/s 的 NVLink 4。
- 您想在 FullGPU 租用 GPU：FullGPU 提供 H100，但不提供 A100。
结论同为 80 GB 显存，H100 增加了 FP8 支持，带宽高出 64%，厂商标称的 BF16 稠密算力约为 A100 的 3.2 倍，NVLink 也更快，因此它是 2026年值得租用的 GPU；A100 则主要在您已经拥有它的情况下才有意义。
并列对比
A100 与 H100 规格对比
数据为厂商公布的单卡规格。较大的数值会高亮显示，并在旁边标出差距。
| 规格项 | NVIDIA A100 SXM 80 GB | NVIDIA H100 SXM |
|---|---|---|
| 架构 | AmpereNVIDIA | HopperNVIDIA |
| 显存 | 80 GBHBM2e | 80 GBHBM3 |
| 显存带宽 | 2.04 TB/s每 GPU | 3.35 TB/s +64%每 GPU |
| FP8 | —不支持 | 1,979 TFLOPS稀疏算力 3,958 TFLOPS |
| BF16 / FP16 | 312 TFLOPS稀疏算力 624 TFLOPS | 989 TFLOPS 3.2×稀疏算力 1,979 TFLOPS |
| GPU 互联 | NVLink 3每 GPU 600 GB/s | NVLink 4 +50%每 GPU 900 GB/s |
| 外形规格 | SXM4 模组 | SXM5 模组 · HGX H100 |
| 最大功耗 | 400 W | 700 W |
算力为稠密算力；如厂商公布了稀疏算力，也一并列出。 价格以美元计，按月计算，不含增值税；折合每 GPU 小时价格按每月 730 小时计算。 所需 GPU 数量：以 8 位精度权重（FP8，不支持 FP8 时为 INT8）另加约 20% 的 KV 缓存和运行时余量计算，限单台服务器内。
| 价格 | A100 | H100 |
|---|---|---|
| 单卡月价 | FullGPU 未提供 | US$2,190 |
| 8 卡服务器月价 | FullGPU 未提供 | US$16,900 |
| ≈ 每 GPU 小时 | FullGPU 未提供 | US$3.00 |
| 每 GB 显存 | FullGPU 未提供 | US$27.38 |
| 订购 | — |
| 模型规模 | A100 | H100 |
|---|---|---|
| 8B | 1 张 GPU | 1 张 GPU |
| 14B | 1 张 GPU | 1 张 GPU |
| 32B | 1 张 GPU | 1 张 GPU |
| 70B | 1 张 GPU勉强 | 1 张 GPU勉强 |
| 120B | 2 张 GPU | 2 张 GPU |
| 235B | 4 张 GPU | 4 张 GPU |
| 405B | 8 张 GPU | 8 张 GPU |
A100 与 H100 对比之所以常被提起，是因为两款 GPU 都配备 80 GB 显存，在纸面上看似可以互换。其实并非如此。先说明一点：FullGPU 不出租 A100。我们提供 H100（单卡或 8 卡 HGX 服务器），以及更新的 Hopper 和 Blackwell GPU。本页介绍从 Ampere 到 Hopper 发生了哪些变化，帮助您判断：您已拥有的 A100，或能在别处获得的 A100，是否仍是适合您工作的工具。
A100 与 H100：简要结论
H100 保持同样的 80 GB 显存，其他几乎各方面都有提升：支持 FP8；显存带宽高出 64%（3.35 TB/s 对比约 2.0 TB/s）；NVIDIA 标称的 BF16 稠密算力约为 A100 的 3.2 倍（989 对比 312 TFLOPS）；NVLink 4 为每张 GPU 提供 900 GB/s 带宽，A100 则为 600 GB/s。如果您已经拥有 A100，并且任务没有超出它的能力范围，A100 仍然合用。若是在 2026年新租 GPU，H100 是我们提供的、也是我们推荐的 GPU。
FP8：实际使用中最大的区别
A100（Ampere）不支持 FP8。它用于训练的最快浮点格式是 BF16 或 FP16，NVIDIA 标称的稠密算力为 312 TFLOPS。H100（Hopper）引入了 FP8 Tensor Core 和 Transformer 引擎，NVIDIA 标称的 FP8 稠密算力为 1,979 TFLOPS。
FP8 有双重好处。首先，与 BF16 相比，它让权重显存减半，70B 模型从约 140 GB 降到约 70 GB，单张 80 GB 的 H100 就能装下，只是比较勉强。其次，运算本身也以 FP8 精度在 Tensor Core 上执行。在 A100 上，同一模型需要 INT8 或 4 位仅权重量化，或者两张 GPU。如今开源模型普遍提供 FP8 检查点，Hopper 可以原生运行它们。我们的 FP8 与 FP4 详解介绍了这些格式及其在精度上的取舍。
容量相同，选择却不同。常见规模模型的权重大小（约值）：
| 模型与精度 | 权重（约值） | A100（80 GB） | H100（80 GB） |
|---|---|---|---|
| BF16 精度的 8B 模型 | 16 GB | 能装下 | 能装下 |
| BF16 精度的 32B 模型 | 64 GB | 勉强装下 | 勉强装下 |
| 8 位精度的 32B 模型 | 32 GB | INT8 或仅权重量化格式 | 原生 FP8 |
| 8 位精度的 70B 模型 | 70 GB | INT8，勉强装下 | 原生 FP8，勉强装下 |
| 4 位精度的 70B 模型 | 35 GB | 4 位仅权重量化 | 4 位仅权重量化 |
显存带宽与推理
两张卡都有 80 GB 显存，但 H100 采用 3.35 TB/s 的 HBM3，而 A100 80 GB 采用约 2.0 TB/s 的 HBM2e。模型生成文本时，每个新 token 都需要从显存中读取权重和 KV 缓存，因此在小到中等批大小下，解码（decode）速度更多取决于带宽，而不是算力。H100 的带宽高出 64%，每一步读取同一模型所需的时间更短，这意味着每个 token 的等待时间更短，每张 GPU 能服务更多用户。
如果您能在别处租到 A100 算力，这就提供了一个判断性价比的简单方法。对于受带宽限制的推理，只有当 A100 的小时价格低于 H100 的约 60%（2.0 ÷ 3.35）时，它才是更便宜的选择。对于受算力限制的 BF16 训练，这一门槛降到约三分之一（312 ÷ 989）；如果您在 H100 上的任务能使用 FP8，门槛还会更低。实际任务的提速很少恰好等于厂商数据之比，因此请把这些门槛当作粗略参考，并实测您自己的工作负载。
NVLink 与多 GPU 扩展
在 8 卡 HGX 系统中，A100 采用第三代 NVLink，每张 GPU 600 GB/s；H100 采用第四代 NVLink，每张 GPU 900 GB/s。张量并行推理和优化器状态分片的训练都会在 GPU 之间持续交换数据，因此链路带宽提高 50%，每一步就能把更多时间留给计算。我们的 8 卡 H100 服务器
哪些用户可能仍在使用 A100
A100 仍是一款能力不俗的 GPU，继续使用它确实有一些实实在在的理由：
- 您已经拥有或签约租用了 A100。已经付过钱的硬件，用来运行它能胜任的任务，继续使用的成本很低。
- 可复现性。为论文或受监管的流水线在 Ampere 上验证过的结果，可能需要完全相同的硬件。
- 规模小、要求不高的任务。传统计算机视觉、小型语言模型，或已能按时完成的批处理任务，都用不着 Hopper。
- 功耗限制。A100 每张 GPU 功耗 400 W，H100 为 700 W，因此 A100 适合电力预算紧张的机房；尽管按 NVIDIA 的数据，H100 每瓦完成的 BF16 稠密计算量约为 A100 的 1.8 倍。
- 短时、偶发的任务。如果您每月只需要用几个小时 GPU，在别处按小时租用（无论是不是 A100）可能比任何按月租用的服务器都便宜；我们的按月与按小时计费对比给出了盈亏平衡点。
对于新的按月租用来说，这些理由很少能抵过 FP8 和带宽提升带来的好处。如果 80 GB 不够用，我们的 H100 与 H200 对比介绍了 141 GB 显存能带来什么；如果您的模型较小，L40S 与 H100 对比介绍了一个每月 US$890 的低成本选项。
H100 的费用与从 A100 迁移
在 FullGPU，单卡 H100 每月 US$2,190，按每月 730 小时计算约合每 GPU 小时 US$3.00，配备 24 个 vCPU、225 GB 内存、2 TB NVMe 存储和 25 Gbps 网络。8 卡 HGX H100 服务器每月 US$16,900，约合每 GPU 小时 US$2.89。从 A100 迁移到 H100 很少需要修改代码，因为 CUDA、PyTorch 和主流推理引擎对两者都支持，不过下面这份简短的检查清单会有所帮助：
- 使用基于 CUDA 12 构建的框架版本。H100 的计算能力（compute capability）为 9.0，A100 为 8.0。
- 如果自定义 CUDA 扩展只针对 Ampere 编译过，请针对计算能力 9.0 重新编译。
- 在推理引擎中试用 FP8 权重和 FP8 KV 缓存，切换之前先在您的评测集上比对输出结果。
- 重新调整批大小：带宽和算力提高后，最佳设置通常会改变。
我们的 PyTorch 与 vLLM 指南介绍了如何在我们的镜像上完成配置；这些镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。
FullGPU 出租 A100 吗？
不出租。我们出租 H100、H200、B200、B300 及其他当前一代 GPU，但不出租 A100。如果您正从 A100 迁移，H100 是最直接的升级选择，显存同样是 80 GB。
相比 A100，H100 值得选择吗？
对于新的工作，值得。在显存同为 80 GB 的情况下，它增加了 FP8 支持，显存带宽高出 64%，NVIDIA 标称的 BF16 稠密算力约为 A100 的 3.2 倍，NVLink 也更快。
A100 能运行 FP8 模型吗？
无法原生运行，因为 Ampere 没有 FP8 Tensor Core。您可以把模型转换为 INT8 或 4 位仅权重量化格式，或者用更多 GPU 以 BF16 精度运行。
A100 和 H100 的显存一样吗？
本页比较的 SXM 版本都配备 80 GB 显存，但 H100 采用 3.35 TB/s 的 HBM3，而 A100 采用约 2.0 TB/s 的 HBM2e。容量相同，读取速度却不同。
我的 A100 代码能在 H100 上运行吗？
大多数情况下可以，只要使用当前的 CUDA 版本和框架版本。我们的 Ubuntu 镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。