# A100 与 H100 对比：有哪些变化，以及我们为何出租 H100

> A100 与 H100 对比：同为 80 GB 显存，H100 支持 FP8，带宽 3.35 TB/s 对比 2.0 TB/s，并采用 NVLink 4。我们出租 H100，不出租 A100。了解有哪些变化，以及谁还在用 A100。

来源：https://fullgpu.com/zh/compare/a100-vs-h100  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

**简而言之：** 同为 80 GB 显存，H100 增加了 FP8 支持，带宽高出 64%，厂商标称的 BF16 稠密算力约为 A100 的 3.2 倍，NVLink 也更快，因此它是 2026年值得租用的 GPU；A100 则主要在您已经拥有它的情况下才有意义。

## A100 与 H100 规格对比

| 规格项 | NVIDIA A100 SXM 80 GB | NVIDIA H100 SXM |
| --- | --- | --- |
| 架构 | Ampere | Hopper |
| 显存 | 80 GB HBM2e | 80 GB HBM3 |
| 显存带宽 | 2.04 TB/s | 3.35 TB/s |
| FP4 | — | — |
| FP8 | — | 1,979 TFLOPS |
| BF16 / FP16 | 312 TFLOPS | 989 TFLOPS |
| GPU 互联 | NVLink 3 · 600 GB/s | NVLink 4 · 900 GB/s |
| 外形规格 | SXM4 模组 | SXM5 模组 · HGX H100 |
| 最大功耗 | 400 W | 700 W |

## FullGPU 月价

| 配置 | 类型 | 显存 | CPU | 内存 | 存储 | 网络 | 每月价格（美元） | 每 GPU 小时 | 供货情况 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| [NVIDIA H100 SXM](https://fullgpu.com/zh/gpus/nvidia-h100) | 单卡 | 80 GB HBM3 | 24 vCPU | 225 GB | 2 TB NVMe | 25 Gbps | US$2,190 | US$3.00 | 现货，付款后10 分钟内交付 |
| [8× NVIDIA HGX H100](https://fullgpu.com/zh/gpus/nvidia-h100) | 8 卡服务器 | 8 × 80 GB HBM3 | 2× Xeon 8480+ · 112 核 | 2 TB DDR5 | 8× 3.84 TB NVMe | 8× 400G ConnectX-7 | US$16,900 | US$2.89 | 现货，付款后10 分钟内交付 |

每 GPU 小时 = 月价 ÷ GPU 数量 ÷ 730 小时，仅用于与按小时计费的方案对比：所有套餐均按固定月价计费。

## 以下情况选择 A100：

- 您已经拥有或已签约租用 A100，任务在上面运行良好。
- 您的结果是在 Ampere 上验证的，必须在完全相同的硬件上复现。
- 您的模型较小，A100 已能在您要求的时间内完成工作。

## 以下情况选择 H100：

- 您需要 FP8，例如把 70B 模型压缩到约 70 GB，装进单张 GPU。
- 您的推理受显存带宽限制，3.35 TB/s 与 2.0 TB/s 的差距举足轻重。
- 您在多张 GPU 上训练，需要每张 GPU 900 GB/s 的 NVLink 4。
- 您想在 FullGPU 租用 GPU：FullGPU 提供 H100，但不提供 A100。

## 概览

**A100 与 H100 对比**之所以常被提起，是因为两款 GPU 都配备 80 GB 显存，在纸面上看似可以互换。其实并非如此。先说明一点：FullGPU 不出租 A100。我们提供 H100（单卡或 8 卡 HGX 服务器），以及更新的 Hopper 和 Blackwell GPU。本页介绍从 Ampere 到 Hopper 发生了哪些变化，帮助您判断：您已拥有的 A100，或能在别处获得的 A100，是否仍是适合您工作的工具。

## A100 与 H100：简要结论

H100 保持同样的 80 GB 显存，其他几乎各方面都有提升：支持 FP8；显存带宽高出 64%（3.35 TB/s 对比约 2.0 TB/s）；NVIDIA 标称的 BF16 稠密算力约为 A100 的 3.2 倍（989 对比 312 TFLOPS）；NVLink 4 为每张 GPU 提供 900 GB/s 带宽，A100 则为 600 GB/s。如果您已经拥有 A100，并且任务没有超出它的能力范围，A100 仍然合用。若是在 2026年新租 GPU，[H100](https://fullgpu.com/zh/gpus/nvidia-h100) 是我们提供的、也是我们推荐的 GPU。

## FP8：实际使用中最大的区别

A100（Ampere）不支持 FP8。它用于训练的最快浮点格式是 BF16 或 FP16，NVIDIA 标称的稠密算力为 312 TFLOPS。H100（Hopper）引入了 FP8 Tensor Core 和 Transformer 引擎，NVIDIA 标称的 FP8 稠密算力为 1,979 TFLOPS。

FP8 有双重好处。首先，与 BF16 相比，它让权重显存减半，70B 模型从约 140 GB 降到约 70 GB，单张 80 GB 的 H100 就能装下，只是比较勉强。其次，运算本身也以 FP8 精度在 Tensor Core 上执行。在 A100 上，同一模型需要 INT8 或 4 位仅权重量化，或者两张 GPU。如今开源模型普遍提供 FP8 检查点，Hopper 可以原生运行它们。我们的 [FP8 与 FP4 详解](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)介绍了这些格式及其在精度上的取舍。

容量相同，选择却不同。常见规模模型的权重大小（约值）：

| 模型与精度 | 权重（约值） | A100（80 GB） | H100（80 GB） |
| --- | --- | --- | --- |
| BF16 精度的 8B 模型 | 16 GB | 能装下 | 能装下 |
| BF16 精度的 32B 模型 | 64 GB | 勉强装下 | 勉强装下 |
| 8 位精度的 32B 模型 | 32 GB | INT8 或仅权重量化格式 | 原生 FP8 |
| 8 位精度的 70B 模型 | 70 GB | INT8，勉强装下 | 原生 FP8，勉强装下 |
| 4 位精度的 70B 模型 | 35 GB | 4 位仅权重量化 | 4 位仅权重量化 |

## 显存带宽与推理

两张卡都有 80 GB 显存，但 H100 采用 3.35 TB/s 的 HBM3，而 A100 80 GB 采用约 2.0 TB/s 的 HBM2e。模型生成文本时，每个新 token 都需要从显存中读取权重和 KV 缓存，因此在小到中等批大小下，解码（decode）速度更多取决于带宽，而不是算力。H100 的带宽高出 64%，每一步读取同一模型所需的时间更短，这意味着每个 token 的等待时间更短，每张 GPU 能服务更多用户。

如果您能在别处租到 A100 算力，这就提供了一个判断性价比的简单方法。对于受带宽限制的推理，只有当 A100 的小时价格低于 H100 的约 60%（2.0 ÷ 3.35）时，它才是更便宜的选择。对于受算力限制的 BF16 训练，这一门槛降到约三分之一（312 ÷ 989）；如果您在 H100 上的任务能使用 FP8，门槛还会更低。实际任务的提速很少恰好等于厂商数据之比，因此请把这些门槛当作粗略参考，并实测您自己的工作负载。

Hopper 还加入了内核开发者所依赖的一些特性：用于异步数据搬运的张量内存加速器（Tensor Memory Accelerator）、线程块集群，以及用于序列比对等动态规划算法的 DPX 指令。针对 Hopper 调优的注意力内核（如 FlashAttention-3）用到了这些特性，无法在 A100 上运行。

## NVLink 与多 GPU 扩展

在 8 卡 HGX 系统中，A100 采用第三代 NVLink，每张 GPU 600 GB/s；H100 采用第四代 NVLink，每张 GPU 900 GB/s。张量并行推理和优化器状态分片的训练都会在 GPU 之间持续交换数据，因此链路带宽提高 50%，每一步就能把更多时间留给计算。我们的 [8 卡 H100 服务器](https://fullgpu.com/zh/products/8-gpu-servers)为 8 张 H100 配备两颗 Xeon 8480+ 处理器（共 112 核）、2 TB DDR5 内存、8 块 3.84 TB NVMe 硬盘和 8 块 400G ConnectX-7 网卡，每月 US$16,900。

在单台 8 卡服务器上，全参数微调的上限由显存决定。使用 Adam 优化器时，不计激活值，每个参数大约需要 16–20 字节，因此无论是 A100 还是 H100，640 GB 显存都能容纳约 30B 模型的全参数微调。H100 服务器只是凭借更强的算力和更快的链路，以更短的时间完成每一步。在推理服务方面，同样的 640 GB 能装下 8 位精度的 405B 模型，即约 405 GB 权重：在 H100 上以 FP8 原生运行，在 A100 上则借助 INT8。

## 哪些用户可能仍在使用 A100

A100 仍是一款能力不俗的 GPU，继续使用它确实有一些实实在在的理由：

- **您已经拥有或签约租用了 A100。**已经付过钱的硬件，用来运行它能胜任的任务，继续使用的成本很低。
- **可复现性。**为论文或受监管的流水线在 Ampere 上验证过的结果，可能需要完全相同的硬件。
- **规模小、要求不高的任务。**传统计算机视觉、小型语言模型，或已能按时完成的批处理任务，都用不着 Hopper。
- **功耗限制。**A100 每张 GPU 功耗 400 W，H100 为 700 W，因此 A100 适合电力预算紧张的机房；尽管按 NVIDIA 的数据，H100 每瓦完成的 BF16 稠密计算量约为 A100 的 1.8 倍。
- **短时、偶发的任务。**如果您每月只需要用几个小时 GPU，在别处按小时租用（无论是不是 A100）可能比任何按月租用的服务器都便宜；我们的[按月与按小时计费对比](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing)给出了盈亏平衡点。

对于新的按月租用来说，这些理由很少能抵过 FP8 和带宽提升带来的好处。如果 80 GB 不够用，我们的 [H100 与 H200 对比](https://fullgpu.com/zh/compare/h100-vs-h200)介绍了 141 GB 显存能带来什么；如果您的模型较小，[L40S 与 H100 对比](https://fullgpu.com/zh/compare/l40s-vs-h100)介绍了一个每月 US$890 的低成本选项。

## H100 的费用与从 A100 迁移

在 FullGPU，单卡 H100 每月 US$2,190，按每月 730 小时计算约合每 GPU 小时 US$3.00，配备 24 个 vCPU、225 GB 内存、2 TB NVMe 存储和 25 Gbps 网络。8 卡 HGX H100 服务器每月 US$16,900，约合每 GPU 小时 US$2.89。从 A100 迁移到 H100 很少需要修改代码，因为 CUDA、PyTorch 和主流推理引擎对两者都支持，不过下面这份简短的检查清单会有所帮助：

- 使用基于 CUDA 12 构建的框架版本。H100 的计算能力（compute capability）为 9.0，A100 为 8.0。
- 如果自定义 CUDA 扩展只针对 Ampere 编译过，请针对计算能力 9.0 重新编译。
- 在推理引擎中试用 FP8 权重和 FP8 KV 缓存，切换之前先在您的评测集上比对输出结果。
- 重新调整批大小：带宽和算力提高后，最佳设置通常会改变。

我们的 [PyTorch 与 vLLM 指南](https://fullgpu.com/zh/docs/pytorch-vllm)介绍了如何在我们的镜像上完成配置；这些镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。

## 常见问题

### FullGPU 出租 A100 吗？

不出租。我们出租 H100、H200、B200、B300 及其他当前一代 GPU，但不出租 A100。如果您正从 A100 迁移，H100 是最直接的升级选择，显存同样是 80 GB。

### 相比 A100，H100 值得选择吗？

对于新的工作，值得。在显存同为 80 GB 的情况下，它增加了 FP8 支持，显存带宽高出 64%，NVIDIA 标称的 BF16 稠密算力约为 A100 的 3.2 倍，NVLink 也更快。

### A100 能运行 FP8 模型吗？

无法原生运行，因为 Ampere 没有 FP8 Tensor Core。您可以把模型转换为 INT8 或 4 位仅权重量化格式，或者用更多 GPU 以 BF16 精度运行。

### A100 和 H100 的显存一样吗？

本页比较的 SXM 版本都配备 80 GB 显存，但 H100 采用 3.35 TB/s 的 HBM3，而 A100 采用约 2.0 TB/s 的 HBM2e。容量相同，读取速度却不同。

### 我的 A100 代码能在 H100 上运行吗？

大多数情况下可以，只要使用当前的 CUDA 版本和框架版本。我们的 Ubuntu 镜像预装了 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit。

## 相关页面

- [租用 NVIDIA H100 SXM 服务器，每月 US$2,190 起](https://fullgpu.com/zh/gpus/nvidia-h100): 租用独享 NVIDIA H100 SXM：单卡 US$2,190/月（全天候满载约合每 GPU 小时 US$3.00），8 卡 HGX H100 US$16,900/月。固定月价，付款后 10 分钟内交付，支持加密货币支付。
- [H100 与 H200 对比：Hopper 算力相同，显存差异巨大](https://fullgpu.com/zh/compare/h100-vs-h200): H100 与 H200 对比：Hopper 算力相同，显存与带宽分别为 80 GB、3.35 TB/s 和 141 GB、4.8 TB/s。逐项比较单卡能装下什么、KV 缓存如何估算，以及每月费用。
- [L40S 与 H100 对比：哪款 GPU 更适合您的工作负载和预算？](https://fullgpu.com/zh/compare/l40s-vs-h100): L40S 与 H100 对比：48 GB GDDR6、带宽 864 GB/s，US$890/月；80 GB HBM3、带宽 3.35 TB/s，US$2,190/月。了解各自能装下哪些模型，以及最适合哪些任务。
- [H100 与 B200 对比：2026年还值得租用 H100 吗？](https://fullgpu.com/zh/compare/h100-vs-b200): H100 与 B200 对比：80 GB 对比 180 GB，3.35 TB/s 对比 8 TB/s，FP4 与 NVLink 5，价格 US$2,190/月对比 US$4,590/月。了解每个任务的成本，以及什么情况下 H100 仍是明智之选。
- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。
- [面向科研与高性能计算的 GPU 服务器，按固定月度预算租用](https://fullgpu.com/zh/solutions/research-hpc): 科研与高性能计算 GPU 服务器租用：H100、H200 和 MI355X，附厂商公布的 FP64 算力数据，支持 CUDA 或 ROCm，月度预算固定。根据您的代码选择合适的 GPU。