L40S 与 H100 对比：哪款 GPU 更适合您的工作负载和预算？

L40S 与 H100 对比的关键，在于让 GPU 与任务相匹配。L40S 是一款 Ada Lovelace 显卡，配备 48 GB GDDR6 显存，带宽 864 GB/s，采用 PCIe Gen4 接口，专为兼顾 AI 和图形工作负载而设计。H100 SXM 是 Hopper 架构的计算加速器，配备 80 GB HBM3 显存，带宽 3.35 TB/s，并支持 NVLink。在 FullGPU，L40S 每月 US$890，H100 每月 US$2,190；因此选对了，每张 GPU 每月可省下 US$1,300，选错了，手里的卡可能并不适合这项工作。

L40S 与 H100：简要结论

对于能装进 48 GB 的模型推理、图像和视频生成，以及渲染和转码，请选择 L40S。对于训练、全参数微调、超过 48 GB 的模型，以及由带宽决定速度的大语言模型（LLM）推理服务，请选择 H100。H100 没有 RT Core，也没有硬件视频编码器，因此在渲染和视频工作中，L40S 虽然价格更低，却是更合适的选择。

显存：每张 GPU 能装下什么

权重每个参数大约占 2 字节（BF16）、1 字节（FP8）或 0.5 字节（4 位格式），两款 GPU 都在硬件上支持 FP8。下表中的剩余显存尚未扣除 KV 缓存和运行时开销，因此请预留其中的 10–30%。

剩余显存还决定了并发量。以一个采用常见结构、使用分组查询注意力（GQA）的 14B 模型为例（48 层，8 个 KV 头，每个头 128 维）：在 BF16 精度下，其 KV 缓存每个 token 约需 0.2 MB。扣除运行时开销后，L40S 上约有 14 GB 可用于缓存，约合 70,000 个 token，即可同时进行八个 8K token 的对话。H100 约有 44 GB，约合 220,000 个 token，即约 27 个这样的对话。

图像和视频模型通常比 LLM 小，但高分辨率和长视频片段需要显存来存放激活值。SDXL 和 Flux 级模型等图像模型连同各自的文本编码器都能装进 48 GB，而最大的视频模型可能需要更多显存。如果您需要超过 48 GB 显存，又不想换用 Hopper，可以选择配备 96 GB GDDR7 显存、带宽 1.6 TB/s 的 RTX PRO 6000，每月 US$1,390；请参阅 RTX PRO 6000 与 H100 对比。显存计算器可以针对您的模型算出这些数字。

带宽与算力：H100 为什么更贵

H100 的显存带宽约为 L40S 的 3.9 倍（3.35 TB/s 对比 864 GB/s）；根据 NVIDIA 的数据，其 FP8 和 BF16 稠密吞吐量约为 L40S 的 2.7 倍（FP8 为 1,979 对比 733 TFLOPS，BF16 为 989 对比 362 TFLOPS）。对于 LLM 推理服务，带宽差距最为关键，因为每生成一个 token，都要从显存中读取权重和 KV 缓存。BF16 精度的 14B 模型在两款 GPU 上都能运行，但在 H100 上，每个解码（decode）步骤读取显存的速度接近 L40S 的四倍，因此每张 GPU 能承载多得多的并发用户。

用于图像和视频的扩散模型更受算力限制，因此在这类任务中，真正相关的差距更接近算力之比，而非带宽之比。按每月每 US$1,000 支出计算，两款 GPU 的对比如下：

• 显存 L40S 约 54 GB，H100 约 37 GB。
• 带宽 约 0.97 TB/s 对比 1.53 TB/s。
• 厂商标称 FP8 稠密算力 约 824 对比 904 TFLOPS。

两者相比，L40S 每美元能买到更多显存，H100 每美元能买到更多带宽，每美元算力则相差不大。

媒体、渲染与视频：L40S 的优势所在

使用 NVIDIA 光线追踪硬件的 GPU 渲染器需要 RT Core，在 GPU 上编码的视频流水线则需要 NVENC。L40S 两者兼备，其 Ada 一代的编码器除 H.264 和 HEVC 外还支持 AV1；而 H100 定位为计算加速器，既没有 RT Core，也没有 NVENC。对于渲染节点、转码服务，或以编码输出为终点的生成式视频流水线，L40S 是正确的选择；而且两台 L40S 服务器每月 US$1,780，低于一张 H100 的月价。推荐配置请参阅渲染与视效和生成式媒体。对于更复杂的场景，RTX PRO 6000 与 L40S 对比介绍了配备 96 GB 显存的 RTX PRO 6000。

训练、微调与多 GPU

在训练方面，H100 完全是另一个级别。HBM3 能持续为它的 Tensor Core 供给数据，80 GB 显存可以容纳更大的模型和批次；在 8 卡服务器中，NVLink 4 以每张 GPU 900 GB/s 的带宽连接各 GPU。L40S 通过 PCIe Gen4 通信，没有 NVLink，我们以单卡服务器的形式提供它。它能很好地胜任 7B 到 14B 模型的 LoRA 或 QLoRA 以及小型实验。对 70B 模型做 QLoRA（4 位权重约 35 GB），在小批次下可以勉强塞进 48 GB，但 H100 运行它时余量要大得多。使用 Adam 做全参数微调，不计激活值，每个参数大约需要 16–20 字节，这使 48 GB 的卡最多只能处理约 2–3B 参数的模型，而单张 H100 约为 4–5B，每月 US$16,900 的 8× H100 服务器则远不止于此。

每月成本与如何选择

单张 L40S 每月 US$890，按 730 小时计约合每 GPU 小时 US$1.22，配备 16 个 vCPU、128 GB 内存和 1 TB NVMe 存储。单张 H100 每月 US$2,190，约合每 GPU 小时 US$3.00，配备 24 个 vCPU、225 GB 内存和 2 TB NVMe 存储。

举个例子：您以 BF16 精度为一个 14B 模型提供推理服务，流量稳定。两台 L40S 服务器（US$1,780）可以提供两个相互独立的副本，其中一台需要维护时还能互为冗余。一张 H100（US$2,190）只提供一个副本，但其带宽比两张 L40S 加起来还高（3.35 TB/s 对比 1.73 TB/s）。如果冗余最重要，就选这两台 L40S；如果单个副本的处理能力和响应时间最重要，就选 H100。推理服务的部署方案请参阅独立推理服务器。

1. 渲染、转码或视频输出：L40S。
2. 模型加 KV 缓存约在 40 GB 以内：L40S，除非您需要单个副本承载高并发。
3. 40 到 70 GB 之间，或受带宽限制的推理服务：H100。
4. 训练、全参数微调或需要多张 GPU 的模型：H100，通常选 8 卡服务器。

如果拿不准，就从小规模起步。租期按月计算，任何月份均可免费取消，因此您可以先在 L40S 上运行真实流量，如果数据表明有必要，再换用 H100。