GPU 与 AI 基础设施术语表

每秒万亿次运算，是厂商针对 AI 工作负载给出的峰值吞吐量数字。它通常在 INT8 或 FP4 等低精度下测得，而且往往以稀疏为前提，因此只有在这些前提一致时，不同的 AI TOPS 数字才具有可比性。例如，NVIDIA 标称 GeForce RTX 5090 为 3,352 AI TOPS，这是在 FP4 稀疏条件下测得的数字。

一种集合通信操作：每张 GPU 各提供一个缓冲区，这些缓冲区被合并（通常是求和），然后每张 GPU 都会收到合并结果。在数据并行训练中，每一步之后都要通过一次 all-reduce 在各 GPU 之间对梯度取平均，因此它的速度在很大程度上取决于互联：服务器内部是 NVLink，服务器之间是 InfiniBand 或 RoCE。NCCL 和 RCCL 等库实现了这一操作。

指租用的物理服务器，您与硬件之间没有虚拟化层（hypervisor）。您的操作系统直接运行在机器上，可以访问每一张 GPU、每一个 CPU 核心、每一块硬盘和每一块网卡，没有任何虚拟化开销。裸金属适合多 GPU 训练，以及任何需要对驱动和内核设置进行底层控制的工作负载。FullGPU 的 8 卡服务器就是裸金属机器。

即 bfloat16，又称 brain floating point（脑浮点数）：一种 16 位数值格式，有 8 个指数位和 7 个尾数位。它保留了 FP32 的数值范围，只是精度较低，因此训练无需 FP16 常常需要的损失缩放也能保持稳定。BF16 是大多数大模型训练和推理的默认精度，以 BF16 存储的权重每个参数约占 2 字节。

NVIDIA 继 Hopper 之后推出的 GPU 架构，用于 B200、RTX PRO 6000 Blackwell 和 GeForce RTX 50 系列。数据中心级 Blackwell GPU 把两颗裸片合为一张 GPU，并引入了第五代 NVLink 和对 FP4 的硬件支持。用于 B300 和 GB300 NVL72 的 Blackwell Ultra 将每张 GPU 的显存提升至 288 GB HBM3e。请参阅我们的 B200 与 B300 对比。

NVIDIA 的并行计算平台和编程模型，包括编译器、运行时以及 cuBLAS、cuDNN 等库。PyTorch 和大多数其他 AI 框架都通过 CUDA 在 NVIDIA GPU 上运行。针对特定 CUDA 版本构建的框架，需要足够新、能够支持该版本的 NVIDIA 驱动，因此驱动和 CUDA 版本必须搭配选择。AMD 与之对应的是 ROCm。请参阅我们的 NVIDIA 驱动与 CUDA 指南。

NVIDIA 对其 GPU 每个流式多处理器中通用运算单元的称呼。它们执行标准的 FP32 和整数指令，而在 AI 工作负载中占主导地位的矩阵运算主要由 Tensor Core 完成。比较同一架构的 GPU 时，CUDA 核心数有参考价值，但对于跨代的 AI 性能，它说明不了多少问题。

一种训练策略：每张 GPU 都保存一份完整的模型副本，并处理每个批次（batch）中不同的一部分数据。反向传播之后，各 GPU 通过 all-reduce 对梯度取平均，使所有副本保持一致。这是扩展大语言模型训练最简单的方法，但每张 GPU 都必须容纳完整的模型及其梯度和优化器状态，除非用 FSDP 或 ZeRO 对它们进行分片。

即 NVIDIA Data Center GPU Manager，一套用于监控和管理数据中心 GPU 的工具。它可以报告健康状况、温度、功耗、频率、显存错误和 NVLink 状态，可以运行诊断程序，在长时间任务之前或之后对 GPU 进行检测，还能把指标导出到 Prometheus 等监控系统。运维人员用它及早发现即将出现故障的硬件。请参阅我们的 GPU 监控指南。

针对分布式拒绝服务攻击的防护。这类攻击从大量来源发起流量洪泛，企图占满服务器或其网络链路。防护系统会识别异常流量，在其到达服务器之前加以过滤，同时让正常流量继续通行。它是主机防火墙的补充，而不是替代。FullGPU 为每个公网 IP 地址提供 DDoS 防护。

离开服务器或网络的出站数据流量，例如返回给用户的响应、模型下载，或复制到别处的数据集。许多云服务商按 GB 对出站流量计费，当您提供模型推理服务或传输大型检查点时，这笔费用会不断累积。FullGPU 的单卡套餐每月含 20 TB，8 卡服务器每月含 50 TB，均不收取出站流量费，遵循合理使用原则。请参阅带宽与出站流量。

一种分布式运行混合专家（MoE）模型的方式：把不同的专家放在不同的 GPU 上。每个 token 都会被发送到存放其所选专家的 GPU 上，结果再传回来，因此每个 MoE 层都会在 GPU 之间产生 all-to-all 流量。专家并行让超大型 MoE 模型能够分布在一台服务器或一个集群上运行，它也能从 NVLink 等高速互联中受益。

一种 4 位浮点格式，用于存储模型权重；在支持它的硬件上，也用于矩阵运算。NVFP4 和 MXFP4 等方案为每个小数据块附加一个共享的缩放因子，以保持准确度。FP4 权重每个参数约占半个字节，因此不计 KV 缓存和额外开销，70B 模型大约需要 35 GB。Blackwell GPU 和 AMD 的 MI355X 在硬件上支持 FP4，Hopper GPU 则不支持；请参阅 H200 与 B200 对比。

一种 8 位浮点格式，有两种常见变体：精度更高的 E4M3 和范围更大的 E5M2。根据 NVIDIA 公布的规格，Hopper 和 Blackwell GPU 执行 FP8 矩阵运算的速度是其 BF16 峰值速率的两倍，FP8 权重每个参数约占 1 字节。FP8 已广泛用于推理，也越来越多地用于训练。请阅读 FP8 与 FP4 精度详解。

即双精度浮点格式，每个值占 64 位。计算流体力学、气候建模和量子化学程序往往依赖它，而 AI 训练和推理几乎从不需要。不同数据中心 GPU 的 FP64 吞吐量差异很大，消费级和工作站显卡的 FP64 速率只有其 FP32 速率的一小部分，因此在为科研与高性能计算选择硬件之前，请先查看厂商公布的 FP64 数据。

即 Fully Sharded Data Parallel，PyTorch 对分片数据并行的实现。FSDP 不在每张 GPU 上保留完整的模型副本，而是把参数、梯度和优化器状态切分到各 GPU 上，只在计算某一层时才收集该层的参数。这样就能在多张 GPU 上对 70B 模型做全参数微调，代价是 GPU 之间需要额外的通信。

第七代 GDDR（图形双倍数据速率）显存，用于 GeForce RTX 5090 和 RTX PRO 6000 Blackwell 等 GPU。GDDR7 芯片位于 GPU 周围的电路板上，而不在 GPU 封装内部，这样能降低成本，但会限制带宽：NVIDIA 标称 RTX 5090 的带宽约为 1.8 TB/s，而 B200 的 HBM3e 带宽为 8 TB/s。

一种虚拟化技术，把一整张物理 GPU 分配给一台虚拟机，通常借助 IOMMU 以 PCIe 直通方式实现。客户机操作系统加载该 GPU 自身的驱动，可以使用这张 GPU 的全部显存和算力，性能接近裸金属。FullGPU 的单卡服务器采用的正是直通方式：一台独享虚拟机，整张 GPU 都分配给它。

一张 GPU 使用一小时，是为 GPU 时间定价和估算任务量的常用单位：8 张 GPU 运行 10 小时，即使用 80 个 GPU 小时。要将月价与小时价进行比较，请用月价除以 GPU 数量，再除以 730（每月的平均小时数）。每月 US$2,190 的单张 H100，约合每 GPU 小时 US$3.00。请参阅按月与按小时 GPU 计费对比。

即 High Bandwidth Memory 3E，HBM3 的增强版高带宽内存，AMD 和存储芯片厂商写作 HBM3E。HBM 把 DRAM 裸片垂直堆叠，并把这些堆栈与 GPU 封装在一起，通过极宽的接口相连，因此带宽远高于 GDDR 显存。根据 NVIDIA 的数据，HBM3e 让 H200 拥有 141 GB 显存和 4.8 TB/s 带宽，让 B300 拥有 288 GB 显存和约 8 TB/s 带宽；AMD 的 MI355X 同样配备 288 GB HBM3e。

继 HBM3e 之后的新一代高带宽内存。HBM4 把每个堆栈的接口位宽翻倍至 2,048 位，从而提高了每个堆栈的带宽。它是 NVIDIA Rubin GPU 采用的显存：Vera Rubin NVL72 集成了 72 张 Rubin GPU（每张配备 288 GB HBM4）和 36 颗 Vera CPU。基于 HBM4 的系统预计将于 2026年底开始少量供货。

NVIDIA 面向数据中心 GPU 的服务器平台：一块承载 4 张或 8 张 SXM GPU 的基板，GPU 之间通过 NVLink 相连，8 卡基板上还配有 NVSwitch 芯片；各服务器厂商围绕这块基板打造完整的服务器。在 HGX B200 这样的 8 卡 HGX 服务器中，每张 GPU 都能以完整的 NVLink 带宽与其余每张 GPU 通信，大规模训练和推理任务正依赖于此。

NVIDIA 在 Blackwell 之前的数据中心 GPU 架构，用于 H100 和 H200。Hopper 引入了支持 FP8 Tensor Core 的 Transformer 引擎、每张 GPU 900 GB/s 的第四代 NVLink 以及 HBM3 显存，H200 随后又改用 HBM3e。它的软件栈已经成熟，至今仍广泛用于训练和推理。请参阅我们的 H100 与 H200 对比。

一种高带宽、低延迟的网络标准，广泛用于连接训练集群中的 GPU 服务器。它原生支持 RDMA，让网卡直接在不同服务器的内存（包括显存）之间搬运数据，每次传输都无需 CPU 参与。当前几代产品每个端口的速率为 400 或 800 Gb/s，多节点 GPU 集群常用它构建后端网络。

AMD 的互联技术，用于其处理器内部以及 GPU 之间。在 8 卡 AMD Instinct MI355X 平台上，每张 GPU 都通过 Infinity Fabric 链路与其余 7 张 GPU 直接相连，AMD 标称每条链路的带宽为 153.6 GB/s。它在 AMD 平台上的作用相当于 NVLink 在 NVIDIA 系统中的作用，但采用 GPU 两两直连的全互联链路，而不是交换芯片。

用于保存语言模型已处理 token 的注意力键（key）和值（value）的显存，这样每生成一个新 token 时就无需重新计算它们。它随上下文长度、并发请求数以及模型的层数和注意力头维度而增长，往往决定了一张 GPU 能同时服务多少用户。vLLM 等推理引擎按块管理 KV 缓存，以减少浪费。请参阅大语言模型需要多少显存。

即 Low-Rank Adaptation，一种参数高效的微调方法。LoRA 冻结原始权重，只训练添加到选定层上的小型低秩矩阵，其参数量通常不到模型参数的 1%。由于只需为这些适配器保存梯度和优化器状态，它所需的显存远少于全参数微调；适配器本身是很小的文件，可以在推理时切换。请参阅用于微调的 GPU。

GPU 读写自身显存的速率，以 GB/s 或 TB/s 计。语言模型以小批次生成文本时，每生成一个新 token 都要从显存中读取模型权重，因此限制速度的往往是带宽，而不是算力。根据厂商规格，显存带宽从 L40S 的 864 GB/s 到 B200、B300 和 MI355X 的约 8 TB/s 不等。请参阅大语言模型推理最佳 GPU。

即 Multi-Instance GPU，NVIDIA 的一项功能，可把一张受支持的数据中心 GPU 划分为最多 7 个相互隔离的实例，每个实例拥有各自份额的显存、缓存和算力。它让一张 GPU 能以硬件隔离的方式服务多个小型工作负载。FullGPU 不对 GPU 进行分区：您租用的每张 GPU 都是整卡，其全部显存和算力都归您所有。请参阅独享 GPU 与共享 GPU。

组合使用多种数值格式的训练或推理：大部分矩阵运算以 BF16 或 FP8 等低精度进行，而对舍入敏感的数值，例如主权重、优化器状态和部分累加，则保留为 FP32。混合精度能减少显存占用、加快 Tensor Core 运算，准确度损失很小甚至没有；PyTorch 等框架会自动处理其中的大部分繁琐细节。

一种模型架构：每个 MoE 层包含许多专家子网络，由路由器把每个 token 只发送给其中少数几个专家。每个 token 的计算量保持在适中水平，而总参数量不断增长：根据 DeepSeek 的数据，DeepSeek-V3 共有 6,710 亿个参数，但每个 token 只激活约 370 亿个。所有专家仍须装入显存，这决定了这类模型的硬件要求。

即 NVIDIA Collective Communications Library，读作“nickel”。它在多张 GPU 之间实现 all-reduce、all-gather、broadcast 等集合通信操作，并选择最快的可用路径：服务器内部走 NVLink，服务器之间走 InfiniBand 或 RoCE。PyTorch 在 NVIDIA 硬件上进行多 GPU 训练时使用它，AMD 与之对应的是 RCCL。请参阅我们的多 GPU 与 NCCL 指南。

NVIDIA 的机架级设计，把 72 张 GPU 连接成单一 NVLink 域，由 NVSwitch 托盘在一个液冷机架内把每张 GPU 与其余每张 GPU 相连。根据 NVIDIA 的数据，GB300 NVL72 将 72 张 Blackwell Ultra GPU 与 36 颗 Grace CPU 组合在一起，NVLink 总带宽约为 130 TB/s。Vera Rubin NVL72 把同样的设计用于 Rubin GPU 和 Vera CPU。

NVIDIA 的 GPU 间高速互联。它传输数据的速度远超 PCIe：根据 NVIDIA 的数据，Hopper 上的第四代 NVLink 为每张 GPU 提供 900 GB/s，Blackwell 上的第五代 NVLink 则为 1.8 TB/s。对于张量并行，以及其他在每一层都要在 GPU 之间交换数据的工作负载，它最为重要。RTX PRO 6000 Blackwell 和 RTX 5090 等 PCIe 显卡没有 NVLink。请参阅 NVLink 与 PCIe 对比。

一种交换芯片，通过 NVLink 连接多张 GPU，使每张 GPU 都能同时以完整带宽与其余每张 GPU 通信。在 8 卡 HGX 服务器中，基板上的 NVSwitch 芯片构成 GPU 互联网络；在 NVL72 机架中，专用的交换托盘把这一网络扩展到 72 张 GPU。没有交换芯片时，每张 GPU 都需要与其他 GPU 直接相连，这就限制了能够实现全互联的 GPU 数量。

即 OCP Accelerator Module，由开放计算项目（Open Compute Project）定义的一种开放式加速器模组规格。MI300X 和 MI355X 等 AMD Instinct GPU 都采用这一规格，8 个模块安装在一块通用基板上。OAM 是 NVIDIA SXM 的开放式对应规格：两者都把 GPU 做成插接在基板上的模组，从而支持更高的功耗和 GPU 之间的直连链路。请参阅 MI355X 与 B200 对比。

第五代 PCI Express，即连接 CPU、GPU、网卡和 NVMe 硬盘的标准总线。一条 x16 Gen5 链路每个方向约 64 GB/s，是 Gen4 的两倍。RTX PRO 6000 Blackwell 和 RTX 5090 等 PCIe GPU 通过它连接 CPU；由于没有 NVLink，它们与其他 GPU 交换数据也要经过 PCIe，因此多 GPU 通信比 SXM 系统慢。请参阅 RTX PRO 6000 与 H100 对比。

一种模型并行策略：把模型的各层划分为若干个依次相连的阶段，分布在不同的 GPU 或服务器上。微批次像在装配线上一样依次流经各个阶段，因此多个阶段可以同时工作。它所需的带宽低于张量并行，因而适合跨服务器使用；但流水线在填充和排空时会出现空闲时间，即所谓的流水线气泡，这会降低效率。

即 Quantized LoRA：使用 LoRA 适配器进行微调，同时以 4 位精度存储冻结的基座模型，通常采用 NF4 格式。只有小型适配器以更高的精度训练。QLoRA 能大幅降低显存占用，其作者因此得以在单张 48 GB GPU 上微调一个 650 亿参数的模型；与基于 BF16 权重的 LoRA 相比，代价是速度有所下降。

用更少的位数存储模型的权重，有时也包括激活值和 KV 缓存，例如用 FP8、INT8、INT4 或 FP4 代替 BF16。显存占用大致按减少的位数成比例下降；在支持更低精度的硬件上，吞吐量也可能提高。代价是一定的精度损失，AWQ、GPTQ 或 FP8 校准等方法可以把这种损失控制在较小范围内。请参阅各种低精度格式的对比。

即 Remote Direct Memory Access：一台机器通过网络读写另一台机器内存的方式，无需远端 CPU 或操作系统的网络协议栈参与。借助 GPUDirect RDMA，网卡可以直接与显存相互传输数据，从而降低多节点训练中的延迟和 CPU 负载。InfiniBand 和 RoCE 都提供 RDMA。

即 RDMA over Converged Ethernet，用于在以太网上承载 RDMA 流量。RoCE v2 基于可路由的 UDP/IP 运行；在调优良好的无损网络或具备拥塞控制的网络上，它可以借助以太网交换机提供与 InfiniBand 相当的性能。它在基于以太网构建的 AI 集群中很常见，FullGPU 的 AMD Instinct MI355X 服务器就配备了 8 个 400G RoCE 网络接口。

AMD 用于 GPU 计算的开源软件栈，与 CUDA 相对应。它包括驱动、HIP 编程接口、数学库以及用于集合通信的 RCCL，并得到 PyTorch、vLLM 等主流框架的支持。FullGPU 为旗下 AMD Instinct 服务器提供 ROCm 镜像；请参阅我们的 AMD ROCm 指南。

NVIDIA 数据中心 GPU 的模组规格。GPU 不是做成 PCIe 卡，而是位于直接安装在服务器基板上的模组上，因此可以支持更高的功耗上限（例如 H100 SXM 为 700 W），并通过 NVLink 与其他 GPU 相连。HGX 服务器采用 SXM GPU，而同款芯片的 PCIe 版本通常以更低的功耗和频率运行。

即 Thermal Design Power：芯片按设计可持续消耗、其散热系统按设计须能带走的最大功率，单位为瓦。厂商标称 H100 SXM 约为 700 W，GeForce RTX 5090 为 575 W，采用液冷的 AMD Instinct MI355X 为 1,400 W。额定功耗决定了数据中心所需的供电和散热能力，这正是最新的高功耗 GPU 越来越依赖液冷的原因。

NVIDIA GPU 中的专用单元，执行矩阵乘累加运算（神经网络的核心运算），速度远超通用核心。每一代都增加了更低精度的格式：FP8 随 Hopper 和 Ada Lovelace 推出，FP4 则随 Blackwell 推出。AMD 的同类单元称为 Matrix Core。厂商以 TFLOPS 或 PFLOPS 给出的 AI 吞吐量数字，指的就是这些单元。请参阅 H100 与 B200 对比。

一种模型并行策略：把每一层的权重矩阵切分到多张 GPU 上，使每张 GPU 都计算每一层的一部分。每一层的部分结果都要通过集合通信操作合并，这需要高带宽和低延迟，因此张量并行通常限制在一台通过 NVLink 互联的服务器内部。推理引擎用它来部署单张 GPU 装不下的模型；请参阅我们关于使用 vLLM 自托管 LLM 推理的指南。

每秒万亿次（TFLOPS）和每秒千万亿次（PFLOPS）浮点运算；1 PFLOPS 等于 1,000 TFLOPS。厂商会为每种精度给出峰值算力，通常分为稠密和稀疏两个数字，其中稀疏数字以 2:4 结构化稀疏为前提，一般是稠密数字的两倍。NVIDIA 标称 H100 SXM 的 BF16 稠密算力为 989 TFLOPS。实际工作负载只能达到峰值的一部分。您可以在我们的 GPU 总览中比较各款 GPU。

让多个进程或租户共享一张 GPU 的一种方式：让它们快速轮流使用 GPU。与 MIG 不同，时间切片不在工作负载之间提供显存隔离或故障隔离，每个工作负载的性能都取决于同时运行的其他任务。FullGPU 不对 GPU 做分时共享：您租用的每张 GPU 只运行您自己的工作负载。

语言模型处理或生成 token 的速率；token 是模型读写文本的基本单位。这一指标要么按单个用户统计，衡量一条响应流式输出的速度；要么按一张 GPU 上所有并发请求的总吞吐量统计。两者此消彼长：更大的批次能提高总吞吐量，却可能拖慢每条输出流，因此请确认某个数字衡量的是哪一种。请参阅用于推理的 GPU。

一种虚拟 GPU 技术：把一张物理 GPU 划分为多个虚拟 GPU，分配给不同的虚拟机，每个虚拟 GPU 拥有固定份额的显存，以及分时或分区的算力份额。它适合虚拟桌面和轻量工作负载。FullGPU 不使用 vGPU：单卡套餐把整张物理 GPU 直通给一台独享虚拟机，详见我们的信任与安全页面。

一款开源的大语言模型推理服务引擎。它借助 PagedAttention 以固定大小的块管理 KV 缓存，对传入的请求进行连续批处理，并支持张量并行、量化模型和兼容 OpenAI 的服务器。vLLM 既能通过 CUDA 在 NVIDIA GPU 上运行，也能通过 ROCm 在 AMD GPU 上运行。请参阅我们的 PyTorch 与 vLLM 指南。

GPU 配备的内存：大多数数据中心 GPU 使用 HBM，工作站显卡、消费级显卡以及 L40S 等部分数据中心显卡使用 GDDR。模型权重、KV 缓存和激活值都必须装进显存。按粗略的经验法则，权重所需空间为参数量 × 每个参数的字节数，因此 70B 模型在 BF16 下约占 140 GB，另需为 KV 缓存和额外开销预留 10–30% 的余量。可以试试我们的显存计算器。

即 Zero Redundancy Optimizer，Microsoft DeepSpeed 库中的一系列显存优化技术。第 1 阶段把优化器状态分片到各个数据并行 GPU 上，第 2 阶段还对梯度进行分片，第 3 阶段则连参数本身也分片，因此 GPU 越多，每张 GPU 的显存占用就越低。ZeRO-Offload 和 ZeRO-Infinity 还可以把这些状态转移到 CPU 内存或 NVMe 上。PyTorch FSDP 采用的是同一思路。