# GPU 与 AI 基础设施术语表

> GPU 术语表：以清晰、不偏向任何厂商的方式解释关键的 AI 基础设施术语，从 HBM3e、NVLink 到 FSDP、KV 缓存和 FP8，涵盖硬件、显存、精度格式与并行策略，一查即知。

来源：https://fullgpu.com/zh/glossary  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

### AI TOPS

每秒万亿次运算，是厂商针对 AI 工作负载给出的峰值吞吐量数字。它通常在 INT8 或 FP4 等低精度下测得，而且往往以稀疏为前提，因此只有在这些前提一致时，不同的 AI TOPS 数字才具有可比性。例如，NVIDIA 标称 [GeForce RTX 5090](https://fullgpu.com/zh/gpus/nvidia-rtx-5090) 为 3,352 AI TOPS，这是在 FP4 稀疏条件下测得的数字。

### All-reduce

一种集合通信操作：每张 GPU 各提供一个缓冲区，这些缓冲区被合并（通常是求和），然后每张 GPU 都会收到合并结果。在数据并行训练中，每一步之后都要通过一次 all-reduce 在各 GPU 之间对梯度取平均，因此它的速度在很大程度上取决于互联：服务器内部是 NVLink，服务器之间是 InfiniBand 或 RoCE。NCCL 和 RCCL 等库实现了这一操作。

### Bare metal（裸金属）

指租用的物理服务器，您与硬件之间没有虚拟化层（hypervisor）。您的操作系统直接运行在机器上，可以访问每一张 GPU、每一个 CPU 核心、每一块硬盘和每一块网卡，没有任何虚拟化开销。裸金属适合多 GPU 训练，以及任何需要对驱动和内核设置进行底层控制的工作负载。FullGPU 的 [8 卡服务器](https://fullgpu.com/zh/products/8-gpu-servers)就是裸金属机器。

### BF16

即 bfloat16，又称 brain floating point（脑浮点数）：一种 16 位数值格式，有 8 个指数位和 7 个尾数位。它保留了 FP32 的数值范围，只是精度较低，因此训练无需 FP16 常常需要的损失缩放也能保持稳定。BF16 是大多数大模型训练和推理的默认精度，以 BF16 存储的权重每个参数约占 2 字节。

### Blackwell

NVIDIA 继 Hopper 之后推出的 GPU 架构，用于 B200、RTX PRO 6000 Blackwell 和 GeForce RTX 50 系列。数据中心级 Blackwell GPU 把两颗裸片合为一张 GPU，并引入了第五代 NVLink 和对 FP4 的硬件支持。用于 B300 和 GB300 NVL72 的 Blackwell Ultra 将每张 GPU 的显存提升至 288 GB HBM3e。请参阅我们的 [B200 与 B300 对比](https://fullgpu.com/zh/compare/b200-vs-b300)。

### CUDA

NVIDIA 的并行计算平台和编程模型，包括编译器、运行时以及 cuBLAS、cuDNN 等库。PyTorch 和大多数其他 AI 框架都通过 CUDA 在 NVIDIA GPU 上运行。针对特定 CUDA 版本构建的框架，需要足够新、能够支持该版本的 NVIDIA 驱动，因此驱动和 CUDA 版本必须搭配选择。AMD 与之对应的是 ROCm。请参阅我们的 [NVIDIA 驱动与 CUDA 指南](https://fullgpu.com/zh/docs/nvidia-drivers-cuda)。

### CUDA cores（CUDA 核心）

NVIDIA 对其 GPU 每个流式多处理器中通用运算单元的称呼。它们执行标准的 FP32 和整数指令，而在 AI 工作负载中占主导地位的矩阵运算主要由 Tensor Core 完成。比较同一架构的 GPU 时，CUDA 核心数有参考价值，但对于跨代的 AI 性能，它说明不了多少问题。

### Data parallelism（数据并行）

一种训练策略：每张 GPU 都保存一份完整的模型副本，并处理每个批次（batch）中不同的一部分数据。反向传播之后，各 GPU 通过 all-reduce 对梯度取平均，使所有副本保持一致。这是扩展[大语言模型训练](https://fullgpu.com/zh/solutions/llm-training)最简单的方法，但每张 GPU 都必须容纳完整的模型及其梯度和优化器状态，除非用 FSDP 或 ZeRO 对它们进行分片。

### DCGM（数据中心 GPU 管理器）

即 NVIDIA Data Center GPU Manager，一套用于监控和管理数据中心 GPU 的工具。它可以报告健康状况、温度、功耗、频率、显存错误和 NVLink 状态，可以运行诊断程序，在长时间任务之前或之后对 GPU 进行检测，还能把指标导出到 Prometheus 等监控系统。运维人员用它及早发现即将出现故障的硬件。请参阅我们的 [GPU 监控指南](https://fullgpu.com/zh/docs/gpu-monitoring)。

### DDoS mitigation（DDoS 防护）

针对分布式拒绝服务攻击的防护。这类攻击从大量来源发起流量洪泛，企图占满服务器或其网络链路。防护系统会识别异常流量，在其到达服务器之前加以过滤，同时让正常流量继续通行。它是主机防火墙的补充，而不是替代。FullGPU 为每个公网 IP 地址提供 [DDoS 防护](https://fullgpu.com/zh/products/ddos-protection)。

### Egress（出站流量）

离开服务器或网络的出站数据流量，例如返回给用户的响应、模型下载，或复制到别处的数据集。许多云服务商按 GB 对出站流量计费，当您提供模型推理服务或传输大型检查点时，这笔费用会不断累积。FullGPU 的单卡套餐每月含 20 TB，8 卡服务器每月含 50 TB，均不收取出站流量费，遵循合理使用原则。请参阅[带宽与出站流量](https://fullgpu.com/zh/help/bandwidth-and-egress)。

### Expert parallelism（专家并行）

一种分布式运行混合专家（MoE）模型的方式：把不同的专家放在不同的 GPU 上。每个 token 都会被发送到存放其所选专家的 GPU 上，结果再传回来，因此每个 MoE 层都会在 GPU 之间产生 all-to-all 流量。专家并行让超大型 MoE 模型能够分布在一台服务器或一个集群上运行，它也能从 NVLink 等高速互联中受益。

### FP4

一种 4 位浮点格式，用于存储模型权重；在支持它的硬件上，也用于矩阵运算。NVFP4 和 MXFP4 等方案为每个小数据块附加一个共享的缩放因子，以保持准确度。FP4 权重每个参数约占半个字节，因此不计 KV 缓存和额外开销，70B 模型大约需要 35 GB。Blackwell GPU 和 AMD 的 MI355X 在硬件上支持 FP4，Hopper GPU 则不支持；请参阅 [H200 与 B200 对比](https://fullgpu.com/zh/compare/h200-vs-b200)。

### FP8

一种 8 位浮点格式，有两种常见变体：精度更高的 E4M3 和范围更大的 E5M2。根据 NVIDIA 公布的规格，Hopper 和 Blackwell GPU 执行 FP8 矩阵运算的速度是其 BF16 峰值速率的两倍，FP8 权重每个参数约占 1 字节。FP8 已广泛用于推理，也越来越多地用于训练。请阅读 [FP8 与 FP4 精度详解](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)。

### FP64（双精度浮点）

即双精度浮点格式，每个值占 64 位。计算流体力学、气候建模和量子化学程序往往依赖它，而 AI 训练和推理几乎从不需要。不同数据中心 GPU 的 FP64 吞吐量差异很大，消费级和工作站显卡的 FP64 速率只有其 FP32 速率的一小部分，因此在为[科研与高性能计算](https://fullgpu.com/zh/solutions/research-hpc)选择硬件之前，请先查看厂商公布的 FP64 数据。

### FSDP（全分片数据并行）

即 Fully Sharded Data Parallel，PyTorch 对分片数据并行的实现。FSDP 不在每张 GPU 上保留完整的模型副本，而是把参数、梯度和优化器状态切分到各 GPU 上，只在计算某一层时才收集该层的参数。这样就能在多张 GPU 上[对 70B 模型做全参数微调](https://fullgpu.com/zh/blog/fine-tune-70b-model)，代价是 GPU 之间需要额外的通信。

### GDDR7

第七代 GDDR（图形双倍数据速率）显存，用于 GeForce RTX 5090 和 [RTX PRO 6000 Blackwell](https://fullgpu.com/zh/gpus/nvidia-rtx-pro-6000) 等 GPU。GDDR7 芯片位于 GPU 周围的电路板上，而不在 GPU 封装内部，这样能降低成本，但会限制带宽：NVIDIA 标称 RTX 5090 的带宽约为 1.8 TB/s，而 B200 的 HBM3e 带宽为 8 TB/s。

### GPU passthrough（GPU 直通）

一种虚拟化技术，把一整张物理 GPU 分配给一台虚拟机，通常借助 IOMMU 以 PCIe 直通方式实现。客户机操作系统加载该 GPU 自身的驱动，可以使用这张 GPU 的全部显存和算力，性能接近裸金属。FullGPU 的[单卡服务器](https://fullgpu.com/zh/products/single-gpu-servers)采用的正是直通方式：一台独享虚拟机，整张 GPU 都分配给它。

### GPU-hour（GPU 小时）

一张 GPU 使用一小时，是为 GPU 时间定价和估算任务量的常用单位：8 张 GPU 运行 10 小时，即使用 80 个 GPU 小时。要将月价与小时价进行比较，请用月价除以 GPU 数量，再除以 730（每月的平均小时数）。每月 US$2,190 的单张 H100，约合每 GPU 小时 US$3.00。请参阅[按月与按小时 GPU 计费对比](https://fullgpu.com/zh/compare/monthly-vs-hourly-gpu-pricing)。

### HBM3e

即 High Bandwidth Memory 3E，HBM3 的增强版高带宽内存，AMD 和存储芯片厂商写作 HBM3E。HBM 把 DRAM 裸片垂直堆叠，并把这些堆栈与 GPU 封装在一起，通过极宽的接口相连，因此带宽远高于 GDDR 显存。根据 NVIDIA 的数据，HBM3e 让 [H200](https://fullgpu.com/zh/gpus/nvidia-h200) 拥有 141 GB 显存和 4.8 TB/s 带宽，让 B300 拥有 288 GB 显存和约 8 TB/s 带宽；AMD 的 MI355X 同样配备 288 GB HBM3e。

### HBM4

继 HBM3e 之后的新一代高带宽内存。HBM4 把每个堆栈的接口位宽翻倍至 2,048 位，从而提高了每个堆栈的带宽。它是 NVIDIA Rubin GPU 采用的显存：[Vera Rubin NVL72](https://fullgpu.com/zh/gpus/nvidia-vera-rubin-nvl72) 集成了 72 张 Rubin GPU（每张配备 288 GB HBM4）和 36 颗 Vera CPU。基于 HBM4 的系统预计将于 2026年底开始少量供货。

### HGX

NVIDIA 面向数据中心 GPU 的服务器平台：一块承载 4 张或 8 张 SXM GPU 的基板，GPU 之间通过 NVLink 相连，8 卡基板上还配有 NVSwitch 芯片；各服务器厂商围绕这块基板打造完整的服务器。在 [HGX B200](https://fullgpu.com/zh/gpus/nvidia-b200) 这样的 8 卡 HGX 服务器中，每张 GPU 都能以完整的 NVLink 带宽与其余每张 GPU 通信，大规模训练和推理任务正依赖于此。

### Hopper

NVIDIA 在 Blackwell 之前的数据中心 GPU 架构，用于 H100 和 H200。Hopper 引入了支持 FP8 Tensor Core 的 Transformer 引擎、每张 GPU 900 GB/s 的第四代 NVLink 以及 HBM3 显存，H200 随后又改用 HBM3e。它的软件栈已经成熟，至今仍广泛用于训练和推理。请参阅我们的 [H100 与 H200 对比](https://fullgpu.com/zh/compare/h100-vs-h200)。

### InfiniBand

一种高带宽、低延迟的网络标准，广泛用于连接训练集群中的 GPU 服务器。它原生支持 RDMA，让网卡直接在不同服务器的内存（包括显存）之间搬运数据，每次传输都无需 CPU 参与。当前几代产品每个端口的速率为 400 或 800 Gb/s，多节点 GPU 集群常用它构建后端网络。

### Infinity Fabric

AMD 的互联技术，用于其处理器内部以及 GPU 之间。在 8 卡 [AMD Instinct MI355X](https://fullgpu.com/zh/gpus/amd-mi355x) 平台上，每张 GPU 都通过 Infinity Fabric 链路与其余 7 张 GPU 直接相连，AMD 标称每条链路的带宽为 153.6 GB/s。它在 AMD 平台上的作用相当于 NVLink 在 NVIDIA 系统中的作用，但采用 GPU 两两直连的全互联链路，而不是交换芯片。

### KV cache（KV 缓存）

用于保存语言模型已处理 token 的注意力键（key）和值（value）的显存，这样每生成一个新 token 时就无需重新计算它们。它随上下文长度、并发请求数以及模型的层数和注意力头维度而增长，往往决定了一张 GPU 能同时服务多少用户。vLLM 等推理引擎按块管理 KV 缓存，以减少浪费。请参阅[大语言模型需要多少显存](https://fullgpu.com/zh/blog/vram-for-llms)。

### LoRA（低秩适配）

即 Low-Rank Adaptation，一种参数高效的微调方法。LoRA 冻结原始权重，只训练添加到选定层上的小型低秩矩阵，其参数量通常不到模型参数的 1%。由于只需为这些适配器保存梯度和优化器状态，它所需的显存远少于全参数微调；适配器本身是很小的文件，可以在推理时切换。请参阅[用于微调的 GPU](https://fullgpu.com/zh/solutions/fine-tuning)。

### Memory bandwidth（显存带宽）

GPU 读写自身显存的速率，以 GB/s 或 TB/s 计。语言模型以小批次生成文本时，每生成一个新 token 都要从显存中读取模型权重，因此限制速度的往往是带宽，而不是算力。根据厂商规格，显存带宽从 L40S 的 864 GB/s 到 B200、B300 和 MI355X 的约 8 TB/s 不等。请参阅[大语言模型推理最佳 GPU](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference)。

### MIG（多实例 GPU）

即 Multi-Instance GPU，NVIDIA 的一项功能，可把一张受支持的数据中心 GPU 划分为最多 7 个相互隔离的实例，每个实例拥有各自份额的显存、缓存和算力。它让一张 GPU 能以硬件隔离的方式服务多个小型工作负载。FullGPU 不对 GPU 进行分区：您租用的每张 GPU 都是整卡，其全部显存和算力都归您所有。请参阅[独享 GPU 与共享 GPU](https://fullgpu.com/zh/blog/dedicated-vs-shared-gpus)。

### Mixed precision（混合精度）

组合使用多种数值格式的训练或推理：大部分矩阵运算以 BF16 或 FP8 等低精度进行，而对舍入敏感的数值，例如主权重、优化器状态和部分累加，则保留为 FP32。混合精度能减少显存占用、加快 Tensor Core 运算，准确度损失很小甚至没有；PyTorch 等框架会自动处理其中的大部分繁琐细节。

### Mixture of Experts（MoE，混合专家）

一种模型架构：每个 MoE 层包含许多专家子网络，由路由器把每个 token 只发送给其中少数几个专家。每个 token 的计算量保持在适中水平，而总参数量不断增长：根据 DeepSeek 的数据，DeepSeek-V3 共有 6,710 亿个参数，但每个 token 只激活约 370 亿个。所有专家仍须装入显存，这决定了这类模型的[硬件要求](https://fullgpu.com/zh/blog/deepseek-hardware-requirements)。

### NCCL（NVIDIA 集合通信库）

即 NVIDIA Collective Communications Library，读作“nickel”。它在多张 GPU 之间实现 all-reduce、all-gather、broadcast 等集合通信操作，并选择最快的可用路径：服务器内部走 NVLink，服务器之间走 InfiniBand 或 RoCE。PyTorch 在 NVIDIA 硬件上进行多 GPU 训练时使用它，AMD 与之对应的是 RCCL。请参阅我们的[多 GPU 与 NCCL 指南](https://fullgpu.com/zh/docs/multi-gpu-nccl)。

### NVL72

NVIDIA 的机架级设计，把 72 张 GPU 连接成单一 NVLink 域，由 NVSwitch 托盘在一个液冷机架内把每张 GPU 与其余每张 GPU 相连。根据 NVIDIA 的数据，[GB300 NVL72](https://fullgpu.com/zh/gpus/nvidia-gb300-nvl72) 将 72 张 Blackwell Ultra GPU 与 36 颗 Grace CPU 组合在一起，NVLink 总带宽约为 130 TB/s。Vera Rubin NVL72 把同样的设计用于 Rubin GPU 和 Vera CPU。

### NVLink

NVIDIA 的 GPU 间高速互联。它传输数据的速度远超 PCIe：根据 NVIDIA 的数据，Hopper 上的第四代 NVLink 为每张 GPU 提供 900 GB/s，Blackwell 上的第五代 NVLink 则为 1.8 TB/s。对于张量并行，以及其他在每一层都要在 GPU 之间交换数据的工作负载，它最为重要。RTX PRO 6000 Blackwell 和 RTX 5090 等 PCIe 显卡没有 NVLink。请参阅 [NVLink 与 PCIe 对比](https://fullgpu.com/zh/blog/nvlink-vs-pcie)。

### NVSwitch

一种交换芯片，通过 NVLink 连接多张 GPU，使每张 GPU 都能同时以完整带宽与其余每张 GPU 通信。在 8 卡 HGX 服务器中，基板上的 NVSwitch 芯片构成 GPU 互联网络；在 NVL72 机架中，专用的交换托盘把这一网络扩展到 72 张 GPU。没有交换芯片时，每张 GPU 都需要与其他 GPU 直接相连，这就限制了能够实现全互联的 GPU 数量。

### OAM（OCP 加速器模块）

即 OCP Accelerator Module，由开放计算项目（Open Compute Project）定义的一种开放式加速器模组规格。MI300X 和 MI355X 等 AMD Instinct GPU 都采用这一规格，8 个模块安装在一块通用基板上。OAM 是 NVIDIA SXM 的开放式对应规格：两者都把 GPU 做成插接在基板上的模组，从而支持更高的功耗和 GPU 之间的直连链路。请参阅 [MI355X 与 B200 对比](https://fullgpu.com/zh/compare/mi355x-vs-b200)。

### PCIe Gen5

第五代 PCI Express，即连接 CPU、GPU、网卡和 NVMe 硬盘的标准总线。一条 x16 Gen5 链路每个方向约 64 GB/s，是 Gen4 的两倍。RTX PRO 6000 Blackwell 和 RTX 5090 等 PCIe GPU 通过它连接 CPU；由于没有 NVLink，它们与其他 GPU 交换数据也要经过 PCIe，因此多 GPU 通信比 SXM 系统慢。请参阅 [RTX PRO 6000 与 H100 对比](https://fullgpu.com/zh/compare/rtx-pro-6000-vs-h100)。

### Pipeline parallelism（流水线并行）

一种模型并行策略：把模型的各层划分为若干个依次相连的阶段，分布在不同的 GPU 或服务器上。微批次像在装配线上一样依次流经各个阶段，因此多个阶段可以同时工作。它所需的带宽低于张量并行，因而适合跨服务器使用；但流水线在填充和排空时会出现空闲时间，即所谓的流水线气泡，这会降低效率。

### QLoRA（量化 LoRA）

即 Quantized LoRA：使用 LoRA 适配器进行微调，同时以 4 位精度存储冻结的基座模型，通常采用 NF4 格式。只有小型适配器以更高的精度训练。QLoRA 能大幅降低显存占用，其作者因此得以在单张 48 GB GPU 上微调一个 650 亿参数的模型；与基于 BF16 权重的 LoRA 相比，代价是速度有所下降。

### Quantization（量化）

用更少的位数存储模型的权重，有时也包括激活值和 KV 缓存，例如用 FP8、INT8、INT4 或 FP4 代替 BF16。显存占用大致按减少的位数成比例下降；在支持更低精度的硬件上，吞吐量也可能提高。代价是一定的精度损失，AWQ、GPTQ 或 FP8 校准等方法可以把这种损失控制在较小范围内。请参阅[各种低精度格式的对比](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)。

### RDMA（远程直接内存访问）

即 Remote Direct Memory Access：一台机器通过网络读写另一台机器内存的方式，无需远端 CPU 或操作系统的网络协议栈参与。借助 GPUDirect RDMA，网卡可以直接与显存相互传输数据，从而降低多节点训练中的延迟和 CPU 负载。InfiniBand 和 RoCE 都提供 RDMA。

### RoCE（融合以太网上的 RDMA）

即 RDMA over Converged Ethernet，用于在以太网上承载 RDMA 流量。RoCE v2 基于可路由的 UDP/IP 运行；在调优良好的无损网络或具备拥塞控制的网络上，它可以借助以太网交换机提供与 InfiniBand 相当的性能。它在基于以太网构建的 AI 集群中很常见，FullGPU 的 AMD Instinct MI355X 服务器就配备了 8 个 400G RoCE 网络接口。

### ROCm

AMD 用于 GPU 计算的开源软件栈，与 CUDA 相对应。它包括驱动、HIP 编程接口、数学库以及用于集合通信的 RCCL，并得到 PyTorch、vLLM 等主流框架的支持。FullGPU 为旗下 AMD Instinct 服务器提供 ROCm 镜像；请参阅我们的 [AMD ROCm 指南](https://fullgpu.com/zh/docs/amd-rocm)。

### SXM

NVIDIA 数据中心 GPU 的模组规格。GPU 不是做成 PCIe 卡，而是位于直接安装在服务器基板上的模组上，因此可以支持更高的功耗上限（例如 [H100 SXM](https://fullgpu.com/zh/gpus/nvidia-h100) 为 700 W），并通过 NVLink 与其他 GPU 相连。HGX 服务器采用 SXM GPU，而同款芯片的 PCIe 版本通常以更低的功耗和频率运行。

### TDP（热设计功耗）

即 Thermal Design Power：芯片按设计可持续消耗、其散热系统按设计须能带走的最大功率，单位为瓦。厂商标称 H100 SXM 约为 700 W，GeForce RTX 5090 为 575 W，采用液冷的 AMD Instinct MI355X 为 1,400 W。额定功耗决定了数据中心所需的供电和散热能力，这正是最新的高功耗 GPU 越来越依赖液冷的原因。

### Tensor Core（张量核心）

NVIDIA GPU 中的专用单元，执行矩阵乘累加运算（神经网络的核心运算），速度远超通用核心。每一代都增加了更低精度的格式：FP8 随 Hopper 和 Ada Lovelace 推出，FP4 则随 Blackwell 推出。AMD 的同类单元称为 Matrix Core。厂商以 TFLOPS 或 PFLOPS 给出的 AI 吞吐量数字，指的就是这些单元。请参阅 [H100 与 B200 对比](https://fullgpu.com/zh/compare/h100-vs-b200)。

### Tensor parallelism（张量并行）

一种模型并行策略：把每一层的权重矩阵切分到多张 GPU 上，使每张 GPU 都计算每一层的一部分。每一层的部分结果都要通过集合通信操作合并，这需要高带宽和低延迟，因此张量并行通常限制在一台通过 NVLink 互联的服务器内部。推理引擎用它来部署单张 GPU 装不下的模型；请参阅我们关于[使用 vLLM 自托管 LLM 推理](https://fullgpu.com/zh/blog/self-host-llm-inference-vllm)的指南。

### TFLOPS 与 PFLOPS

每秒万亿次（TFLOPS）和每秒千万亿次（PFLOPS）浮点运算；1 PFLOPS 等于 1,000 TFLOPS。厂商会为每种精度给出峰值算力，通常分为稠密和稀疏两个数字，其中稀疏数字以 2:4 结构化稀疏为前提，一般是稠密数字的两倍。NVIDIA 标称 H100 SXM 的 BF16 稠密算力为 989 TFLOPS。实际工作负载只能达到峰值的一部分。您可以在我们的 [GPU 总览](https://fullgpu.com/zh/gpus)中比较各款 GPU。

### Time-slicing（时间切片）

让多个进程或租户共享一张 GPU 的一种方式：让它们快速轮流使用 GPU。与 MIG 不同，时间切片不在工作负载之间提供显存隔离或故障隔离，每个工作负载的性能都取决于同时运行的其他任务。FullGPU 不对 GPU 做分时共享：您租用的每张 GPU 只运行您自己的工作负载。

### Tokens per second（每秒 token 数）

语言模型处理或生成 token 的速率；token 是模型读写文本的基本单位。这一指标要么按单个用户统计，衡量一条响应流式输出的速度；要么按一张 GPU 上所有并发请求的总吞吐量统计。两者此消彼长：更大的批次能提高总吞吐量，却可能拖慢每条输出流，因此请确认某个数字衡量的是哪一种。请参阅[用于推理的 GPU](https://fullgpu.com/zh/solutions/inference)。

### vGPU（虚拟 GPU）

一种虚拟 GPU 技术：把一张物理 GPU 划分为多个虚拟 GPU，分配给不同的虚拟机，每个虚拟 GPU 拥有固定份额的显存，以及分时或分区的算力份额。它适合虚拟桌面和轻量工作负载。FullGPU 不使用 vGPU：单卡套餐把整张物理 GPU 直通给一台独享虚拟机，详见我们的[信任与安全页面](https://fullgpu.com/zh/trust)。

### vLLM

一款开源的大语言模型推理服务引擎。它借助 PagedAttention 以固定大小的块管理 KV 缓存，对传入的请求进行连续批处理，并支持张量并行、量化模型和兼容 OpenAI 的服务器。vLLM 既能通过 CUDA 在 NVIDIA GPU 上运行，也能通过 ROCm 在 AMD GPU 上运行。请参阅我们的 [PyTorch 与 vLLM 指南](https://fullgpu.com/zh/docs/pytorch-vllm)。

### VRAM（显存）

GPU 配备的内存：大多数数据中心 GPU 使用 HBM，工作站显卡、消费级显卡以及 L40S 等部分数据中心显卡使用 GDDR。模型权重、KV 缓存和激活值都必须装进显存。按粗略的经验法则，权重所需空间为参数量 × 每个参数的字节数，因此 70B 模型在 BF16 下约占 140 GB，另需为 KV 缓存和额外开销预留 10–30% 的余量。可以试试我们的[显存计算器](https://fullgpu.com/zh/tools/vram-calculator)。

### ZeRO（零冗余优化器）

即 Zero Redundancy Optimizer，Microsoft DeepSpeed 库中的一系列显存优化技术。第 1 阶段把优化器状态分片到各个数据并行 GPU 上，第 2 阶段还对梯度进行分片，第 3 阶段则连参数本身也分片，因此 GPU 越多，每张 GPU 的显存占用就越低。ZeRO-Offload 和 ZeRO-Infinity 还可以把这些状态转移到 CPU 内存或 NVMe 上。PyTorch FSDP 采用的是同一思路。