适合大模型微调的 GPU：从 QLoRA 到全参数微调

适合大语言模型（LLM）微调的 GPU，是能装下您的基座模型、所选方法的训练状态和最长序列，并且仍有余量的最小那一款。下文给出 8B、32B 和 70B 模型做 QLoRA、LoRA 和全参数微调的显存计算，说明每种情况用哪款单卡即可胜任，以及何时需要改用 8 卡节点。我们的所有 GPU 都是整张物理卡，按月租用。

每种微调方法需要多少显存

• 全参数微调会训练每一个权重。使用 AdamW 和混合精度时，不计激活值，每个参数大约需要 16–20 字节。8 位优化器状态可为每个参数节省约 6 字节。
• LoRA 以 BF16 精度冻结基座模型（每个参数 2 字节），只训练小型适配器矩阵，其优化器状态通常最多只占几 GB。
• QLoRA 以 4 位精度加载冻结的基座模型，每个参数约 0.5 字节，外加少量开销，并在其上训练 BF16 适配器。在正式采用之前，请先在您自己的评测集上把它的效果与 LoRA 进行比较。

这些数字只包括权重或训练状态。激活值另算，并随序列长度和批大小增长；梯度检查点能以额外的计算为代价，大幅削减激活值。请预留 10–30% 的余量，或在我们的显存计算器中试算您的具体配置。

大模型微调：哪款 GPU 适合您的模型

• H100，80 GB HBM3。可对 70B 以内的模型做 QLoRA：4 位权重约占 40 GB，在中等上下文长度下仍能为激活值留出空间。可对 8B 至 14B 模型做 BF16 LoRA。全参数微调只适用于约 3B 参数的小模型。
• H200，141 GB HBM3e。可对 70B 模型做 QLoRA，并支持更长的序列或更大的批次；可对 32B 模型做 BF16 LoRA，余量充足；借助 8 位优化器，还可对 7B 至 8B 模型做全参数微调。
• B200，180 GB HBM3e。可对 70B 模型做 BF16 LoRA：约 140 GB 权重之外还剩约 40 GB，在启用梯度检查点后可容纳适配器和激活值。还可在标准混合精度下对 8B 模型做全参数微调。
• B300，288 GB HBM3e。我们提供的规格最大的单卡套餐，可在长上下文下对 70B 模型做 LoRA，无需在显存上精打细算。

一旦全部装得下，速度就由显存带宽决定：根据 NVIDIA 公布的规格，H100 为 3.35 TB/s，H200 为 4.8 TB/s，B200 为 8 TB/s。如需深入了解这两款 Hopper 显卡，请阅读我们的 H100 与 H200 对比。

什么时候需要 8 张 GPU

• 8B 以上模型的全参数微调。32B 模型约需 510–640 GB 训练状态，借助 FSDP 或 DeepSpeed ZeRO-3，可以装入配备 1.13 TB HBM3e 的 HGX H200 节点。70B 模型需要 1.1–1.4 TB：可选择 HGX B300 节点，或使用 HGX B200 节点，并把优化器状态卸载到它的 2 TB 内存中。
• 强化学习。PPO 和 GRPO 类后训练通常要在训练器旁边运行 vLLM 等生成引擎，因此需要把 GPU 分配给采样（rollout）和训练两部分。
• 长上下文。在 32k 到 128k 个 token 时，激活值占据显存预算的大头；上下文并行可以把它们分摊到多张 GPU 上。
• 实际耗时。在 8 张 GPU 上做数据并行，可以缩短那些在单卡上要跑好几天的大型训练任务。

我们的 8 卡服务器通过 NVLink 连接全部 8 张 GPU。预训练和大规模后训练请参阅大模型训练 GPU 服务器；如需深入了解常见规模中最大的一档，请阅读我们的 70B 模型微调指南。

软件与环境配置

Hugging Face TRL（配合 PEFT）、Axolotl、Unsloth 和 LLaMA-Factory 都支持 LoRA 和 QLoRA，可用 bitsandbytes 实现 4 位加载，用 FSDP 或 DeepSpeed 实现多 GPU 全参数微调。请在 Docker 中配合 NVIDIA Container Toolkit 运行它们（我们的 Ubuntu 镜像已预装该工具包），这样每次实验的 CUDA 和 PyTorch 版本都保持固定。对大型数据集做分词和打包属于 CPU 工作，因此套餐的 CPU 和内存同样重要：H100 套餐为 24 个 vCPU 和 225 GB 内存，H200 为 24 个 vCPU 和 240 GB，B200 为 26 个 vCPU 和 256 GB。

请把基座模型和分词后的数据集放在本地 NVMe 上：H100 和 H200 套餐为 2 TB，B200 为 2.75 TB。BF16 精度的 70B 基座模型约 140 GB，下载一次即可整月重复使用，而且入站流量不计入您的流量额度。每次训练结束后，可在同一张 GPU 上用 vLLM 加载检查点，测试之后再上线；具体配置请参阅我们的 PyTorch 与 vLLM 指南。

微调该按月还是按小时租用？

微调是一个反复迭代的过程：清洗数据、扫描学习率、评测，然后重复。按月独享一张 GPU，适合每周要跑好几次实验的团队，因为每多跑一次都不会增加费用。每月 US$2,190 的 H100 如果全天候满载运行，约合每 GPU 小时 US$3.00；如果只用 100 小时，有效费率约为每小时 US$21.90。如果您每季度只微调几个小时，在别处按小时计费会更便宜。请对照按月与按小时 GPU 计费对比，用您自己的数据算一算。

开始使用时，请在部署页面选择配置，在同一表单中免费创建账户，然后用预付余额支付首月费用；余额通过加密货币充值。承诺交付日期会在付款前显示，IP 地址和 SSH 登录信息会在该日期前显示在您的控制台中。