租用 NVIDIA H200 与 HGX H200 服务器，每月 US$3,090 起

租用 NVIDIA H200 算力的主要理由是显存：每张 GPU 配备 141 GB HBM3e，足以在单卡上以 FP8 精度提供 70B 模型推理服务，而且还有富余。我们提供现货 H200：搭载单张 GPU 的独享虚拟机，每月 US$3,090，是我们最受欢迎的单卡套餐；以及搭载 8 张 GPU 的 HGX H200 裸金属服务器，每月 US$23,900。

与 H100 相比，H200 多了什么

H200 与 H100 采用相同的 Hopper GPU 设计。NVIDIA 为两者标称的算力完全相同（FP8 稠密算力 1,979 TFLOPS，BF16 稠密算力 989 TFLOPS），NVLink 4 同样为每张 GPU 900 GB/s，同样采用 700 W 的 SXM 模组规格。区别在于显存：141 GB HBM3e，而非 80 GB HBM3（多 76%）；带宽为 4.8 TB/s，而非 3.35 TB/s（高 43%）。

这一点对推理影响最大。每生成一个 token，GPU 都要从显存中读取模型权重，因此带宽决定了解码（decode）速度的上限；而没有被权重占用的每 1 GB 显存，都可以用来存放 KV 缓存，以支持更多并发请求或更长的上下文。对于受算力限制的工作，例如训练一个在 80 GB 中就能轻松装下的模型，两者的差距会缩小，H100 可能更具性价比。我们的 H100 与 H200 对比分别分析了这两种情况。

一张 H200 能装下什么，8 张又能装下什么

权重大约需要每个参数 2 字节（BF16）或 1 字节（FP8）；再加上 KV 缓存和 10–30% 的余量。

• 在一张 H200 上运行 FP8 精度的 70B 模型：权重约 70 GB，扣除余量后还剩约 50–60 GB 可用于 KV 缓存。正是这些余量，让单张 H200 能够实际用于生产环境的 70B 推理端点。
• 长上下文：采用分组查询注意力（GQA）的类 Llama 架构 70B 模型（80 层，8 个 KV 头，每个头的维度为 128），在 BF16 精度下每个 token 约需 0.33 MB KV 缓存。因此，一个 128k token 的上下文约为 43 GB，可以与 FP8 权重一起装入 H200，但装不进 80 GB 的 GPU。
• BF16 精度的 70B 模型：约 140 GB，对一张 H200 来说过于勉强。请通过张量并行使用 HGX H200 中的两张 GPU，或改用 180 GB 的 B200。
• HGX H200，共 1.1 TB：FP8 精度的 405B 级模型（约 405 GB）还能留出约 700 GB 给 KV 缓存；FP8 精度的 671B 混合专家（MoE）模型（约 671 GB）也装得下，还剩约 450 GB。

在微调方面，对 70B 模型做 QLoRA（4 位权重约 35 GB）可以在一张 H200 上轻松运行；而在 BF16 精度下对 70B 模型做 LoRA，单张 GPU 装不下，因为仅冻结权重就约占 140 GB。使用 Adam 做全参数微调时，不计激活值，每个参数大约需要 16–20 字节：32B 模型约需 512–640 GB，HGX H200 可以胜任；70B 模型则约需 1.1–1.4 TB，超出了它的 HBM3e 容量，除非您把优化器状态卸载到 2 TB 的系统内存中。您可以用我们的显存计算器试算其他规模。

单卡 H200，还是 HGX H200 服务器？

单卡 H200 配备 24 个 vCPU、240 GB 内存、2 TB NVMe 存储和一个 25 Gbps 网络端口。它适合这样的团队：每张 GPU 为一个模型提供推理服务，并通过增加副本来扩展；或者用 LoRA 和 QLoRA 做微调。

HGX H200 将 8 张 GPU 连接在同一个 NVLink 域内，每张 GPU 的互联带宽为 900 GB/s，因此您可以用张量并行拆分模型，或将训练状态分片到全部 8 张 GPU 上，完全不经过网络。服务器配备两颗 Xeon 8480+ 处理器（共 112 核）、2 TB DDR5 内存、8 块 3.84 TB NVMe 硬盘和 8 块 400G ConnectX-7 网卡。在 8 张 GPU 的规模下，它也比单卡套餐更便宜：每月 US$23,900，而 8 台单卡 H200 每月合计 US$24,720。

软件：成熟的 Hopper 软件栈

Hopper GPU 自 2023年起就已广泛部署，因此 vLLM、SGLang 和 TensorRT-LLM 对 FP8 的支持已经很成熟。服务器交付时即提供 SSH root 权限，系统为 Ubuntu 22.04 或 24.04，并预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit；Debian 或 Rocky Linux 可应要求提供。在一张 H200 上从 FP8 检查点加载 70B 模型、并使用 FP8 KV 缓存提供推理服务，命令如下：

vllm serve <your-70b-fp8-checkpoint> --kv-cache-dtype fp8 \
  --max-model-len 131072 --host 127.0.0.1 --port 8000

以 FP8 存储 KV 缓存可使其大小减半，在相同显存中能容纳的上下文长度或并发量也因此大约翻倍。我们的使用 vLLM 自托管大语言模型（LLM）推理指南介绍了生产环境配置，如何为 LLM 推理选择 GPU 一文则对各种选择做了比较。

H200 价格：每月与每 GPU 小时

• 单卡 H200 每月 US$3,090，约合每 GPU 小时 US$4.23
• HGX H200，8 卡 每月 US$23,900，约合每 GPU 小时 US$4.09

小时价是用月价除以 GPU 数量，再除以 730 小时得出的，因此只有当 GPU 全月运行时才成立。全天候运行的推理端点正是如此，此时固定的 US$3,090 月价就取代了按用量计费。如果推理端点只在工作时间运行，每月约 220 小时，那么按月套餐折算下来每个实际使用小时约 US$14.05，此时按小时计费很可能是更好的选择。一般规则是：用我们的月价除以您在别处需要支付的小时单价，使用时间超过这个小时数，按月计费就更划算。我们的按月与按小时计费对比详细展示了计算过程。

价格也一直在变动。根据 FullGPU 于 2026年10月对公开价目表的调研，过去一年 H200 按需价格（每 GPU 小时）的中位数上涨了约 27%。按月套餐会为每个已付费月份锁定价格。套餐包含出站流量，不收取出站流量费（单卡每月 20 TB，8 卡服务器每月 50 TB，遵循合理使用原则），另含一个公网 IPv4 地址和一个 IPv6 /64 网段、DDoS 防护、7×24 小时支持，以及 99.9% 可用性 SLA（服务等级协议）。不收取开通费。

如何租用 NVIDIA H200 服务器

在部署页面选择您需要的套餐，设置操作系统镜像、可选的预装软件和登录方式（root 密码或 SSH 密钥），并在同一表单中免费创建账户或登录。承诺交付日期会在您支付任何费用之前显示。随后，您用预付余额支付首月费用；余额可通过 BTC、ETH、XMR、TRON 网络上的 USDT 或 SOL 充值，汇率会在限定时间内锁定，最高可获得 50% 赠送额度；银行卡支付即将推出。SSH root 权限会在显示的日期前开通，IP 地址和 SSH 登录信息显示在您的控制台中。如果交付日期延误，您可以取消订单，全额退款至余额。套餐每月从余额自动续费，并会发送邮件提醒；任何月份均可免费取消。如需多台服务器的批量价格或 6–12 个月的长期价格，拥有运行中服务器的客户可以在控制台提交工单咨询。