MI355X 与 H200 对比：双倍显存，还是久经考验的软件栈？

在 MI355X 与 H200 之间做选择，是在硬件与使用习惯之间权衡。AMD 的 Instinct MI355X 每张 GPU 配备 288 GB HBM3e，约为 H200（141 GB）的两倍；显存带宽 8 TB/s，而 H200 为 4.8 TB/s；并在硬件上支持 FP6 和 FP4。NVIDIA 的 H200 沿用 H100 的 Hopper 架构，但换用了更大、更快的 HBM3e，并运行大多数 AI 代码所针对的 CUDA 软件栈。这两款我们都出租，因此本页只讨论您在下单前就能核实的内容：显存、格式、互联、价格和移植工作量。

MI355X 与 H200 一览

纸面上，MI355X 在每一项硬件指标上都领先。AMD 标称 MI355X 的 FP8 稠密算力为 5.0 PFLOPS，约为 NVIDIA 为 H200 标称的 1,979 TFLOPS 的 2.5 倍。它的显存也约为 H200 的两倍，带宽约为 1.7 倍。H200 的优势在别处：CUDA 兼容性、Hopper 在业内多年的生产环境使用经验，以及单卡套餐。

价格同样对 MI355X 有利。我们的 8× MI355X 服务器每月 US$19,900，HGX H200 服务器每月 US$23,900：便宜 US$4,000，显存却翻了一倍。如果您的软件能在 ROCm 上运行，MI355X 是更强的服务器；如果不能，它的硬件优势对您毫无用处。

显存：每张 GPU 288 GB 对比 141 GB

容量决定一个模型需要几张 GPU，以及还剩多少空间留给 KV 缓存。权重每个参数大约占 2 字节（BF16）、1 字节（FP8）或 0.5 字节（FP4）；另需为 KV 缓存、激活值和运行开销预留 10–30%。下表只计算权重。

最后两行的差别最为明显。DeepSeek-V3 是一个 671B 的混合专家模型，发布时采用 FP8 权重。两台 8 卡服务器都能装下这些权重，但 MI355X 服务器能为 KV 缓存留出约 1.6 TB，而 HGX H200 只有约 450 GB。在 BF16 精度下，只有 MI355X 服务器装得下这个模型，还能剩下约 960 GB。我们的 DeepSeek 硬件指南详细分析了这一案例。

在单张 GPU 上，长上下文也显示出同样的差距。以采用分组查询注意力（GQA）的 70B 级模型为例（80 层，8 个 KV 头，与 Llama 3 70B 相同），在 FP8 精度下，每个 token 的 KV 缓存约需 0.16 MB，因此一个 128K token 的上下文约占 21 GB。加载 FP8 权重后，H200 约剩 70 GB：可同时容纳约三个完整长度的上下文。MI355X 约剩 218 GB：约可容纳十个，这还未计入运行开销。

算力与精度格式

AMD 标称 MI355X 的 BF16 稠密算力为 2.5 PFLOPS，FP8 稠密算力为 5.0 PFLOPS。NVIDIA 标称 H200 在这两种格式下分别为 989 和 1,979 TFLOPS，与 H100 的数字相同，因为两者采用相同的 Hopper 计算单元。约 2.5 倍的峰值算力差距是代际差距，而不是调优带来的差异。但峰值数字终究不等于实际吞吐量：您的内核和库决定了您能用上其中多少。

在低精度上，差距更大。Hopper 支持的最低精度浮点张量格式是 FP8。AMD 的 CDNA 4 新增了 MXFP6 和 MXFP4，这两种微缩放格式经由开放计算项目（OCP）标准化，AMD 标称 MXFP4 算力为 10.1 PFLOPS。在 H200 上，您仍可以借助 AWQ 或 GPTQ 等仅权重量化方法部署 4 位权重，但矩阵运算仍以更高的精度执行：显存占用下降了，算力却没有提升。在 MI355X 上，只要您的框架支持，4 位和 6 位模型就能原生执行运算。我们的 AMD MI355X 用于 AI 详解有更深入的介绍。

显存带宽与互联

每生成一个 token，都要从显存中读取参与计算的权重和 KV 缓存，因此在小批大小下，带宽往往决定交互式推理服务的速度。AMD 标称 MI355X 为 8 TB/s，NVIDIA 标称 H200 为 4.8 TB/s：对于两者都装得下的模型，MI355X 传输这些数据的速度约为 H200 的 1.7 倍。

在服务器内部，HGX H200 通过 NVLink 交换机连接每张 GPU，每张 GPU 拥有 900 GB/s 的 NVLink 4 带宽，因此任意两张 GPU 之间都能以 NVLink 全速通信。MI355X 采用 Infinity Fabric 直连网状互联：AMD 标称每张 GPU 有 7 条 153.6 GB/s 的链路，分别连接每个对端，合计约 1.08 TB/s。包括 all-reduce 在内的集合通信会分散到每一条链路上；两张特定 GPU 之间的传输则只使用连接它们的那一条链路。对于大量使用张量并行的训练，请对两者都做性能分析。对于推理，MI355X 的大容量往往意味着可以把模型拆分到更少的 GPU 上，从源头上减少通信。

在服务器之间，两者都有 8 个 400G 网络端口：HGX H200 上是 ConnectX-7，MI355X 上是 RoCE。您的服务器之间可应要求配置私有网络。

月成本：US$19,900 对比 US$23,900

我们的 8× MI355X 服务器约合每 GPU 小时 US$3.41，HGX H200 约合 US$4.09。按每 GB 显存计算，分别约为每月 US$8.64 和 US$21.19：在 MI355X 上，每美元能买到的显存约为 HGX H200 的 2.5 倍。

H200 胜在配置粒度。单张 H200 每月 US$3,090，能装下 FP8 精度的 70B 模型，还为 KV 缓存留有空间。如果一张 GPU 就能满足您的工作负载，就没有可与之比较的 MI355X 套餐，因为我们只以完整的 8 卡服务器形式出租 MI355X。两到三个单卡 H200 套餐每月也不超过 US$10,000，不过它们是相互独立的虚拟机，适合相互独立的任务，而不适合把一个模型拆分到多张 GPU 上。

MI355X 库存有限，承诺交付日期会在付款前显示。拥有运行中的服务器后，您可以提交工单，咨询 6 到 12 个月的长期价格或多台服务器的批量价格。您可以在 GPU 成本计算器中估算自己的总费用。

软件：Hopper 软件栈与 ROCm 对比

H200 运行的软件与 H100 相同：同样的 CUDA 版本、同样的内核、同样的容器镜像。如果您的训练或推理软件栈如今能在 Hopper 上运行，那么它在 H200 上也能运行，显存更大，而且无需移植。在截止日期临近时，这种可预期性具有实实在在的价值。

MI355X 运行 ROCm。PyTorch 和 vLLM 都支持 ROCm，我们的 ROCm 镜像为您提供了现成的基础环境。阻力来自自定义 CUDA 内核（需要移植到 HIP），以及 TensorRT-LLM 等 NVIDIA 专属工具（没有 AMD 版本）。请先排查您的依赖项，然后用真实工作负载运行一个月：最短期限为一个月，任何月份均可免费取消。我们的 ROCm 文档介绍了配置方法。

如何选择

• 单卡，FP8 精度的 70B 或更小的模型：单张 H200，每月 US$3,090。
• 8 卡，软件栈兼容 ROCm：MI355X 服务器，每月 US$19,900，显存更大、带宽更高，并原生支持 FP4。
• 8 卡，依赖项仅支持 CUDA：HGX H200，每月 US$23,900；如果还需要 FP4，可选择 Blackwell 服务器（参见 H200 与 B200 对比）。
• 不确定软件栈能否移植：先在 MI355X 上测试一个月，再决定是否签订更长的租期。