MI355X 与 B200 对比：显存、软件与成本

在 MI355X 与 B200 之间做选择，归根结底是显存与软件之间的取舍。AMD 的 Instinct MI355X 每张 GPU 配备 288 GB HBM3e；NVIDIA 的 B200 配备 180 GB HBM3e。两者标称的显存带宽都是 8 TB/s，厂商公布的峰值算力相差约 10%。真正拉开差距的，是每张 GPU 的容量、软件栈（ROCm 或 CUDA）、我们出租的配置，以及月价。

MI355X 与 B200：简要结论

当一个模型、其上下文或批次需要每张 GPU 超过 180 GB 显存，且您的代码运行在 PyTorch、vLLM 等支持 ROCm 的框架上时，请选择 MI355X。当您依赖仅支持 CUDA 的组件、一张 GPU 就够用，或希望使用 NVIDIA 针对 NVFP4 模型的工具链时，请选择 B200。

两者的价格差距很大。我们以 8 卡服务器的形式出租 MI355X，每月 US$19,900，约合每 GPU 小时 US$3.41。HGX B200 服务器每月 US$34,900，约合每 GPU 小时 US$5.98。我们也出租单卡 B200，每月 US$4,590；而 MI355X 只提供完整的 8 卡服务器。

显存：288 GB 对比 180 GB，各能装下什么

权重大约等于参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，FP4 为 0.5 字节。另需为 KV 缓存、激活值和运行时开销预留 10–30%。下表只计算权重，因此请把每个数字视为下限。

张量并行组通常由 2、4 或 8 张 GPU 组成，因此理论上需要三张 B200 时，实际上往往要用四张。无论哪种情况，规律都不变：同一个模型，MI355X 需要的 GPU 更少，每张 GPU 上剩余的显存也更多。

这些剩余显存就是推理服务的容量。以采用分组查询注意力（GQA）的 70B 级模型为例（80 层，8 个 KV 头，每个头 128 维，与 Llama 3 70B 相同），在 16 位精度下，每个 token 的 KV 缓存约占 0.33 MB，因此一个 8K token 的对话约需 2.7 GB。加载 BF16 权重后，B200 的 40 GB 余量约能容纳 15 个这样的对话，MI355X 的 148 GB 约能容纳 55 个，这还未计入运行开销。单个 128K token 的上下文约需 43 GB，超过了 B200 的剩余显存。将 KV 缓存以 FP8 存储，可使两款 GPU 上每个 token 的开销减半。

算力与精度：MXFP4 和 MXFP6 对比 NVFP4

AMD 标称 MI355X 的 FP8 稠密算力为 5.0 PFLOPS，BF16 稠密算力为 2.5 PFLOPS。NVIDIA 标称 B200 在这两种格式下分别为 4.5 和 2.25 PFLOPS。借助结构化稀疏，两家厂商给出的数字都大约翻倍，但这只适用于按该模式剪枝过的模型。纸面上，MI355X 领先约 10%。不过，峰值数字并不等于实际吞吐量：内核、库和通信决定了您最终能得到多少，而这正是软件成熟度的体现之处。

4 位格式之间的差异，比宣传数字所显示的更大。AMD 的 CDNA 4 新增了对 MXFP6 和 MXFP4 的硬件支持，这两种微缩放格式经由开放计算项目（OCP）标准化，AMD 标称 MXFP4 算力为 10.1 PFLOPS。Blackwell 同样支持 MX 格式，并新增了 NVIDIA 自有的 4 位格式 NVFP4：它以 16 个值为一块进行缩放，使用 FP8 缩放因子；而 MXFP4 以 32 个值为一块，使用 2 的幂缩放因子。NVIDIA 表示，更精细的缩放能让 4 位模型更接近其原始准确度。NVIDIA 标称 B200 的 FP4 稠密算力为 9 PFLOPS，稀疏算力为 18 PFLOPS。

实际上，如果您计划用 NVIDIA 的工具链部署已发布的 NVFP4 检查点，B200 是最直接的路径。对于 FP8、BF16 或 MXFP4 模型，两款 GPU 都在硬件上支持相应格式，需要检查的是您所用推理框架的支持情况。我们关于 FP8 与 FP4 精度格式的指南介绍了准确度方面的取舍。

带宽、互联与多 GPU 扩展

显存带宽打成平手：两家厂商标称的都是 8 TB/s。生成 token 的速度通常受限于权重和 KV 缓存从显存中读出的速度，因此对于两款 GPU 都装得下的模型，带宽分不出高下。真正拉开差距的是容量。

在 GPU 之间，两者的设计不同。在 HGX B200 中，每张 GPU 通过 NVLink 交换机获得 1.8 TB/s 的 NVLink 5 带宽，因此任意两张 GPU 之间都能以 NVLink 全速通信。MI355X 平台则通过 Infinity Fabric 将每张 GPU 与其余 7 张直接相连：AMD 标称 7 条链路，每条 153.6 GB/s，每张 GPU 合计约 1.08 TB/s。像 all-reduce 这样的集合通信会把流量分散到整个网状互联上，而两张特定 GPU 之间的传输只能走连接它们的那一条链路。

对于采用大规模张量并行、通信密集的训练，B200 的交换式 NVLink 余量更大。对于推理，MI355X 往往能绕开这个问题：需要四张 B200 的模型，也许两张 MI355X 就能装下，因此通信量从一开始就更少。在服务器之间，两者都有 8 个 400G 网络端口，每张 GPU 一个：HGX B200 上是 ConnectX-7，MI355X 上是 RoCE。您的服务器之间可应要求配置私有网络。

每月成本与性价比

一台 8× MI355X 服务器每月 US$19,900，一台 HGX B200 每月 US$34,900。两者每月相差 US$15,000，一年相差 US$180,000。按每 GB 显存计算，MI355X 每月约 US$8.64，B200 为 US$24.24：MI355X 每美元能买到的显存将近 B200 的三倍。

B200 的优势在于配置粒度。如果一张 GPU 就能满足您的工作负载，那么在两者之中，只有每月 US$4,590 的单卡 B200 可选。四个单卡 B200 套餐合计每月 US$18,360，与一台 MI355X 服务器相当，但它们是四台相互独立的虚拟机，彼此之间没有 NVLink：适合相互独立的任务，不适合把一个模型拆分到多张 GPU 上。

如果您需要每张 GPU 288 GB 显存，又必须留在 CUDA 上，NVIDIA B300 同样配备 288 GB HBM3e；HGX B300 服务器每月 US$39,900。要按您自己的租期比较总费用，请使用 GPU 成本计算器。

软件：ROCm 与 CUDA 的实际情况

这部分需要实测，而不能想当然。PyTorch 和 vLLM 都支持 ROCm，而且 PyTorch 的 ROCm 版本保留了大家熟悉的 torch.cuda 设备接口，因此大多数模型代码无需修改即可运行。集合通信运行在 RCCL 上，即 AMD 与 NCCL 相对应的通信库。基于这些组件构建的软件栈，通常只需安装和配置即可迁移到 MI355X，而无需重写。

工作量集中在边缘部分。自定义 CUDA 内核必须移植到 HIP，即 AMD 类似 CUDA 的编程接口；AMD 的 HIPIFY 工具可以转换大部分源代码，但转换结果仍需测试和调优。TensorRT-LLM 等 NVIDIA 专属软件无法在 AMD GPU 上运行，一些仅支持 CUDA 的库也没有 ROCm 版本。请检查每一项依赖，而不只是框架。

在 B200 上，这些问题都不存在：几乎所有 AI 库都首先面向 CUDA。我们的 Ubuntu 镜像预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit，我们也为 AMD 服务器提供 ROCm 镜像。可以先阅读我们关于运行 ROCm 以及 PyTorch 与 vLLM 的文档。

如何选择

1. 列出您的依赖项。如果有任何组件仅支持 CUDA 且无法替换，请选择 B200。
2. 按“每个参数的字节数”规则再加上 KV 缓存来估算显存。如果一个模型实例需要每张 GPU 超过 180 GB，MI355X 需要的 GPU 更少。
3. 匹配规模。只需一张 GPU，就选单卡 B200；需要一整个节点，MI355X 服务器就值得纳入比价。
4. 先验证，再承诺。最短期限为一个月，任何月份均可免费取消，因此您可以先在 MI355X 上运行真实的工作负载，再决定是否签订更长的租期。

MI355X 库存有限。只需一张表单即可部署 MI355X 服务器：选择配置，免费创建账户或登录，然后用余额支付首月费用；承诺交付日期会在付款前显示，如果我们未能按期交付，您可以取消订单，全额退款至账户余额。订单表单中有选填的备注栏，您可以在其中为我们的工程师描述您的工作负载。