# MI355X 与 B200 对比：显存、软件与成本

> MI355X 与 B200 对比：HBM 显存 288 GB 对比 180 GB，ROCm 对比 CUDA 软件栈，4 位精度格式，以及每张 GPU 的月成本。了解哪款 8 卡服务器更适合您的模型和预算。

来源：https://fullgpu.com/zh/compare/mi355x-vs-b200  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

**简而言之：** 如果显存是您的瓶颈，且您的软件栈能在 ROCm 上运行，MI355X 服务器以每月 US$19,900 的价格为您提供 2,304 GB HBM3e；如果您依赖仅支持 CUDA 的软件，或只需要一张 GPU，请选择 B200。

## MI355X 与 B200 规格对比

| 规格项 | AMD Instinct MI355X | NVIDIA B200 |
| --- | --- | --- |
| 架构 | CDNA 4 | Blackwell |
| 显存 | 288 GB HBM3e | 180 GB HBM3e |
| 显存带宽 | 8 TB/s | 8 TB/s |
| FP4 | 10,100 TFLOPS | 9,000 TFLOPS |
| FP8 | 5,000 TFLOPS | 4,500 TFLOPS |
| BF16 / FP16 | 2,500 TFLOPS | 2,250 TFLOPS |
| GPU 互联 | Infinity Fabric | NVLink 5 · 1.8 TB/s |
| 外形规格 | OAM 模组 · 液冷 | SXM 模组 · HGX B200 |
| 最大功耗 | 1,400 W | 1,000 W |

## FullGPU 月价

| 配置 | 类型 | 显存 | CPU | 内存 | 存储 | 网络 | 每月价格（美元） | 每 GPU 小时 | 供货情况 |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| [8× AMD Instinct MI355X](https://fullgpu.com/zh/gpus/amd-mi355x) | 8 卡服务器 | 8 × 288 GB HBM3e | 2× EPYC 9575F · 128 核 | 3 TB DDR5 | 8× 3.84 TB NVMe | 8× 400G RoCE | US$19,900 | US$3.41 | 库存有限，付款后 7 个工作日内交付 |
| [NVIDIA B200](https://fullgpu.com/zh/gpus/nvidia-b200) | 单卡 | 180 GB HBM3e | 26 vCPU | 256 GB | 2.75 TB NVMe | 25 Gbps | US$4,590 | US$6.29 | 现货，付款后 1 个工作日内交付 |
| [8× NVIDIA HGX B200](https://fullgpu.com/zh/gpus/nvidia-b200) | 8 卡服务器 | 8 × 180 GB HBM3e | 2× Xeon 8570 · 112 核 | 2 TB DDR5 | 8× 3.84 TB NVMe | 8× 400G ConnectX-7 | US$34,900 | US$5.98 | 现货，付款后 3 个工作日内交付 |

每 GPU 小时 = 月价 ÷ GPU 数量 ÷ 730 小时，仅用于与按小时计费的方案对比：所有套餐均按固定月价计费。

## 以下情况选择 MI355X：

- 您的模型、上下文或批次需要每张 GPU 超过 180 GB 显存。
- 您希望在 8 卡服务器中，每美元获得尽可能多的显存。
- 您的软件栈基于 PyTorch 或 vLLM，没有自定义 CUDA 内核。

## 以下情况选择 B200：

- 您的代码依赖仅支持 CUDA 的库、TensorRT-LLM 或自定义 CUDA 内核。
- 一张 GPU 就够用：我们出租单卡 B200，每月 US$4,590。
- 您希望用 NVIDIA 的推理工具链部署 NVFP4 模型。
- 您的训练通信密集，能受益于每张 GPU 1.8 TB/s 的 NVLink 5。

## 概览

在 MI355X 与 B200 之间做选择，归根结底是显存与软件之间的取舍。AMD 的 Instinct MI355X 每张 GPU 配备 288 GB HBM3e；NVIDIA 的 B200 配备 180 GB HBM3e。两者标称的显存带宽都是 8 TB/s，厂商公布的峰值算力相差约 10%。真正拉开差距的，是每张 GPU 的容量、软件栈（ROCm 或 CUDA）、我们出租的配置，以及月价。

## MI355X 与 B200：简要结论

当一个模型、其上下文或批次需要每张 GPU 超过 180 GB 显存，且您的代码运行在 PyTorch、vLLM 等支持 ROCm 的框架上时，请选择 MI355X。当您依赖仅支持 CUDA 的组件、一张 GPU 就够用，或希望使用 NVIDIA 针对 NVFP4 模型的工具链时，请选择 B200。

两者的价格差距很大。我们以 8 卡服务器的形式出租 MI355X，每月 US$19,900，约合每 GPU 小时 US$3.41。HGX B200 服务器每月 US$34,900，约合每 GPU 小时 US$5.98。我们也出租单卡 B200，每月 US$4,590；而 MI355X 只提供完整的 8 卡服务器。

## 显存：288 GB 对比 180 GB，各能装下什么

权重大约等于参数量 × 每个参数的字节数：BF16 为 2 字节，FP8 为 1 字节，FP4 为 0.5 字节。另需为 KV 缓存、激活值和运行时开销预留 10–30%。下表只计算权重，因此请把每个数字视为下限。

| 模型与精度 | 权重（约） | 所需 B200 数量 | 所需 MI355X 数量 |
| --- | --- | --- | --- |
| 70B 稠密模型，BF16 | 140 GB | 1 张，剩余约 40 GB | 1 张，剩余约 148 GB |
| 405B 稠密模型，FP4 | 203 GB | 2 张 | 1 张，剩余约 85 GB |
| 405B 稠密模型，FP8 | 405 GB | 3 张 | 2 张 |
| 405B 稠密模型，BF16 | 810 GB | 5 张 | 3 张 |
| 671B 混合专家（MoE）模型，FP8 | 671 GB | 4 张 | 3 张 |

张量并行组通常由 2、4 或 8 张 GPU 组成，因此理论上需要三张 B200 时，实际上往往要用四张。无论哪种情况，规律都不变：同一个模型，MI355X 需要的 GPU 更少，每张 GPU 上剩余的显存也更多。

这些剩余显存就是推理服务的容量。以采用分组查询注意力（GQA）的 70B 级模型为例（80 层，8 个 KV 头，每个头 128 维，与 Llama 3 70B 相同），在 16 位精度下，每个 token 的 KV 缓存约占 0.33 MB，因此一个 8K token 的对话约需 2.7 GB。加载 BF16 权重后，B200 的 40 GB 余量约能容纳 15 个这样的对话，MI355X 的 148 GB 约能容纳 55 个，这还未计入运行开销。单个 128K token 的上下文约需 43 GB，超过了 B200 的剩余显存。将 KV 缓存以 FP8 存储，可使两款 GPU 上每个 token 的开销减半。

## 算力与精度：MXFP4 和 MXFP6 对比 NVFP4

AMD 标称 MI355X 的 FP8 稠密算力为 5.0 PFLOPS，BF16 稠密算力为 2.5 PFLOPS。NVIDIA 标称 B200 在这两种格式下分别为 4.5 和 2.25 PFLOPS。借助结构化稀疏，两家厂商给出的数字都大约翻倍，但这只适用于按该模式剪枝过的模型。纸面上，MI355X 领先约 10%。不过，峰值数字并不等于实际吞吐量：内核、库和通信决定了您最终能得到多少，而这正是软件成熟度的体现之处。

4 位格式之间的差异，比宣传数字所显示的更大。AMD 的 CDNA 4 新增了对 MXFP6 和 MXFP4 的硬件支持，这两种微缩放格式经由开放计算项目（OCP）标准化，AMD 标称 MXFP4 算力为 10.1 PFLOPS。Blackwell 同样支持 MX 格式，并新增了 NVIDIA 自有的 4 位格式 NVFP4：它以 16 个值为一块进行缩放，使用 FP8 缩放因子；而 MXFP4 以 32 个值为一块，使用 2 的幂缩放因子。NVIDIA 表示，更精细的缩放能让 4 位模型更接近其原始准确度。NVIDIA 标称 B200 的 FP4 稠密算力为 9 PFLOPS，稀疏算力为 18 PFLOPS。

实际上，如果您计划用 NVIDIA 的工具链部署已发布的 NVFP4 检查点，B200 是最直接的路径。对于 FP8、BF16 或 MXFP4 模型，两款 GPU 都在硬件上支持相应格式，需要检查的是您所用推理框架的支持情况。我们关于 [FP8 与 FP4 精度格式](https://fullgpu.com/zh/blog/fp8-fp4-precision-explained)的指南介绍了准确度方面的取舍。

## 带宽、互联与多 GPU 扩展

显存带宽打成平手：两家厂商标称的都是 8 TB/s。生成 token 的速度通常受限于权重和 KV 缓存从显存中读出的速度，因此对于两款 GPU 都装得下的模型，带宽分不出高下。真正拉开差距的是容量。

在 GPU 之间，两者的设计不同。在 HGX B200 中，每张 GPU 通过 NVLink 交换机获得 1.8 TB/s 的 NVLink 5 带宽，因此任意两张 GPU 之间都能以 NVLink 全速通信。MI355X 平台则通过 Infinity Fabric 将每张 GPU 与其余 7 张直接相连：AMD 标称 7 条链路，每条 153.6 GB/s，每张 GPU 合计约 1.08 TB/s。像 all-reduce 这样的集合通信会把流量分散到整个网状互联上，而两张特定 GPU 之间的传输只能走连接它们的那一条链路。

对于采用大规模张量并行、通信密集的训练，B200 的交换式 NVLink 余量更大。对于推理，MI355X 往往能绕开这个问题：需要四张 B200 的模型，也许两张 MI355X 就能装下，因此通信量从一开始就更少。在服务器之间，两者都有 8 个 400G 网络端口，每张 GPU 一个：HGX B200 上是 ConnectX-7，MI355X 上是 RoCE。您的服务器之间可应要求配置[私有网络](https://fullgpu.com/zh/products/private-networking)。

## 每月成本与性价比

一台 8× MI355X 服务器每月 US$19,900，一台 HGX B200 每月 US$34,900。两者每月相差 US$15,000，一年相差 US$180,000。按每 GB 显存计算，MI355X 每月约 US$8.64，B200 为 US$24.24：MI355X 每美元能买到的显存将近 B200 的三倍。

B200 的优势在于配置粒度。如果一张 GPU 就能满足您的工作负载，那么在两者之中，只有每月 US$4,590 的单卡 B200 可选。四个单卡 B200 套餐合计每月 US$18,360，与一台 MI355X 服务器相当，但它们是四台相互独立的虚拟机，彼此之间没有 NVLink：适合相互独立的任务，不适合把一个模型拆分到多张 GPU 上。

如果您需要每张 GPU 288 GB 显存，又必须留在 CUDA 上，[NVIDIA B300](https://fullgpu.com/zh/gpus/nvidia-b300) 同样配备 288 GB HBM3e；HGX B300 服务器每月 US$39,900。要按您自己的租期比较总费用，请使用 [GPU 成本计算器](https://fullgpu.com/zh/tools/gpu-cost-calculator)。

## 软件：ROCm 与 CUDA 的实际情况

这部分需要实测，而不能想当然。PyTorch 和 vLLM 都支持 ROCm，而且 PyTorch 的 ROCm 版本保留了大家熟悉的 `torch.cuda` 设备接口，因此大多数模型代码无需修改即可运行。集合通信运行在 RCCL 上，即 AMD 与 NCCL 相对应的通信库。基于这些组件构建的软件栈，通常只需安装和配置即可迁移到 MI355X，而无需重写。

工作量集中在边缘部分。自定义 CUDA 内核必须移植到 HIP，即 AMD 类似 CUDA 的编程接口；AMD 的 HIPIFY 工具可以转换大部分源代码，但转换结果仍需测试和调优。TensorRT-LLM 等 NVIDIA 专属软件无法在 AMD GPU 上运行，一些仅支持 CUDA 的库也没有 ROCm 版本。请检查每一项依赖，而不只是框架。

在 B200 上，这些问题都不存在：几乎所有 AI 库都首先面向 CUDA。我们的 Ubuntu 镜像预装 NVIDIA 驱动、CUDA、Docker 和 NVIDIA Container Toolkit，我们也为 AMD 服务器提供 ROCm 镜像。可以先阅读我们关于[运行 ROCm](https://fullgpu.com/zh/docs/amd-rocm) 以及 [PyTorch 与 vLLM](https://fullgpu.com/zh/docs/pytorch-vllm) 的文档。

## 如何选择

1. 列出您的依赖项。如果有任何组件仅支持 CUDA 且无法替换，请选择 B200。
2. 按“每个参数的字节数”规则再加上 KV 缓存来估算显存。如果一个模型实例需要每张 GPU 超过 180 GB，MI355X 需要的 GPU 更少。
3. 匹配规模。只需一张 GPU，就选单卡 B200；需要一整个节点，MI355X 服务器就值得纳入比价。
4. 先验证，再承诺。最短期限为一个月，任何月份均可免费取消，因此您可以先在 MI355X 上运行真实的工作负载，再决定是否签订更长的租期。

MI355X 库存有限。只需一张表单即可[部署 MI355X 服务器](https://fullgpu.com/zh/deploy)：选择配置，免费创建账户或登录，然后用余额支付首月费用；承诺交付日期会在付款前显示，如果我们未能按期交付，您可以取消订单，全额退款至账户余额。订单表单中有选填的备注栏，您可以在其中为我们的工程师描述您的工作负载。

## 常见问题

### MI355X 和 B200，哪个算力更强？

按厂商公布的峰值数字，MI355X 在 FP8 和 BF16 上约高 10%，两款 GPU 标称的显存带宽都是 8 TB/s。实际性能取决于内核、库和通信，因此请用您自己的工作负载实测，而不要依赖峰值数字。

### 可以只租用一张 MI355X 吗？

不可以，我们只以 8 卡服务器的形式出租 MI355X，每月 US$19,900。如果一张 GPU 就够用，单卡 B200 每月 US$4,590，单卡 H200 每月 US$3,090。

### vLLM 能在 MI355X 上运行吗？

能。vLLM 支持 ROCm，PyTorch 也一样。自定义 CUDA 内核和 TensorRT-LLM 等 NVIDIA 专属工具需要移植或替换，因此迁移前请检查每一项依赖。

### MXFP4 和 NVFP4 有什么区别？

两者都是采用块缩放的 4 位浮点格式：MXFP4 经由开放计算项目（OCP）标准化，以 32 个值为一块，使用 2 的幂缩放因子；NVIDIA 的 NVFP4 则以 16 个值为一块，使用 FP8 缩放因子。MI355X 在硬件上支持 MXFP4 和 MXFP6。B200 既支持 MX 格式，也支持 NVFP4。

### 405B 模型在两者上各需要几张 GPU？

粗略估算，405B 参数在 FP8 下约占 405 GB，在 FP4 下约占 203 GB。也就是说，FP8 精度需要两张 MI355X 或三到四张 B200，FP4 精度需要一张 MI355X 或两张 B200，这还未计入 KV 缓存和运行开销。

### 可以把多台 8 卡服务器连接起来吗？

可以，您的服务器之间可应要求配置私有网络。每台 8 卡服务器都有 8 个 400G 网络端口，每张 GPU 一个。

## 相关页面

- [租用 8 卡 AMD MI355X 服务器，每月 US$19,900](https://fullgpu.com/zh/gpus/amd-mi355x): MI355X 租用：一台 8 卡 AMD Instinct MI355X 裸金属服务器（每张 GPU 配备 288 GB HBM3e），US$19,900/月，约合每 GPU 小时 US$3.41。ROCm 环境已就绪，使用加密货币支付。
- [租用 NVIDIA B200 与 HGX B200 服务器，每月 US$4,590 起](https://fullgpu.com/zh/gpus/nvidia-b200): NVIDIA B200 租用：独享一张 180 GB B200，US$4,590/月（按全天候满载计算，约合每 GPU 小时 US$6.29）；或租用一台 HGX B200 服务器，US$34,900/月。提供承诺交付日期。
- [MI355X 与 H200 对比：双倍显存，还是久经考验的软件栈？](https://fullgpu.com/zh/compare/mi355x-vs-h200): MI355X 与 H200 对比：MI355X 每张 GPU 的显存是 H200 的两倍，并原生支持 FP4；H200 则拥有成熟的 Hopper 与 CUDA 软件栈。比较两者各能装下哪些模型、互联方式和每月成本。
- [B200 与 B300 对比：Blackwell Ultra 值得升级吗？](https://fullgpu.com/zh/compare/b200-vs-b300): B200 与 B300 对比：HBM3e 显存 180 GB 对比 288 GB，FP4 算力提升，网络 400G 对比 800G。了解各自能装下什么、每 GB 成本，以及什么情况下 B200 就已够用。
- [AMD MI355X 用于 AI：规格、ROCm 与适用的工作负载](https://fullgpu.com/zh/blog/amd-mi355x-for-ai): AMD MI355X 用于 AI 详解：每张 GPU 配备 288 GB HBM3e，带宽 8 TB/s，支持 FP8 与 MXFP4；ROCm 的真实现状，以及最能从中受益的工作负载。下单前先读这篇。
- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。