AMD MI355X 用于 AI：规格、ROCm 与适用的工作负载

AMD MI355X 用于 AI 工作负载的理由，一句话就能说清：每张 GPU 配备 288 GB HBM3e，带宽 8 TB/s，显存容量与 NVIDIA B300 相同。在我们的产品目录中，8× MI355X 服务器与同样拥有 2,304 GB 显存的 8× B300 服务器相比，月价只有后者的一半左右。真正要考虑的是软件和适配性：如今哪些软件能在 ROCm 上运行、哪些需要移植，以及您的工作负载是否属于能把显存容量和带宽转化为实际成果的类型。本指南用具体数字回答这两方面的问题。

AMD MI355X 用于 AI：关键规格

MI355X 是 AMD 基于 CDNA 4 架构的数据中心 GPU。AMD 公布的单卡规格如下：

• 架构 AMD CDNA 4
• 显存 每张 GPU 288 GB HBM3e，8 卡服务器共 2,304 GB
• 显存带宽 每张 GPU 8 TB/s
• FP8 稠密 5.0 PFLOPS，稀疏 10.1 PFLOPS
• BF16 稠密 2.5 PFLOPS，稀疏 5.0 PFLOPS
• MXFP4 10.1 PFLOPS
• 低精度格式 FP8、MXFP6 和 MXFP4
• GPU 间互联 Infinity Fabric，7 条链路，每条 153.6 GB/s
• 模组与功耗 OAM 规格，1,400 W，液冷

对大多数 AI 工作而言，其中有两项比其余各项更重要。容量决定一个模型需要几张 GPU：288 GB 能宽裕地装下 BF16 精度的 70B 模型，而在 80 GB 的 GPU 上，这至少需要两张卡并使用张量并行。带宽决定 GPU 在生成 token 时读取权重的速度，而这通常正是推理的瓶颈。1,400 W 的液冷 OAM 模组（开放计算项目 OCP 制定的加速器模组规格）该由服务商而不是您来操心，但它解释了为什么这类服务器需要液冷机柜。

在 8 卡服务器中，每张 GPU 通过 7 条 Infinity Fabric 链路与其余 7 张 GPU 逐一直连，形成全互联拓扑，中间不经过任何交换芯片。

MI355X 与 B200、B300 和 H200 对比

以下是厂商公布的单卡数据，以及我们各款 8 卡服务器的月价：

客观解读这张表，可以得出三点结论。在显存容量和带宽上，MI355X 与 B300 持平，而在我们的产品目录中，它的月价只有 B300 的一半左右，这正是它的核心优势。在峰值算力上，两者的 FP8 数据相近，4 位精度下 B300 领先；但在实际应用中，真实吞吐量取决于软件和内核的优化水平，因此不要只凭 PFLOPS 做选择。在 GPU 间带宽和软件成熟度上，NVIDIA 的 HGX 服务器领先：NVLink 5 通过交换式互联为每张 GPU 提供 1.8 TB/s 带宽，CUDA 则拥有最广泛的库生态。如需逐项对比，请参阅我们的 MI355X 与 B200 对比和 MI355X 与 H200 对比。

CDNA 4 上的 FP8、MXFP6 和 MXFP4

除 FP8 外，CDNA 4 还支持 OCP 微缩放（MX）规范中的两种块缩放格式：

• FP8 每个值占 1 字节。在推理中，从 BF16 再降一级，通常就是 FP8；它能把权重显存减半。
• MXFP6 以 32 个值为一块存储 6 位数值，每块共用一个 2 的幂次缩放因子：计入缩放因子后，每个值约占 6.25 位。
• MXFP4 以同样的方式存储 4 位数值：每个值约占 4.25 位。

对显存的影响很容易算出来。一个 405B 参数的稠密模型在 BF16 精度下约需 810 GB：四张 MI355X，还留有余量。FP8 精度下约需 405 GB：两张 GPU。MXFP4 精度下约需 215 GB：单张 MI355X 即可，还剩约 70 GB 留给 KV 缓存和运行时。

有两点需要注意。第一，4 位权重会影响模型质量，因此请在您自己的评测集上验证。第二，格式必须与硬件匹配：量化为 NVIDIA NVFP4 格式（每块 16 个值，使用 FP8 缩放因子）的检查点并不是 MXFP4 检查点，因此请提前规划专门针对 MI355X 的量化，例如使用 AMD 的 Quark 工具包。我们的 FP8、FP4 和 BF16 数值格式详解介绍了更多细节。

ROCm 软件栈的实际情况

ROCm 是 AMD 的开放软件栈，包括内核驱动、HIP 编程模型和编译器、数学库，以及用于 GPU 间集合通信的 RCCL。对大多数团队来说，真正有用的问题不是“ROCm 成熟吗”，而是“我的框架和推理引擎能否在上面运行，我用到的功能是否都能正常工作”。主要组件确实都能运行。

实际上，移植工作量取决于您的技术栈与主流方案有多接近。基于 PyTorch 加 vLLM 或 SGLang、为标准架构模型提供推理服务的技术栈，基本只需更换容器、锁定版本即可迁移。包含手写 CUDA 内核的技术栈则需要投入工程时间：HIP 在设计上刻意贴近 CUDA，HIPIFY 也能机械地完成大部分转换，但对性能至关重要的内核通常需要针对新硬件调优。要在我们的 AMD 服务器上迈出第一步，请参阅我们的 ROCm 配置指南。

MI355X 最能发挥价值的工作负载

受显存带宽限制的超大模型推理

在解码阶段，每一步都要从显存中读取参与计算的权重，为每个序列生成一个 token，因此带宽决定速度，容量决定一个模型需要几张 GPU。MI355X 每张 GPU 拥有 8 TB/s 带宽和 288 GB 显存，能用更少的 GPU 运行大模型，GPU 之间的通信量也更少。BF16 精度的 70B 模型（约 140 GB）可以装入单张 MI355X，还剩远超 100 GB 的空间留给 KV 缓存，因此一台服务器无需任何张量并行，就能运行 8 个相互独立的副本。

长上下文

KV 缓存随上下文长度和并发序列数线性增长。以采用分组查询注意力（GQA）的 70B 级模型为例（80 层，8 个 KV 头，每个头 128 维），BF16 缓存每个 token 约占 0.33 MB，因此单个 128K token 的序列约需 43 GB。再加上权重，这在 80 GB 的 GPU 上根本装不下；而在 288 GB 的 GPU 上使用 FP8 权重，则能容纳好几个这样的序列。

大型混合专家（MoE）模型

MoE 模型每个 token 只激活一小部分参数，但所有专家都必须常驻显存。DeepSeek-V3 和 DeepSeek-R1 的总参数量为 671B：FP8 精度下约 671 GB，BF16 精度下约 1.3 TB。两种精度都能装入单台 8× MI355X 服务器的 2,304 GB 显存，还能为 KV 缓存留出空间。我们的 DeepSeek R1 硬件要求指南给出了完整的计算过程。

什么情况下 NVIDIA 服务器是更好的选择

MI355X 并非适合所有人。在以下情况下，请选择 NVIDIA 服务器：

• 您的流水线依赖仅支持 CUDA 的组件，例如 TensorRT-LLM、自定义 CUDA 内核或闭源 CUDA 库，而您又抽不出时间移植它们。
• 您的工作负载高度依赖 GPU 间带宽，例如训练中大量使用张量并行。HGX B200 和 B300 服务器为每张 GPU 提供 1.8 TB/s 的 NVLink 5 带宽。
• 您需要比单台服务器更大的 NVLink 域，GB300 NVL72 等机架级系统可以提供这一点。
• 您的模型较小。7B 到 14B 的模型用不着每张 GPU 288 GB 显存；每月 US$1,390 的单张 RTX PRO 6000 或每月 US$890 的 L40S 就能胜任。
• 您依赖 NVFP4 检查点或其他 NVIDIA 专有的量化格式。

如何评估 MI355X：用您自己的工作负载运行一个月

公开发布的对比数据很少与您的模型、提示词构成和延迟目标相符。可靠的测试方法，是在这款硬件上运行您自己的工作负载，时间要长到足以完成调优；一个月的时间足够您在真实负载下完成搭建、调优和测量。一个切实可行的计划：

1. 先建立基线。在您目前使用的硬件上，以相同的模型、精度和引擎设置，记录评测集上的质量，以及满足延迟目标时的吞吐量。
2. 搭建软件栈。从 ROCm 镜像、与之匹配的 PyTorch 版本，以及 vLLM 或 SGLang 的 ROCm 容器开始。锁定每一个版本。
3. 检查正确性。测量速度之前，先在评测集上比对输出结果。
4. 测量对您的业务真正重要的指标。在真实的并发量和上下文长度下，测量首 token 延迟、token 间延迟和吞吐量。比较跨全部 8 张 GPU 的张量并行与多个较小副本这两种方式。
5. 测试集合通信。如果您要训练模型或对模型做分片，请在 8 张 GPU 上运行 rccl-tests 中的 all-reduce 基准测试。
6. 计算单位工作量成本。用 US$19,900 除以在目标指标下每月能处理的 token 数或任务数，再与基线对比。

# Check the GPUs, and that PyTorch is a ROCm build (torch.version.hip is set)
rocm-smi
python3 -c "import torch; print(torch.version.hip, torch.cuda.device_count())"

# Serve a model across all eight GPUs with the ROCm build of vLLM
vllm serve <model> --tensor-parallel-size 8

我们的 8× MI355X 服务器

我们以 8 卡裸金属服务器的形式出租 MI355X：8 × 288 GB HBM3e（共 2,304 GB），两颗 AMD EPYC 9575F 处理器（共 128 核），3 TB DDR5 内存，8 × 3.84 TB NVMe 存储，以及 8 × 400G RoCE 网络。价格为每月 US$19,900：约合每 GPU 小时 US$3.41，或每 GB 显存每月约 US$8.64，这一单价在我们产品目录的所有配置中最低。服务器提供 ROCm 镜像和 SSH root 权限，条款与我们出租的所有服务器相同：按月计费，最短期限一个月，任何月份均可免费取消，付款后 10 分钟内交付。库存有限；AMD MI355X 服务器页面显示当前的供货情况。

常见问题

AMD MI355X 适合用于 AI 吗？

适合，尤其适合受显存带宽限制的大模型推理、长上下文和大型混合专家模型，这得益于每张 GPU 288 GB 的 HBM3e 显存和 8 TB/s 的带宽。代价在软件方面：您的技术栈必须能在 ROCm 上运行。

PyTorch 能在 MI355X 上运行吗？

能。PyTorch 发布了 ROCm 版本，基于 torch.cuda API 编写的代码通常无需修改即可通过 HIP 运行。vLLM 和 SGLang 也支持 ROCm。

能在 AMD GPU 上运行 CUDA 代码吗？

不能直接运行。CUDA 内核必须移植到 HIP，AMD 的 HIPIFY 工具可以将这一过程部分自动化；对性能至关重要的内核通常还需要重新调优。TensorRT-LLM 等 NVIDIA 专属软件无法在 ROCm 上运行。

8× MI355X 服务器有多少显存？

共 2,304 GB HBM3e，8 张 GPU 每张 288 GB。单台服务器就足以运行 FP8 或 BF16 精度的 DeepSeek-V3 级模型。

租用 MI355X 服务器要多少钱？

我们的 8× MI355X 服务器每月 US$19,900，约合每 GPU 小时 US$3.41，按月计费，最短期限一个月。库存有限。