# gpt-oss-120b GPU 要求：显存、GPU 与服务器

> gpt-oss-120b 以 MXFP4 格式发布：权重约 59 GB，单张 80 GB GPU 即可运行。另附按上下文长度的 KV 缓存、微调显存，以及服务器与价格。

来源：https://fullgpu.com/zh/models/gpt-oss-120b  
更新日期：2026-10-22  
发布方：FullGPU (https://fullgpu.com/)

**简而言之：** 可以。采用 MXFP4（原生 4 位），单张 NVIDIA H100 SXM（80 GB，FullGPU 每月 US$2,190）即可运行 gpt-oss-120b，支持 8k 上下文和 8 个并发请求。

## 模型概况

- **开发者：** OpenAI
- **许可证：** Apache 2.0
- **类型：** 混合专家（MoE）
- **参数量：** 117B（每个 token 约激活 5.1B）
- **层数：** 36
- **注意力：** 64 个查询头，8 个 KV 头，头维度 64
- **上下文窗口：** 128k 个 token

## gpt-oss-120b 需要多少显存

权重显存 = 参数量 × 每参数字节数；推理服务还需加上 KV 缓存和约 10% 的运行时开销。总计按 8k 上下文、8 个并发请求和 BF16 KV 缓存计算。

| 精度 | 权重 | 推理总显存 | 装得下的最便宜 FullGPU 服务器 |
| --- | --- | --- | --- |
| BF16 | 234 GB | 261 GB | 8× NVIDIA RTX PRO 6000 Blackwell（US$10,490/月） |
| FP8 | 117 GB | 132 GB | NVIDIA B200（US$4,590/月） |
| MXFP4（原生 4 位） | 59 GB | 68 GB | NVIDIA RTX PRO 6000 Blackwell（US$1,390/月） |

## 哪些 GPU 能运行 gpt-oss-120b？

可以 = 8 个并发请求，每个请求 8k 上下文；1 个请求 = 一次只能处理一个 8k 请求；不可以 = 装不下。

| 配置 | BF16 | FP8 | MXFP4 |
| --- | --- | --- | --- |
| NVIDIA GeForce RTX 5090（32 GB，US$449/月） | 不可以 | 不可以 | 不可以 |
| NVIDIA L40S（48 GB，US$890/月） | 不可以 | 不可以 | 不可以 |
| NVIDIA H100 SXM（80 GB，US$2,190/月） | 不可以 | 不可以 | 可以 |
| NVIDIA RTX PRO 6000 Blackwell（96 GB，US$1,390/月） | 不可以 | 不可以 | 可以 |
| NVIDIA H200（141 GB，US$3,090/月） | 不可以 | 不可以 | 可以 |
| NVIDIA B200（180 GB，US$4,590/月） | 不可以 | 可以 | 可以 |
| NVIDIA B300（288 GB，US$5,190/月） | 不可以 | 可以 | 可以 |
| 8× NVIDIA HGX H100（8 × 80 GB，US$16,900/月） | 可以 | 可以 | 可以 |
| 8× NVIDIA RTX PRO 6000 Blackwell（8 × 96 GB，US$10,490/月） | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX H200（8 × 141 GB，US$23,900/月） | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX B200（8 × 180 GB，US$34,900/月） | 可以 | 可以 | 可以 |
| 8× NVIDIA HGX B300（8 × 288 GB，US$39,900/月） | 可以 | 可以 | 可以 |
| 8× AMD Instinct MI355X（8 × 288 GB，US$19,900/月） | 可以 | 可以 | 可以 |

## gpt-oss-120b 在不同上下文长度下的 KV 缓存

使用 BF16 缓存时，上下文中每 1,000 个 token 约占 37 MB。

| 每个请求的上下文 | 1 个请求 | 8 个请求 | 32 个请求 |
| --- | --- | --- | --- |
| 4k 个 token | 151 MB | 1.2 GB | 4.8 GB |
| 32k 个 token | 1.2 GB | 9.7 GB | 39 GB |
| 128k 个 token | 4.8 GB | 39 GB | 155 GB |

## 微调 gpt-oss-120b 所需的显存

| 方式 | 约需显存 | 装得下的最便宜 FullGPU 服务器 |
| --- | --- | --- |
| QLoRA（4 位基座模型） | 88 GB | NVIDIA H200（US$3,090/月） |
| LoRA（BF16 基座模型） | 290 GB | 8× NVIDIA RTX PRO 6000 Blackwell（US$10,490/月） |
| 全参数微调（AdamW，混合精度） | 2,246 GB | 超过 8 张 GPU（GB300 NVL72） |

## 关于 gpt-oss-120b

gpt-oss-120b 是 OpenAI 的开放权重混合专家（MoE）模型：约 117B 参数，每个 token 激活约 5.1B，共 36 层，交替使用全注意力和 128 个 token 的滑动窗口注意力，权重采用 Apache 2.0 许可证。OpenAI 以 4 位格式 MXFP4 发布专家权重，并表示该模型可在单张 80 GB GPU 上运行。

所有数据均依据该模型公布的架构和显存计算器 https://fullgpu.com/zh/tools/vram-calculator 的公式计算得出。

## 常见问题

### gpt-oss-120b 需要多少显存？

权重在 BF16 下约需 234 GB，FP8 下约需 117 GB，4 位下约需 59 GB，另需 KV 缓存：使用 BF16 缓存时，上下文中每 1,000 个 token 约占 37 MB。采用 MXFP4（原生 4 位），以 8k 上下文和 8 个并发请求提供推理服务，总计约需 68 GB。

### gpt-oss-120b 能在单张 GPU 上运行吗？

可以。采用 MXFP4（原生 4 位），单张 NVIDIA RTX PRO 6000 Blackwell（96 GB）即可提供推理服务，支持 8k 上下文和 8 个并发请求。上下文更长或用户更多时，KV 缓存需要更多显存，请在显存计算器中核算您的具体情况。

### 运行 gpt-oss-120b 最便宜的 FullGPU 服务器是哪款？

采用 MXFP4（原生 4 位），以 8k 上下文和 8 个并发请求提供推理服务时，每月 US$1,390 的 NVIDIA RTX PRO 6000 Blackwell 是装得下的配置中价格最低的。如需估算其他上下文长度和并发量，请使用显存计算器。

### 微调 gpt-oss-120b 需要多少显存？

在调整批次大小和序列长度之前，QLoRA 约需 88 GB，基于 BF16 权重的 LoRA 约需 290 GB，采用 AdamW 和混合精度的全参数微调约需 2,246 GB。大模型的全参数微调需借助 FSDP 或 ZeRO-3 分片到多张 GPU 上。

## 相关页面

- [大语言模型显存计算器：您的模型能装进 GPU 吗？](https://fullgpu.com/zh/tools/vram-calculator): 免费 LLM 显存计算器：选择 Llama、Qwen、Mistral 或 gpt-oss，设置精度和上下文长度，即可查看权重和 KV 缓存各占多少显存，以及哪些 GPU 装得下该模型。
- [大语言模型需要多少显存？](https://fullgpu.com/zh/blog/vram-for-llms): LLM 需要多少显存？快速解答 7B、14B、32B、70B 和 405B 模型在 BF16、FP8 和 4 位精度下的显存需求，另附按上下文长度计算的 KV 缓存，以及装得下模型的 GPU。
- [2026年大语言模型推理最佳 GPU：按模型规模选型指南](https://fullgpu.com/zh/blog/best-gpu-for-llm-inference): 大语言模型（LLM）推理的最佳 GPU 取决于模型规模、精度、KV 缓存和显存带宽。使用我们的 2026年选型表，在从 RTX 5090 到 8× B300 的各款配置中做出选择。
- [大语言模型 GPU 要求](https://fullgpu.com/zh/models): Llama、Qwen3、Mistral 和 gpt-oss 模型所需的显存、KV 缓存，以及能运行它们的最便宜服务器。