Системные требования DeepSeek R1: GPU и память для R1 и V3

Системные требования DeepSeek R1 сводятся к одному числу: около 671 ГБ видеопамяти (VRAM) под веса в FP8 — в этой точности их опубликовала компания DeepSeek, — плюс место для KV-кэша. Поэтому полной модели нужен 8-GPU-сервер, а не одна карта. У DeepSeek-V3 та же архитектура и тот же размер, так что и требования к GPU у неё те же. С дистиллированными моделями R1 всё иначе: это обычные плотные модели размером от 1.5B до 70B параметров, и каждая из них работает на одном GPU. В этом руководстве разобраны оба случая — с расчётами.

Системные требования DeepSeek R1: коротко о главном

• Архитектура MoE-модель (mixture of experts): в сумме 671B параметров, из них около 37B активируются на каждый токен
• Исходная точность Веса в FP8 (E4M3) с поблочными масштабами
• Веса в видеопамяти Около 671 ГБ в FP8, около 1,3 ТБ в BF16
• KV-кэш Небольшой в расчёте на токен благодаря Multi-head Latent Attention
• Наименьший сервер с запасом 8× H200, 1 128 ГБ
• Место для BF16 или очень длинных контекстов 8× B300 или 8× MI355X, 2 304 ГБ
• Недостаточно для весов в FP8 8× H100, 640 ГБ
• Дистиллированные модели R1 От 1.5B до 70B параметров, каждая на одном GPU

DeepSeek-R1 обучена на основе базовой модели DeepSeek-V3, поэтому приведённый ниже расчёт памяти относится к обеим.

Почему 37B активных параметров всё равно требуют 671 ГБ

В MoE-модели в большинстве слоёв вместо одного большого блока прямого распространения (feed-forward) стоит множество экспертов поменьше. В DeepSeek-V3 и R1 каждый MoE-слой содержит 256 маршрутизируемых экспертов и один общий, а маршрутизатор выбирает для каждого токена 8 из маршрутизируемых экспертов. Разные токены выбирают разных экспертов, поэтому все эксперты должны находиться в видеопамяти, чтобы быть наготове для любого следующего токена, которому они понадобятся.

Активные 37B параметров определяют объём вычислений и число байт, считываемых на каждый сгенерированный токен, поэтому декодирование (decode) для модели такого размера обходится сравнительно дёшево. Но нужный объём памяти определяют не они. Некоторые среды выполнения вместо этого держат экспертов в памяти CPU, но тогда каждый токен ждёт гораздо более медленную системную память или вычисления на CPU: для экспериментов это приемлемо, а для инференса в продакшене подходит плохо.

Память под веса: FP8, BF16 и 4 бита

DeepSeek обучала V3 во фреймворке со смешанной точностью на базе FP8 и опубликовала веса в FP8 с отдельным масштабом для каждого блока 128 × 128 в квантованных матрицах весов. При одном байте на параметр веса занимают около 671 ГБ. Опубликованный чекпоинт также включает модуль предсказания нескольких токенов (multi-token prediction) на 14B параметров, всего 685B параметров, поэтому заложите примерно 700 ГБ на диске.

Два момента легко упустить. Во-первых, поскольку официальные веса выпущены в FP8, копия в BF16 — это повышение точности (upcast): в ней по сути та же информация, но занимает она вдвое больше памяти. Она полезна в программных стеках без поддержки FP8 и в некоторых сценариях дообучения (fine-tuning), но не ради более качественных ответов. Во-вторых, переход ниже FP8 действительно меняет модель. 4-битные версии позволяют запустить полную модель на 8× H100 или 8× RTX PRO 6000, но прежде чем полагаться на такую версию, измерьте качество на своих задачах. Компромиссы разобраны в нашей статье о том, как устроены FP8 и 4-битные форматы.

KV-кэш: почему Multi-head Latent Attention делает его компактным

Стандартное многоголовое внимание (multi-head attention) кэширует вектор ключа и вектор значения для каждой головы внимания, в каждом слое, для каждого токена. Multi-head Latent Attention (MLA) вместо этого кэширует сжатое латентное представление: на каждый слой и каждый токен — 512 латентных значений плюс позиционный ключ из 64 значений, всего 576 значений, общих для всех 128 голов внимания.

Расчёт для 61 слоя и кэша в BF16: 61 × 576 × 2 байта = 70 272 байта, около 70 КБ на токен.

• Одна последовательность на 32K токенов: около 2,3 ГБ.
• Одна последовательность на 128K токенов: около 9,2 ГБ.

Для сравнения: дистиллированной модели 70B, построенной на базе Llama 70B с 80 слоями и 8 KV-головами размерностью 128, в BF16 нужно около 0,33 МБ на токен — примерно в 4,7 раза больше на токен, чем полной R1, хотя сама модель примерно в десять раз меньше. Распределение кэша по GPU зависит от движка и режима параллелизма, поэтому ориентируйтесь на объём KV-кэша, который движок сообщает при запуске, а не на ручные расчёты.

И всё же из-за рассуждений кэш остаётся важным. R1 расписывает цепочку рассуждений до того, как ответить, и рассуждения длиной в тысячи токенов — обычное дело, поэтому закладывайтесь не только на длинные промпты, но и на длинные ответы.

Требования DeepSeek V3 к GPU: какие 8-GPU-серверы подходят

При равномерном распределении по восьми GPU веса в FP8 занимают около 84 ГБ на GPU, а веса в BF16 — около 168 ГБ. Всё, что остаётся на каждом GPU, уходит на KV-кэш, активации и среду выполнения.

Цифры свободной памяти — верхняя оценка, рассчитанная по номинальному объёму: часть займут драйверы, среда выполнения и буферы активаций. И всё же запас большой. Предположим, движок хранит полную копию латентного кэша на каждом H200 и на неё остаётся 45 ГБ на GPU: при примерно 70 КБ на токен это всё равно около 640 000 токенов — например, 19 одновременных диалогов по 32K токенов. Движки, которые распределяют кэш по GPU, вмещают больше.

Если у вас уже работают серверы 8× H100, два из них, объединённые частной сетью, дают 1 280 ГБ — этого достаточно для весов в FP8 при конвейерном параллелизме (pipeline parallelism) на паре серверов. Это работает, но один сервер 8× H200 проще в эксплуатации. О варианте на AMD — в нашем разборе AMD MI355X для задач ИИ; со стороны NVIDIA конфигурация HGX H200 и её наличие указаны на странице NVIDIA H200.

Запуск дистиллированных моделей R1 на одном GPU

Вместе с R1 DeepSeek выпустила шесть плотных моделей на базе Qwen2.5 и Llama 3, дообученных на данных с рассуждениями, которые сгенерировала R1. В них используется обычный механизм grouped-query attention, поэтому применим стандартный расчёт памяти.

Закладывайте KV-кэш с запасом: эти модели тоже пишут длинные цепочки рассуждений. Дистиллированная модель 32B на RTX PRO 6000 за 1 390 $ в месяц или 70B на H200 за 3 090 $ — недорогой способ вывести рассуждения в стиле R1 в продакшен и выяснить, нужна ли вашим пользователям полная модель. В нашем руководстве о лучшем GPU для инференса LLM (больших языковых моделей) тот же метод подбора применён к другим моделям.

Инференс DeepSeek R1 с vLLM или SGLang

vLLM и SGLang поддерживают это семейство моделей, включая MLA и веса в FP8, и оба работают на GPU NVIDIA, а через ROCm — и на GPU AMD Instinct. Минимальный запуск на одном 8-GPU-сервере:

# vLLM: tensor parallelism across all eight GPUs, context capped at 32K tokens
vllm serve deepseek-ai/DeepSeek-R1 \
  --tensor-parallel-size 8 --max-model-len 32768

# SGLang: the same server
python3 -m sglang.launch_server --model-path deepseek-ai/DeepSeek-R1 \
  --tp 8 --trust-remote-code

# A distilled model on a single GPU
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --max-model-len 32768

Несколько практических советов:

• Диск и загрузка. В наших серверах HGX установлено 8 × 3,84 ТБ локальных NVMe, поэтому чекпоинт объёмом около 700 ГБ помещается с запасом для сконвертированных копий, а входящий трафик не учитывается во включённом объёме.
• Ограничьте контекст. Задайте максимальную длину контекста по потребностям вашего приложения, а не по полному окну модели; движок сверит её с объёмом кэша, который может выделить.
• Читайте лог запуска. После загрузки весов движок сообщает объём KV-кэша — именно по этому числу и планируйте число одновременных запросов.
• Учитывайте рассуждения. R1 пишет рассуждения внутри тегов <think> перед окончательным ответом. Заложите на них длину вывода и решите, будет ли ваше приложение их показывать или вырезать.

Полная настройка для продакшена — в нашем руководстве по самостоятельному развёртыванию инференса LLM с vLLM.

Какую конфигурацию выбрать

• Инференс R1 или V3 в FP8 в продакшене при умеренном числе одновременных запросов: 8× H200.
• Большое число одновременных запросов или длинные цепочки рассуждений в больших масштабах: 8× B200.
• Веса в BF16 или очень длинные контексты: 8× B300 или 8× MI355X — примерно за половину месячной цены B300, если ваш стек работает на ROCm.
• Рассуждающие модели при ограниченном бюджете: дистиллированная модель на одном GPU, например 32B на RTX PRO 6000 или 70B в FP8 на H200.

Все наши 8-GPU-серверы — это bare-metal-машины с помесячной арендой, и выдаются они менее чем за 10 минут после оплаты. Чтобы проверить конкретную модель и длину контекста, воспользуйтесь нашим калькулятором видеопамяти: он всё посчитает.

Часто задаваемые вопросы

Сколько видеопамяти нужно DeepSeek R1?

Около 671 ГБ под веса в FP8 — в этой точности их выпустила DeepSeek, — плюс KV-кэш и накладные расходы среды выполнения, или около 1,3 ТБ в BF16. На практике это целый 8-GPU-сервер, например 8× H200 с 1 128 ГБ.

Можно ли запустить DeepSeek R1 на 8× H100?

С весами в FP8 — нет: у 8× H100 640 ГБ, это меньше примерно 671 ГБ, которые нужны весам. Понадобится 4-битное квантование (с потерей качества, которую нужно измерить) или два сервера.

У DeepSeek V3 такие же требования к GPU, как у R1?

Да. Обе — MoE-модели на 671B параметров с одинаковой архитектурой, у которых на каждый токен активируется около 37B параметров, поэтому расчёт памяти и выбор серверов совпадают.

Какой GPU нужен для дистиллированных моделей DeepSeek R1?

Модели 1.5B, 7B и 8B работают на RTX 5090, 14B — на L40S, 32B — на RTX PRO 6000 или H100, а 70B — на H200 в FP8 или на B200 в BF16.

Можно ли запустить DeepSeek R1 на GPU AMD?

Да. У сервера 8× MI355X 2 304 ГБ HBM3e — этого достаточно для весов в FP8 или BF16, а vLLM и SGLang поддерживают ROCm. Прежде чем выходить в продакшен, проверьте свою версию движка на этой модели.