Глоссарий по GPU и инфраструктуре для ИИ

Триллионы операций в секунду — пиковый показатель производительности, который производители указывают для задач ИИ. Обычно его измеряют при низкой точности, например в INT8 или FP4, и часто с учётом разреженности, поэтому значения AI TOPS можно сравнивать, только когда эти условия совпадают. Например, для GeForce RTX 5090 NVIDIA указывает 3 352 AI TOPS в FP4 с разреженностью.

Коллективная операция обмена данными, при которой каждый GPU передаёт свой буфер, буферы объединяются — обычно суммированием, — и каждый GPU получает результат. При обучении с параллелизмом по данным all-reduce после каждого шага усредняет градиенты между GPU, поэтому скорость этой операции сильно зависит от интерконнекта: NVLink внутри сервера, InfiniBand или RoCE между серверами. Её реализуют такие библиотеки, как NCCL и RCCL.

Физический сервер, который сдаётся в аренду без гипервизора между вами и оборудованием. Ваша операционная система работает прямо на машине, с доступом ко всем GPU, ядрам CPU, дискам и сетевым адаптерам и без накладных расходов на виртуализацию. Bare metal подходит для обучения на нескольких GPU и любых задач, которым нужен низкоуровневый контроль над драйверами и настройками ядра ОС. В FullGPU 8-GPU-серверы — это bare-metal-машины.

Bfloat16, или brain floating point, — 16-битный числовой формат с 8 битами экспоненты и 7 битами мантиссы. Он сохраняет диапазон значений FP32 при меньшей точности, поэтому обучение остаётся стабильным без масштабирования функции потерь (loss scaling), которое часто нужно для FP16. BF16 — стандартная точность для обучения и инференса большинства больших моделей, а веса в BF16 занимают около 2 байт на параметр.

Архитектура GPU NVIDIA, пришедшая на смену Hopper; на ней построены B200, RTX PRO 6000 Blackwell и серия GeForce RTX 50. GPU Blackwell для дата-центров объединяют два кристалла в один GPU, и в них появились NVLink пятого поколения и аппаратная поддержка FP4. Архитектура Blackwell Ultra, на которой построены B300 и GB300 NVL72, увеличивает объём памяти до 288 ГБ HBM3e на GPU. См. наше сравнение B200 и B300.

Платформа параллельных вычислений и модель программирования NVIDIA, включающая компилятор, среду выполнения и библиотеки, такие как cuBLAS и cuDNN. PyTorch и большинство других фреймворков для ИИ работают на GPU NVIDIA через CUDA. Фреймворку, собранному под определённую версию CUDA, нужен достаточно свежий драйвер NVIDIA, который её поддерживает, поэтому версии драйвера и CUDA выбирают вместе. Аналог у AMD — ROCm. См. наше руководство по драйверам NVIDIA и CUDA.

Так NVIDIA называет универсальные арифметические блоки внутри каждого потокового мультипроцессора (streaming multiprocessor) своих GPU. Они выполняют обычные инструкции FP32 и целочисленные инструкции, а матричные вычисления, из которых в основном и состоят задачи ИИ, выполняются главным образом на тензорных ядрах. Число ядер CUDA помогает сравнивать GPU одной архитектуры, но мало что говорит о производительности в задачах ИИ, если сравнивать разные поколения.

Стратегия обучения, при которой каждый GPU хранит полную копию модели и обрабатывает свою часть каждого батча. После обратного прохода градиенты усредняются между GPU с помощью all-reduce, чтобы все копии оставались одинаковыми. Это самый простой способ масштабировать обучение LLM (больших языковых моделей), но каждый GPU должен вмещать всю модель, её градиенты и состояние оптимизатора, если только они не шардируются с помощью FSDP или ZeRO.

NVIDIA Data Center GPU Manager — набор инструментов для мониторинга GPU в дата-центрах и управления ими. Он показывает исправность GPU, температуру, энергопотребление, тактовые частоты, ошибки памяти и состояние NVLink, запускает диагностику, которая проверяет GPU до или после длительной задачи, и умеет экспортировать метрики в системы мониторинга, такие как Prometheus. С его помощью операторы на ранней стадии выявляют выходящее из строя оборудование. См. наше руководство по мониторингу GPU.

Защита от распределённых атак типа «отказ в обслуживании», то есть от потоков трафика из множества источников, цель которых — перегрузить сервер или его сетевой канал. Системы защиты распознают аномальный трафик и отфильтровывают его до того, как он достигнет сервера, а легитимный трафик продолжает поступать. Такая защита дополняет файрвол на самом сервере, а не заменяет его. FullGPU применяет защиту от DDoS ко всем публичным IP-адресам.

Трафик, который уходит с сервера или из сети: например, ответы пользователям, скачивание моделей с сервера или датасеты, копируемые в другое место. Многие облачные провайдеры берут плату за исходящий трафик за каждый гигабайт, и при обслуживании моделей или переносе больших чекпоинтов эта сумма быстро растёт. В цены FullGPU включены 20 ТБ в месяц на тарифах с одним GPU и 50 ТБ на 8-GPU-серверах без платы за исходящий трафик, при добросовестном использовании. См. статью о трафике и плате за исходящий трафик.

Способ распределить MoE-модель (mixture of experts) по нескольким GPU, размещая разных экспертов на разных GPU. Каждый токен отправляется на GPU, где находятся выбранные для него эксперты, а результаты возвращаются обратно, поэтому на каждом MoE-слое между GPU возникает трафик all-to-all. Параллелизм экспертов позволяет запускать очень большие MoE-модели на целом сервере или кластере, и он работает эффективнее с быстрым интерконнектом, таким как NVLink.

4-битный формат с плавающей запятой для весов моделей, а на оборудовании с его поддержкой — и для матричных вычислений. Схемы вроде NVFP4 и MXFP4 добавляют к каждому небольшому блоку значений общий масштабный коэффициент, чтобы сохранить точность. Веса в FP4 занимают около половины байта на параметр, поэтому модели 70B нужно примерно 35 ГБ без учёта KV-кэша и накладных расходов. GPU Blackwell и AMD MI355X поддерживают FP4 аппаратно, а GPU Hopper — нет; см. сравнение H200 и B200.

8-битный формат с плавающей запятой в двух распространённых вариантах: E4M3 с большей точностью и E5M2 с большим диапазоном. По опубликованным спецификациям NVIDIA, пиковая скорость матричных вычислений в FP8 у GPU Hopper и Blackwell вдвое выше, чем в BF16, а веса в FP8 занимают около 1 байта на параметр. FP8 широко используется для инференса и всё чаще — для обучения. Читайте наш разбор форматов FP8 и FP4.

Формат с плавающей запятой двойной точности — 64 бита на значение. От FP64 часто зависят программы для вычислительной гидродинамики, моделирования климата и квантовой химии, тогда как обучению и инференсу ИИ он почти никогда не нужен. Производительность в FP64 сильно различается у разных GPU для дата-центров, а потребительские карты и карты для рабочих станций дают в FP64 лишь малую долю своей производительности в FP32, поэтому проверьте значение FP64, которое указывает производитель, прежде чем выбирать оборудование для исследований и HPC.

Fully Sharded Data Parallel — реализация шардированного параллелизма по данным в PyTorch. Вместо того чтобы хранить полную копию модели на каждом GPU, FSDP распределяет параметры, градиенты и состояние оптимизатора между GPU и собирает параметры каждого слоя только на время его вычисления. Это позволяет провести полное дообучение (fine-tuning) модели 70B на нескольких GPU ценой дополнительного обмена данными между ними.

Седьмое поколение графической памяти с удвоенной скоростью передачи данных (graphics double data rate), которая используется в таких GPU, как GeForce RTX 5090 и RTX PRO 6000 Blackwell. Микросхемы GDDR7 расположены на печатной плате вокруг GPU, а не в одном корпусе с ним, что снижает стоимость, но ограничивает пропускную способность: для RTX 5090 NVIDIA указывает около 1,8 ТБ/с, тогда как у HBM3e в B200 — 8 ТБ/с.

Технология виртуализации, при которой целый физический GPU закрепляется за одной виртуальной машиной — как правило, через проброс устройства PCIe (PCIe passthrough) с помощью IOMMU. Гостевая операционная система загружает собственный драйвер GPU и получает производительность, близкую к bare metal, со всей памятью и вычислительной мощностью GPU. В FullGPU серверы с одним GPU работают именно так: это выделенная ВМ, за которой закреплён весь GPU.

Час работы одного GPU — стандартная единица для расчёта стоимости GPU-времени и оценки задач: 8 GPU, работающих 10 часов, расходуют 80 GPU-часов. Чтобы сравнить цену в месяц с почасовой, разделите цену в месяц на число GPU и на 730 — среднее число часов в месяце. Один H100 за 2 190 $ в месяц обходится примерно в 3,00 $ за GPU-час. См. сравнение помесячной и почасовой оплаты GPU.

High Bandwidth Memory 3E — улучшенное поколение HBM3; AMD и производители памяти пишут его как HBM3E. В HBM кристаллы DRAM уложены друг на друга в стеки, которые размещаются в одном корпусе с GPU и соединяются с ним очень широкими интерфейсами, благодаря чему пропускная способность намного выше, чем у памяти GDDR. По данным NVIDIA, HBM3e даёт H200 141 ГБ с пропускной способностью 4,8 ТБ/с, а B300 — 288 ГБ с пропускной способностью около 8 ТБ/с; у AMD MI355X тоже 288 ГБ HBM3e.

Поколение High Bandwidth Memory, следующее за HBM3e. В HBM4 ширина интерфейса каждого стека удвоена — до 2 048 бит, что повышает пропускную способность на стек. Это память GPU NVIDIA Rubin: Vera Rubin NVL72 объединяет 72 GPU Rubin, у каждого из которых 288 ГБ HBM4, с 36 процессорами Vera. Системы на HBM4 ожидаются в ограниченном количестве в конце 2026 года.

Серверная платформа NVIDIA для GPU дата-центров: базовая плата с четырьмя или восемью GPU SXM, соединёнными через NVLink (на платах с восемью GPU — с чипами NVSwitch), вокруг которой производители собирают готовые серверы. В 8-GPU-сервере HGX, таком как HGX B200, каждый GPU может обмениваться данными с любым другим на полной пропускной способности NVLink, и от этого зависят крупные задачи обучения и инференса.

Архитектура GPU NVIDIA для дата-центров, предшествовавшая Blackwell; на ней построены H100 и H200. В Hopper появились Transformer Engine с поддержкой FP8 в тензорных ядрах, NVLink четвёртого поколения со скоростью 900 ГБ/с на GPU и память HBM3, а затем, в H200, — HBM3e. Программный стек для неё хорошо отлажен, и она по-прежнему широко используется для обучения и инференса. См. наше сравнение H100 и H200.

Сетевой стандарт с высокой пропускной способностью и низкой задержкой, который широко используется для объединения GPU-серверов в кластеры для обучения. Он нативно поддерживает RDMA: сетевые адаптеры передают данные напрямую между памятью разных серверов, включая память GPU, не задействуя CPU в каждой передаче. Современные поколения работают на скорости 400 или 800 Гбит/с на порт, и многоузловые GPU-кластеры часто строят на нём свою внутреннюю (back-end) сеть.

Технология интерконнекта AMD, которая используется внутри её процессоров и для связи между GPU. На 8-GPU-платформе AMD Instinct MI355X каждый GPU напрямую соединён с семью остальными через каналы Infinity Fabric — по данным AMD, по 153,6 ГБ/с каждый. Она выполняет ту же роль, что NVLink в системах NVIDIA, но вместо чипов-коммутаторов использует прямые каналы по схеме «каждый с каждым».

Память, в которой хранятся ключи и значения механизма внимания для токенов, уже обработанных языковой моделью, чтобы не вычислять их заново для каждого нового токена. Кэш растёт с длиной контекста, числом одновременных запросов и размерами модели — числом слоёв и голов внимания и их размерностью, — и часто именно он ограничивает, сколько пользователей может обслуживать один GPU. Движки инференса, такие как vLLM, управляют им блоками, чтобы меньше памяти пропадало впустую. См. статью о том, сколько видеопамяти (VRAM) нужно для LLM.

Low-Rank Adaptation — метод параметрически эффективного дообучения. LoRA замораживает исходные веса и обучает небольшие низкоранговые матрицы, добавленные к выбранным слоям, — часто это меньше 1% параметров модели. Поскольку градиенты и состояние оптимизатора хранятся только для этих адаптеров, LoRA требует гораздо меньше видеопамяти, чем полное дообучение, а сами адаптеры — небольшие файлы, которые можно подменять при инференсе. См. GPU для дообучения.

Скорость, с которой GPU читает данные из собственной памяти и записывает их в неё; измеряется в гигабайтах или терабайтах в секунду. Когда языковая модель генерирует текст при небольших батчах, для каждого нового токена нужно считывать веса модели из памяти, поэтому скорость часто ограничивает именно пропускная способность, а не вычислительная мощность. По спецификациям производителей она составляет от 864 ГБ/с у L40S до примерно 8 ТБ/с у B200, B300 и MI355X. См. руководство о лучшем GPU для инференса LLM.

Multi-Instance GPU — функция NVIDIA, которая делит поддерживаемый GPU для дата-центров максимум на семь изолированных экземпляров, у каждого из которых своя доля памяти, кэша и вычислительных блоков. Она позволяет одному GPU обслуживать несколько небольших задач с аппаратной изоляцией. FullGPU не делит GPU на разделы: каждый арендуемый вами GPU — целый, поэтому вся его память и вычислительная мощность принадлежат вам. См. статью о выделенных и разделяемых GPU.

Обучение или инференс с сочетанием числовых форматов: большая часть матричных вычислений выполняется в низкой точности, например в BF16 или FP8, а значения, чувствительные к округлению, — мастер-копия весов, состояние оптимизатора и некоторые накопления — остаются в FP32. Смешанная точность сокращает расход памяти и ускоряет вычисления на тензорных ядрах с небольшой потерей качества или вовсе без неё, а фреймворки вроде PyTorch берут на себя большую часть служебной работы.

Архитектура модели, в которой каждый MoE-слой содержит множество подсетей-экспертов, а маршрутизатор направляет каждый токен лишь к нескольким из них. Объём вычислений на токен остаётся умеренным, хотя общее число параметров растёт: по данным DeepSeek, у DeepSeek-V3 671 млрд параметров, но на каждый токен активируется лишь около 37 млрд. При этом все эксперты должны помещаться в память GPU, и именно это определяет системные требования таких моделей.

NVIDIA Collective Communications Library, произносится «никель». Библиотека реализует all-reduce, all-gather, broadcast и другие коллективные операции между GPU, выбирая самый быстрый доступный путь: NVLink внутри сервера, InfiniBand или RoCE между серверами. PyTorch использует её для обучения на нескольких GPU на оборудовании NVIDIA, а аналог у AMD — RCCL. См. наше руководство по работе с несколькими GPU и NCCL.

Стоечная (rack-scale) архитектура NVIDIA, которая объединяет 72 GPU в один домен NVLink: коммутационные модули с NVSwitch связывают каждый GPU с каждым другим внутри одной стойки с жидкостным охлаждением. GB300 NVL72 объединяет 72 GPU Blackwell Ultra и 36 процессоров Grace, а суммарная пропускная способность NVLink в ней, по данным NVIDIA, — около 130 ТБ/с. Vera Rubin NVL72 применяет ту же схему к GPU Rubin и процессорам Vera.

Высокоскоростной интерконнект NVIDIA для связи между GPU. Он передаёт данные намного быстрее, чем PCIe: по данным NVIDIA, NVLink четвёртого поколения в Hopper обеспечивает 900 ГБ/с на GPU, а NVLink пятого поколения в Blackwell — 1,8 ТБ/с. Важнее всего он для тензорного параллелизма и других задач, в которых GPU обмениваются данными на каждом слое. У карт PCIe, таких как RTX PRO 6000 Blackwell и RTX 5090, его нет. См. наше сравнение NVLink и PCIe.

Чип-коммутатор, который соединяет множество GPU через NVLink так, чтобы каждый из них мог одновременно обмениваться данными с любым другим на полной пропускной способности. В 8-GPU-серверах HGX чипы NVSwitch на базовой плате образуют коммутационную фабрику GPU, а в стойках NVL72 отдельные коммутационные модули расширяют её до 72 GPU. Без коммутаторов каждому GPU нужны прямые каналы к остальным, а это ограничивает число GPU, которые можно соединить по схеме «каждый с каждым».

OCP Accelerator Module — открытый форм-фактор модулей-ускорителей, определённый Open Compute Project. Его используют GPU AMD Instinct, такие как MI300X и MI355X: восемь модулей устанавливаются на универсальную базовую плату. OAM — открытый аналог SXM от NVIDIA: в обоих случаях GPU размещается на модуле, который подключается к плате, что допускает более высокое энергопотребление и прямые каналы между GPU. См. сравнение MI355X и B200.

Пятое поколение PCI Express — стандартной шины, которая соединяет CPU, GPU, сетевые адаптеры и NVMe-накопители. Канал Gen5 x16 передаёт около 64 ГБ/с в каждом направлении — вдвое больше, чем Gen4. GPU с интерфейсом PCIe, такие как RTX PRO 6000 Blackwell и RTX 5090, используют её для связи с CPU, а в отсутствие NVLink — и для обмена данными с другими GPU, поэтому связь между GPU в таких системах медленнее, чем в системах SXM. См. сравнение RTX PRO 6000 и H100.

Стратегия параллелизма модели, при которой её слои делятся на последовательные этапы, размещённые на разных GPU или серверах. Микробатчи проходят через этапы, как по сборочному конвейеру, поэтому несколько этапов работают одновременно. Конвейерному параллелизму нужна меньшая пропускная способность, чем тензорному, поэтому его можно применять между серверами, но простои, пока конвейер заполняется и опустошается, — так называемый «пузырь» конвейера (pipeline bubble) — снижают эффективность.

Quantized LoRA — дообучение с адаптерами LoRA, при котором замороженная базовая модель хранится в 4-битной точности, как правило в формате NF4. С более высокой точностью обучаются только небольшие адаптеры. QLoRA сокращает расход памяти настолько, что её авторы дообучили модель с 65 млрд параметров на одном GPU с 48 ГБ — ценой некоторого снижения скорости по сравнению с LoRA на весах в BF16.

Хранение весов модели, а иногда и её активаций и KV-кэша, с меньшим числом бит — например, в FP8, INT8, INT4 или FP4 вместо BF16. Расход памяти снижается примерно пропорционально числу отброшенных бит, а на оборудовании с поддержкой более низкой точности может вырасти и производительность. Платой за это становится некоторая потеря качества, которую методы вроде AWQ, GPTQ или калибровки FP8 помогают удержать на низком уровне. См. сравнение форматов низкой точности.

Remote Direct Memory Access (удалённый прямой доступ к памяти) — способ, позволяющий одной машине читать и записывать память другой машины по сети, не задействуя удалённый CPU и сетевой стек операционной системы. С GPUDirect RDMA сетевые адаптеры передают данные напрямую в память GPU и из неё, что снижает задержку и нагрузку на CPU при обучении на нескольких узлах. RDMA поддерживают и InfiniBand, и RoCE.

RDMA over Converged Ethernet — технология, которая передаёт трафик RDMA по сетям Ethernet. RoCE v2 работает поверх маршрутизируемого UDP/IP и в хорошо настроенной сети без потерь (lossless) или с управлением перегрузками может обеспечить на коммутаторах Ethernet производительность, сопоставимую с InfiniBand. Эта технология распространена в кластерах для ИИ на базе Ethernet, а у серверов FullGPU с AMD Instinct MI355X восемь сетевых интерфейсов RoCE 400G.

Открытый программный стек AMD для вычислений на GPU, аналог CUDA. В него входят драйверы, программный интерфейс HIP, математические библиотеки и RCCL для коллективного обмена данными, а поддерживают его PyTorch, vLLM и другие крупные фреймворки. FullGPU предоставляет образы с ROCm для своих серверов AMD Instinct; см. наше руководство по AMD ROCm.

Модульный форм-фактор NVIDIA для GPU дата-центров. Вместо карты PCIe GPU размещается на модуле, установленном прямо на базовой плате сервера, что допускает более высокие лимиты энергопотребления, например 700 Вт у H100 SXM, и подключение к другим GPU через NVLink. В серверах HGX используются GPU SXM, а PCIe-версии тех же чипов обычно работают с меньшим энергопотреблением и на более низких частотах.

Thermal design power (расчётная тепловая мощность) — максимальная длительная мощность в ваттах, которую чип рассчитан потреблять, а его система охлаждения — отводить. Производители указывают около 700 Вт для H100 SXM, 575 Вт для GeForce RTX 5090 и 1 400 Вт для AMD Instinct MI355X с жидкостным охлаждением. От номинальной мощности зависит, какие системы электропитания и охлаждения нужны дата-центру, поэтому новейшие GPU с высоким энергопотреблением всё чаще рассчитаны на жидкостное охлаждение.

Специализированные блоки в GPU NVIDIA, которые выполняют операции матричного умножения с накоплением — основу вычислений нейросетей — намного быстрее универсальных ядер. С каждым поколением добавлялись форматы с более низкой точностью: FP8 появился в Hopper и Ada Lovelace, а FP4 — в Blackwell. Аналогичные блоки AMD называются Matrix Cores. Показатели производительности для ИИ в TFLOPS или PFLOPS, которые приводят производители, относятся именно к этим блокам. См. сравнение H100 и B200.

Стратегия параллелизма модели, при которой матрицы весов каждого слоя делятся между несколькими GPU, так что каждый GPU вычисляет часть каждого слоя. Частичные результаты на каждом слое объединяются коллективными операциями, а это требует высокой пропускной способности и низкой задержки, поэтому тензорный параллелизм обычно держат в пределах одного сервера с NVLink. Движки инференса используют его, чтобы обслуживать модели, слишком большие для одного GPU; см. наше руководство по самостоятельному развёртыванию инференса LLM с vLLM.

Триллионы (TFLOPS) и квадриллионы (PFLOPS) операций с плавающей запятой в секунду; 1 PFLOPS равен 1 000 TFLOPS. Производители указывают пиковые значения для каждой точности, часто в двух вариантах — без разреженности и с разреженностью; значение с разреженностью предполагает структурированную разреженность 2:4 и обычно вдвое выше. Для H100 SXM NVIDIA указывает 989 TFLOPS в BF16 без разреженности. Реальные задачи достигают лишь части пикового значения. Сравнить разные GPU можно в нашем обзоре GPU.

Способ совместного использования одного GPU несколькими процессами или арендаторами, при котором они по очереди получают доступ к GPU, быстро сменяя друг друга. В отличие от MIG, разделение по времени не изолирует задачи друг от друга ни по памяти, ни по сбоям, а производительность каждой задачи зависит от того, что ещё выполняется на GPU. FullGPU не разделяет GPU по времени: на каждом арендованном вами GPU работают только ваши задачи.

Скорость, с которой языковая модель обрабатывает или генерирует токены — единицы текста, которые она читает и пишет. Её указывают либо в расчёте на одного пользователя — так видно, насколько быстро выводится один ответ, — либо как общую производительность по всем одновременным запросам на GPU. Эти показатели тянут в разные стороны: большие батчи повышают общую производительность, но могут замедлять каждый отдельный поток, поэтому проверяйте, что именно измеряет та или иная цифра. См. GPU для инференса.

Технология виртуальных GPU, которая делит один физический GPU на несколько виртуальных, закреплённых за разными виртуальными машинами: каждая получает фиксированную долю памяти и долю вычислительной мощности, выделяемую по времени или через разделы. Она подходит для виртуальных рабочих столов и лёгких задач. FullGPU не использует vGPU: в тарифах с одним GPU весь физический GPU пробрасывается в выделенную ВМ, как объясняется на нашей странице о доверии и безопасности.

Движок с открытым исходным кодом для инференса больших языковых моделей и обслуживания запросов к ним. Он хранит KV-кэш блоками фиксированного размера с помощью PagedAttention, непрерывно объединяет входящие запросы в батчи (continuous batching) и поддерживает тензорный параллелизм, квантованные модели и OpenAI-совместимый сервер. vLLM работает на GPU NVIDIA с CUDA и на GPU AMD с ROCm. См. наше руководство по PyTorch и vLLM.

Память, подключённая к GPU: HBM у большинства GPU для дата-центров и GDDR у карт для рабочих станций, потребительских карт и некоторых карт для дата-центров, таких как L40S. В ней должны поместиться веса модели, KV-кэш и активации. По грубому правилу весам нужно число параметров × число байт на параметр, поэтому модель 70B занимает около 140 ГБ в BF16 плюс 10–30% запаса на KV-кэш и накладные расходы. Попробуйте наш калькулятор видеопамяти.

Zero Redundancy Optimizer — семейство оптимизаций памяти в библиотеке DeepSpeed от Microsoft. На первой стадии (stage 1) состояние оптимизатора шардируется между GPU, работающими с параллелизмом по данным, на второй — ещё и градиенты, а на третьей — сами параметры, поэтому с добавлением GPU расход памяти на каждый GPU снижается. ZeRO-Offload и ZeRO-Infinity также могут выгружать состояние в память CPU или на NVMe. PyTorch FSDP реализует ту же идею.