A100 vs H100: что изменилось и почему мы сдаём в аренду H100

A100 и H100 часто сравнивают, потому что у обоих GPU по 80 ГБ памяти и на бумаге они выглядят взаимозаменяемыми. Это не так. Сразу уточним: FullGPU не сдаёт в аренду A100. Мы предлагаем H100 — как отдельный GPU или в составе 8-GPU-сервера HGX, — а также более новые GPU поколений Hopper и Blackwell. На этой странице объясняется, что изменилось при переходе от Ampere к Hopper, чтобы вы могли оценить, остаётся ли A100, который у вас уже есть или который можно получить в другом месте, подходящим инструментом для вашей работы.

A100 или H100: краткий ответ

У H100 те же 80 ГБ, но почти во всём остальном он лучше: поддержка FP8, пропускная способность памяти на 64% выше (3,35 ТБ/с против примерно 2,0 ТБ/с), примерно в 3,2 раза более высокая заявленная NVIDIA производительность в BF16 без разреженности (989 против 312 TFLOPS) и NVLink 4 со скоростью 900 ГБ/с на каждый GPU против 600 ГБ/с. A100 по-прежнему имеет смысл там, где он у вас уже есть, а ваши задачи укладываются в его ограничения. Если же вы берёте GPU в аренду заново в 2026 году, мы предлагаем и рекомендуем H100.

FP8: главное различие на практике

A100 (Ampere) не поддерживает FP8. Самый быстрый формат с плавающей запятой для обучения у него — BF16 или FP16: 312 TFLOPS без разреженности по данным NVIDIA. В H100 (Hopper) появились тензорные ядра FP8 и Transformer Engine, и NVIDIA указывает для него 1 979 TFLOPS в FP8 без разреженности.

FP8 помогает дважды. Во-первых, по сравнению с BF16 он вдвое сокращает память под веса: модели 70B нужно уже не около 140 ГБ, а около 70 ГБ, и она помещается — впритык — на один H100 с 80 ГБ. Во-вторых, сами вычисления выполняются в FP8 на тензорных ядрах. На A100 той же модели нужно квантование в INT8 или 4-битное квантование только весов либо два GPU. Чекпоинты в FP8 для открытых моделей теперь обычное дело, и Hopper запускает их нативно. Форматы и связанные с ними компромиссы по качеству описаны в нашем разборе форматов FP8 и FP4.

Объём памяти одинаковый, а возможности разные. Примерный объём весов моделей распространённых размеров:

Пропускная способность памяти и инференс

У обеих карт по 80 ГБ, но в H100 используется HBM3 со скоростью 3,35 ТБ/с, а в A100 с 80 ГБ — HBM2e со скоростью около 2,0 ТБ/с. Когда модель генерирует текст, для каждого нового токена нужно считать из памяти веса и KV-кэш, поэтому при малых и средних размерах батча скорость декодирования (decode) зависит больше от пропускной способности, чем от вычислительной мощности. Пропускная способность у H100 на 64% выше, поэтому на каждом шаге он считывает ту же модель быстрее: каждый токен приходится ждать меньше, а один GPU обслуживает больше пользователей.

Отсюда простой способ оценить выгоду, если вы можете арендовать время на A100 в другом месте. При инференсе, упирающемся в пропускную способность, A100 выгоднее, только если его час стоит меньше примерно 60% от часа H100 (2,0 ÷ 3,35). При обучении в BF16, упирающемся в вычислительную мощность, планка опускается примерно до трети (312 ÷ 989), а если ваша задача на H100 может использовать FP8, то и ещё ниже. Реальные задачи редко масштабируются точно в соответствии с соотношениями из данных производителя, поэтому считайте эти пороги лишь грубым ориентиром и проводите замеры на своей нагрузке.

Кроме того, в Hopper появились возможности, на которые опираются авторы ядер (kernels): Tensor Memory Accelerator для асинхронного перемещения данных, кластеры блоков потоков (thread block clusters) и инструкции DPX для алгоритмов динамического программирования, например для выравнивания последовательностей. Ядра механизма внимания, оптимизированные под Hopper, такие как FlashAttention-3, используют эти возможности и на A100 не работают.

NVLink и масштабирование на несколько GPU

В 8-GPU-системах HGX у A100 используется NVLink третьего поколения со скоростью 600 ГБ/с на каждый GPU, а у H100 — NVLink четвёртого поколения со скоростью 900 ГБ/с. При инференсе с тензорным параллелизмом и обучении с шардированием состояния оптимизатора GPU постоянно обмениваются данными, поэтому, когда пропускная способность каналов на 50% выше, на вычисления остаётся большая часть каждого шага. В наших 8-GPU-серверах с H100 к восьми H100 добавлены два процессора Xeon 8480+ (112 ядер), 2 ТБ DDR5, восемь NVMe-накопителей по 3,84 ТБ и восемь сетевых адаптеров ConnectX-7 400G, а стоит такой сервер 16 900 $ в месяц.

На одном 8-GPU-сервере потолок для полного дообучения (fine-tuning) задаёт память. Adam требует примерно 16–20 байт на параметр без учёта активаций, поэтому в 640 ГБ видеопамяти (VRAM) помещается полное дообучение модели размером около 30B — что на A100, что на H100. Просто сервер с H100 проходит каждый шаг быстрее: у него больше вычислительной мощности и быстрее каналы. Для инференса в тех же 640 ГБ помещается модель 405B в 8-битном формате — около 405 ГБ весов: на H100 нативно в FP8, на A100 через INT8.

Кому A100 всё ещё может подойти

A100 остаётся производительным GPU, и есть вполне обоснованные причины продолжать им пользоваться:

• A100 у вас уже есть — свои или по контракту. Уже оплаченное оборудование недорого продолжать использовать для задач, которые ему по силам.
• Воспроизводимость. Результаты, проверенные на Ampere для научных статей или регулируемых пайплайнов, может потребоваться воспроизводить на идентичном оборудовании.
• Небольшие нетребовательные задачи. Классическому компьютерному зрению, небольшим языковым моделям или пакетным задачам, которые и так укладываются в сроки, Hopper не нужен.
• Ограничения по питанию. При 400 Вт против 700 Вт на GPU A100 подходит площадкам с жёстким бюджетом энергопотребления, хотя, по данным NVIDIA, H100 выполняет на каждый ватт примерно в 1,8 раза больше работы в BF16 без разреженности.
• Короткие эпизодические задачи. Если GPU нужен вам на несколько часов в месяц, почасовая аренда в другом месте, будь то A100 или другой GPU, может обойтись дешевле любого сервера с помесячной оплатой; точку безубыточности показывает наше сравнение помесячной и почасовой оплаты.

Для новой помесячной аренды эти причины редко перевешивают FP8 и выигрыш в пропускной способности. Если 80 ГБ мало, наше сравнение H100 и H200 показывает, что дают 141 ГБ; если ваши модели небольшие, в сравнении L40S и H100 разобран более дешёвый вариант за 890 $ в месяц.

Стоимость H100 и переход с A100

Один H100 в FullGPU стоит 2 190 $ в месяц — около 3,00 $ за GPU-час при месяце в 730 часов — и включает 24 vCPU, 225 ГБ оперативной памяти, 2 ТБ NVMe и порт 25 Гбит/с. 8-GPU-сервер HGX H100 стоит 16 900 $, около 2,89 $ за GPU-час. Переход с A100 на H100 редко требует изменений в коде, поскольку CUDA, PyTorch и основные движки инференса поддерживают оба GPU, но короткий чек-лист не помешает:

• Используйте сборку своего фреймворка для CUDA 12. У H100 compute capability 9.0, у A100 — 8.0.
• Пересоберите собственные расширения CUDA под compute capability 9.0, если они были скомпилированы только для Ampere.
• Попробуйте веса и KV-кэш в FP8 в своём движке инференса и, прежде чем переключаться, сравните ответы модели на своём наборе данных для оценки.
• Заново подберите размеры батчей: при большей пропускной способности и вычислительной мощности оптимальные значения обычно меняются.

О настройке на наших образах, в которых уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, рассказывает наше руководство по PyTorch и vLLM.