L40S vs H100: какой GPU подходит для вашей задачи и бюджета?

Сравнение L40S и H100 сводится к тому, чтобы подобрать GPU под задачу. L40S — карта на архитектуре Ada Lovelace: 48 ГБ GDDR6 с пропускной способностью 864 ГБ/с и шина PCIe Gen4; она рассчитана и на задачи ИИ, и на работу с графикой. H100 SXM — вычислительный ускоритель поколения Hopper: 80 ГБ HBM3 с пропускной способностью 3,35 ТБ/с и NVLink. В FullGPU L40S стоит 890 $ в месяц, а H100 — 2 190 $, поэтому правильный выбор может сэкономить вам 1 300 $ в месяц на каждом GPU, а неправильный — оставить вас с картой, которая не подходит для вашей задачи.

L40S или H100: краткий ответ

Выбирайте L40S для инференса моделей, которые помещаются в 48 ГБ, для генерации изображений и видео, а также для рендеринга и транскодирования. Выбирайте H100 для обучения, полного дообучения (fine-tuning), моделей больше 48 ГБ и инференса LLM (больших языковых моделей), где темп задаёт пропускная способность памяти. У H100 нет ни RT-ядер, ни аппаратных видеокодеров, поэтому для рендеринга и работы с видео L40S подходит лучше, несмотря на более низкую цену.

Память: что помещается на каждом GPU

Веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и 0,5 байта в 4-битных форматах, и оба GPU поддерживают FP8 аппаратно. Свободная память в таблице указана до вычета KV-кэша и накладных расходов среды выполнения, поэтому держите 10–30% от неё в резерве.

От свободной памяти зависит и число одновременных запросов. Возьмём модель 14B с механизмом grouped-query attention в распространённой конфигурации (48 слоёв, 8 KV-голов размерностью 128): её KV-кэш в BF16 занимает около 0,2 МБ на токен. После вычета накладных расходов среды выполнения на L40S под кэш остаётся примерно 14 ГБ — около 70 000 токенов, или восемь диалогов по 8K токенов одновременно. На H100 остаётся примерно 44 ГБ — около 220 000 токенов, или примерно 27 таких диалогов.

Модели для изображений и видео обычно меньше LLM, но высокие разрешения и длинные ролики требуют памяти под активации. Модели для изображений, такие как SDXL и модели класса Flux, помещаются в 48 ГБ вместе со своими текстовыми энкодерами, а самым большим моделям для видео может понадобиться больше. Если вам нужно больше 48 ГБ без перехода на Hopper, есть RTX PRO 6000 с 96 ГБ GDDR7 и пропускной способностью 1,6 ТБ/с за 1 390 $ в месяц — см. сравнение RTX PRO 6000 и H100. Калькулятор видеопамяти (VRAM) посчитает всё это для вашей модели.

Пропускная способность и вычислительная мощность: почему H100 дороже

Пропускная способность памяти у H100 примерно в 3,9 раза выше, чем у L40S (3,35 ТБ/с против 864 ГБ/с), а производительность в FP8 и BF16 без разреженности, по данным NVIDIA, — примерно в 2,7 раза (1 979 против 733 TFLOPS в FP8, 989 против 362 TFLOPS в BF16). Для инференса LLM важнее всего разрыв в пропускной способности, потому что при генерации каждого токена веса и KV-кэш считываются из памяти. Модель 14B в BF16 работает на обоих GPU, но на H100 на каждом шаге декодирования (decode) память читается почти в четыре раза быстрее, а значит, на каждом GPU можно обслуживать гораздо больше одновременных пользователей.

Диффузионные модели для изображений и видео сильнее упираются в вычислительную мощность, поэтому для них значимый разрыв ближе к соотношению вычислительной мощности, чем к соотношению пропускных способностей. В пересчёте на 1 000 $ ежемесячных расходов два GPU сравниваются так:

• Память Около 54 ГБ у L40S против 37 ГБ у H100.
• Пропускная способность Около 0,97 ТБ/с против 1,53 ТБ/с.
• FP8 без разреженности, по данным производителя Около 824 против 904 TFLOPS.

Из двух GPU L40S даёт больше памяти на каждый доллар, H100 — больше пропускной способности на доллар, а по вычислительной мощности на доллар они близки.

Медиа, рендеринг и видео: где выигрывает L40S

GPU-рендерерам, которые используют аппаратную трассировку лучей NVIDIA, нужны RT-ядра, а видеопайплайнам, кодирующим видео на GPU, — NVENC. У L40S есть и то и другое, а его видеокодеры поколения Ada поддерживают AV1, а также H.264 и HEVC; у H100 нет ни RT-ядер, ни NVENC, потому что он создан как вычислительный ускоритель. Для узла рендеринга, сервиса транскодирования или пайплайна генерации видео, который завершается кодированием результата, правильный выбор — L40S, причём два сервера с L40S стоят 1 780 $ в месяц — меньше, чем один H100. Рекомендуемые конфигурации — на страницах о рендеринге и VFX и о генеративном контенте. Для более тяжёлых сцен есть RTX PRO 6000 с 96 ГБ — он разобран в сравнении RTX PRO 6000 и L40S.

Обучение, дообучение и несколько GPU

Для обучения H100 — GPU совсем другого класса. HBM3 успевает снабжать данными его тензорные ядра, в 80 ГБ помещаются более крупные модели и батчи, а в 8-GPU-сервере NVLink 4 соединяет GPU со скоростью 900 ГБ/с на каждый. L40S обменивается данными через PCIe Gen4 без NVLink, и мы предлагаем его в виде сервера с одним GPU. Он хорошо справляется с LoRA или QLoRA для моделей от 7B до 14B и с небольшими экспериментами. QLoRA для модели 70B — около 35 ГБ 4-битных весов — можно втиснуть в 48 ГБ при небольших батчах, но на H100 запас будет гораздо больше. Полному дообучению с Adam нужно примерно 16–20 байт на параметр без учёта активаций, поэтому на карте с 48 ГБ потолок — примерно 2–3B параметров, на одном H100 — примерно 4–5B, а на сервере 8× H100 за 16 900 $ в месяц — гораздо больше.

Стоимость в месяц и как сделать выбор

Один L40S стоит 890 $ в месяц — около 1,22 $ за GPU-час из расчёта 730 часов — и включает 16 vCPU, 128 ГБ оперативной памяти и 1 ТБ NVMe. Один H100 стоит 2 190 $ — около 3,00 $ за GPU-час — и включает 24 vCPU, 225 ГБ оперативной памяти и 2 ТБ NVMe.

Пример с расчётом: вы обслуживаете модель 14B в BF16 при стабильном трафике. Два сервера с L40S (1 780 $) дают две независимые реплики и резерв на случай, если на одном из них понадобятся технические работы. Один H100 (2 190 $) даёт одну реплику с большей пропускной способностью, чем у обеих карт L40S вместе (3,35 ТБ/с против 1,73 ТБ/с). Если важнее всего резервирование, берите пару L40S; если важнее производительность одной реплики и время отклика — берите H100. О том, как организовать инференс, — на странице о выделенных серверах для инференса.

1. Рендеринг, транскодирование или видео на выходе: L40S.
2. Модель с KV-кэшем примерно до 40 ГБ: L40S, если только вам не нужно много одновременных запросов на одну реплику.
3. От 40 до 70 ГБ или инференс, упирающийся в пропускную способность: H100.
4. Обучение, полное дообучение или модели на нескольких GPU: H100, часто в виде 8-GPU-сервера.

Если сомневаетесь, начните с малого. Оплата помесячная, и вы можете бесплатно отменить аренду в любом месяце, поэтому можно пустить на L40S реальный трафик и перейти на H100, если цифры этого потребуют.