RTX PRO 6000 vs L40S: стоит ли доплачивать за 96 ГБ?

Выбор между RTX PRO 6000 и L40S — это в основном вопрос памяти. У NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ GDDR7 с пропускной способностью около 1,6 ТБ/с. У L40S, карты на архитектуре Ada Lovelace, — 48 ГБ GDDR6 с пропускной способностью 864 ГБ/с. Обе — карты PCIe с RT-ядрами, рассчитанные на сочетание рендеринга, генеративного контента и инференса ИИ. Мы сдаём в аренду RTX PRO 6000 за 1 390 $ в месяц и L40S за 890 $.

RTX PRO 6000 или L40S: краткий ответ

Выбирайте RTX PRO 6000, когда задачи не помещаются в 48 ГБ: тяжёлые сцены для рендеринга, генерация видео, языковые модели класса 70B или большие батчи. Кроме того, у него есть поддержка FP4, появившаяся в Blackwell, и MIG. Выбирайте L40S, когда ваши задачи помещаются в 48 ГБ с запасом. Он справляется с теми же типами задач за 500 $ в месяц меньше, а три карты L40S стоят дешевле двух RTX PRO 6000, когда вам нужно больше параллельных воркеров, а не больше памяти на карту.

Память: 96 ГБ GDDR7 против 48 ГБ GDDR6

У языковых моделей веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и 0,5 байта в 4-битных форматах, плюс 10–30% на KV-кэш, активации и накладные расходы. Для моделей генерации изображений и видео тот же расчёт применяется к их трансформеру, а к нему добавляются текстовые энкодеры и VAE.

Свободная память не простаивает. От неё зависит, сколько запросов можно объединить в батч, контекст какой длины можно обслуживать и сколько генераций выполняется одновременно. Возьмём модель 70B в 4-битном формате с 80 слоями и 8 KV-головами, как у Llama 3 70B, и KV-кэш в FP8 размером около 0,16 МБ на токен. Запас в 13 ГБ на L40S вмещает примерно 80 000 токенов контекста на все запросы вместе, а 61 ГБ на RTX PRO 6000 — примерно 370 000, без учёта накладных расходов. В пайплайнах генерации изображений 96 ГБ позволяют держать в памяти одновременно базовую модель, рефайнеры, модели ControlNet и апскейлеры, а не загружать и выгружать их между задачами.

Рендеринг и генеративный контент

GPU-рендерерам нужна вся сцена — геометрия и текстуры — в видеопамяти (VRAM). Если она не помещается, рендерер либо завершается с ошибкой, либо переходит в более медленные режимы out-of-core, которые подгружают данные из системной оперативной памяти. Карта с 48 ГБ справляется с большой частью задач look-dev и работы над шотами. Плотная геометрия, большие наборы текстур и множество текстурных карт 8K — вот где окупаются 96 ГБ. У обеих карт есть RT-ядра для аппаратной трассировки лучей; типичные конфигурации описаны на странице о рендеринге и VFX на выделенных GPU.

Сильнее всего разрыв проявляется в генерации видео. Расход памяти растёт с разрешением и длиной ролика, потому что механизм внимания модели охватывает латентные токены каждого кадра. С 96 ГБ можно держать более крупные видеомодели в BF16, генерировать более длинные ролики и обходиться без выгрузки на CPU, которая замедляет каждый шаг. Для статичных изображений уровня SDXL или Flux обычно хватает 48 ГБ, и более доступная карта часто оказывается правильным выбором. Оба случая разобраны на нашей странице о генеративном контенте.

Инференс: пропускная способность, FP8 и FP4

При инференсе языковых моделей темп генерации токенов задаёт пропускная способность памяти: для каждого нового токена из памяти считываются веса и KV-кэш. Пропускная способность RTX PRO 6000 — 1 597 ГБ/с — примерно в 1,85 раза выше, чем 864 ГБ/с у L40S. Для модели, которая помещается на обе карты, это соотношение — самое важное аппаратное различие при инференсе, в котором преобладает декодирование (decode).

По вычислительной мощности NVIDIA указывает для L40S 733 TFLOPS в FP8 без разреженности и 1 466 с разреженностью, а для RTX PRO 6000 — 2 PFLOPS в FP8 с разреженностью: на бумаге примерно в 1,4 раза больше. Более существенное различие — FP4. Blackwell поддерживает FP4 в тензорных ядрах, и для RTX PRO 6000 NVIDIA указывает 4 PFLOPS в FP4 с разреженностью. Самая низкая точность с плавающей запятой, которую поддерживает Ada, — FP8, поэтому на L40S 4-битные веса сокращают расход памяти, но вычисления идут в более высокой точности.

NVIDIA также указывает для RTX PRO 6000 поддержку MIG — до четырёх изолированных экземпляров на карту, что полезно, когда один GPU обслуживает несколько небольших моделей. Мы сдаём в аренду карту целиком и никогда не делим её сами; если вы планируете использовать MIG, при заказе укажите это в примечаниях для наших инженеров.

Масштабирование за пределы одного GPU

NVLink нет ни у одной из карт. Работа на нескольких GPU идёт через PCIe: Gen5 у RTX PRO 6000 и Gen4 у L40S. Это подходит для задач с параллелизмом по данным: рендер-ферм, пакетной генерации и схемы «одна реплика модели на GPU». Обучению одной модели, разделённой между многими GPU, это подходит гораздо хуже; о том, когда интерконнект имеет значение, рассказывает наше руководство по NVLink и PCIe.

L40S мы сдаём в аренду только в тарифе с одним GPU. RTX PRO 6000 доступен и в виде 8-GPU-сервера: 768 ГБ видеопамяти, два процессора EPYC 9555 (всего 128 ядер), 1,5 ТБ DDR5 и 2× 100 GbE за 10 490 $ в месяц, или около 1,80 $ за GPU-час. Восемь тарифов с одним RTX PRO 6000 стоили бы 11 120 $, поэтому, когда вам нужен целый узел, сервер выгоднее.

Цена в месяц и выгодность

RTX PRO 6000 стоит 1 390 $ в месяц, около 1,90 $ за GPU-час; L40S — 890 $, около 1,22 $. В пересчёте на гигабайт видеопамяти RTX PRO 6000 выгоднее: около 14,48 $ в месяц против 18,54 $. В пересчёте на карту L40S дешевле на 500 $ в месяц.

Поэтому главный вопрос — используете ли вы дополнительную память. Если ваши задачи с запасом помещаются в 48 ГБ, два тарифа с L40S за 1 780 $ дают два независимых воркера на 390 $ дороже одного RTX PRO 6000. Если не помещаются, более низкая цена ничего вам не даёт: в итоге придётся делить работу или мириться с более медленными режимами out-of-core. Оплата помесячная, без платы за отмену, поэтому можно начать на одной карте и сменить её в конце оплаченного месяца. Сравните итоговые суммы в калькуляторе стоимости GPU.

Как выбрать

• Измерьте пиковое потребление памяти на самой тяжёлой задаче с помощью nvidia-smi. Если оно остаётся ниже примерно 40 ГБ, L40S хватит.
• Больше 40 ГБ или в планах более крупные модели и более длинные ролики: выбирайте RTX PRO 6000.
• Нужен инференс в FP4: выбирайте RTX PRO 6000, поскольку Ada его не поддерживает.
• Много небольших независимых задач: несколько тарифов с L40S дадут больше карт за те же деньги.

Для языковых моделей калькулятор видеопамяти оценит потребность в памяти ещё до заказа.