RTX 5090 vs RTX PRO 6000: когда хватает 32 ГБ?

Выбрать между RTX 5090 и RTX PRO 6000 проще, чем в большинстве сравнений GPU, потому что обе карты относятся к поколению NVIDIA Blackwell. GeForce RTX 5090 — потребительская карта с 32 ГБ GDDR7. RTX PRO 6000 Blackwell Server Edition — профессиональная карта с 96 ГБ GDDR7 с ECC и поддержкой MIG. Мы сдаём в аренду RTX 5090 за 449 $ в месяц и RTX PRO 6000 за 1 390 $. Главный вопрос — помещаются ли ваши задачи в 32 ГБ.

RTX 5090 или RTX PRO 6000: краткий ответ

Если ваши модели и данные помещаются в 32 ГБ с запасом, RTX 5090 справится с работой примерно за треть цены. Сюда относится большая часть задач генерации изображений, языковые модели от 7B до 14B и 4-битные модели размером около 30B параметров. Если вам нужно больше памяти или ECC и MIG для инференса в продакшене, выбирайте RTX PRO 6000. Промежуточных вариантов почти нет: как только задаче становится мало 32 ГБ, приходится выгружать данные в системную оперативную память, сильнее квантовать модель или делить работу, и у каждого из этих решений есть своя цена. К тому же системной оперативной памяти в нашем тарифе с RTX 5090 — 64 ГБ, и это ограничивает объём, который можно выгрузить.

Когда хватает 32 ГБ

Веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и 0,5 байта в 4-битных форматах, плюс 10–30% на KV-кэш, активации и накладные расходы.

В первых пяти строках дополнительная память RTX PRO 6000 даёт больший размер батча и более длинный контекст, а не саму возможность запуска. Модель 14B в FP8 оставляет на 5090 около 18 ГБ для KV-кэша и накладных расходов — этого хватает на несколько одновременных диалогов. Посчитаем на примере модели поменьше: Llama 3.1 8B в BF16 занимает около 16 ГБ, а её KV-кэш — около 0,13 МБ на токен в 16-битном формате. На 5090 остаётся 16 ГБ — этого хватает примерно на 15 одновременных диалогов по 8K токенов без учёта накладных расходов, а на RTX PRO 6000 остаётся 80 ГБ — примерно на 75. Дообучение (fine-tuning) моделей 7B–8B с помощью LoRA, как и QLoRA для моделей 14B, тоже помещается в 32 ГБ.

Когда нужны 96 ГБ

• Модели класса 70B. Даже в 4-битном формате модели 70B нужно около 35 ГБ под веса. Наши тарифы с одним GPU — это отдельные виртуальные машины, поэтому разделить модель между двумя RTX 5090 так, как это делается внутри одного сервера, не получится.
• Модели класса 32B в FP8 или BF16. 32 ГБ весов в FP8 целиком заполняют 5090 ещё до KV-кэша.
• Генерация видео. В видеомоделях механизм внимания охватывает все кадры, поэтому расход памяти растёт с разрешением и длиной ролика. С 96 ГБ можно держать модель в BF16 и генерировать более длинные ролики без выгрузки в оперативную память.
• Длинные контексты и много пользователей. После 35 ГБ 4-битных весов модели 70B у RTX PRO 6000 остаётся ещё около 61 ГБ для KV-кэша.
• Большие сцены для рендеринга. GPU-рендерерам нужна вся сцена в памяти; если она больше 32 ГБ, они переходят в более медленные режимы out-of-core или завершаются с ошибкой.

Расчёт KV-кэша, на котором основаны эти цифры, подробно разобран в нашем руководстве о том, сколько видеопамяти (VRAM) нужно для LLM (больших языковых моделей).

Одна архитектура, близкая пропускная способность

Обе карты — GPU на архитектуре Blackwell с одинаковыми форматами тензорных ядер, включая FP8 и FP4, и одинаковой поддержкой CUDA, поэтому код, который работает на одной, работает и на другой. NVIDIA указывает для RTX 5090 пропускную способность памяти 1,79 ТБ/с, а для RTX PRO 6000 — около 1,6 ТБ/с, так что у 5090 она даже примерно на 12% выше. По вычислительной мощности NVIDIA указывает 3 352 AI TOPS в FP4 с разреженностью для RTX 5090 и 4 PFLOPS в FP4 с разреженностью для RTX PRO 6000 — на бумаге примерно на 20% больше.

Энергопотребление тоже близкое: 575 Вт у 5090 и до 600 Вт у RTX PRO 6000. NVLink нет ни у одной из карт; обе используют PCIe Gen5. По-настоящему их различают объём памяти и профессиональные функции.

ECC, MIG и профессиональная карта

NVIDIA указывает для памяти RTX PRO 6000 поддержку ECC. ECC обнаруживает и исправляет однобитовые ошибки памяти, что важно для длительных запусков обучения, инференса в продакшене и любой задачи, где незаметная ошибка обходится дороже, чем сбой. RTX 5090 — карта GeForce, созданная и продаваемая для потребительского рынка.

RTX PRO 6000 также поддерживает MIG — по данным NVIDIA, до четырёх изолированных экземпляров на карту, у каждого из которых своя память и вычислительные ресурсы: например, четыре раздела примерно по 24 ГБ, на которых работают четыре небольшие модели со строгой изоляцией. Мы сдаём в аренду целые GPU и никогда не делим их сами; если вы планируете использовать MIG, укажите это в примечаниях к заказу для наших инженеров.

Кроме того, RTX PRO 6000 мы предлагаем и в виде 8-GPU-сервера: 768 ГБ видеопамяти за 10 490 $ в месяц. RTX 5090 доступен только в тарифе с одним GPU.

Цена в месяц и выгодность

RTX 5090 стоит 449 $ в месяц, около 0,62 $ за GPU-час. RTX PRO 6000 стоит 1 390 $, около 1,90 $. В пересчёте на гигабайт видеопамяти они почти одинаковы: около 14,03 $ против 14,48 $ в месяц. За память профессиональной карты вы не переплачиваете — вы просто покупаете её одним куском в 96 ГБ.

Поэтому выбор сводится к тому, в каком виде вам нужна эта память. Три RTX 5090 стоят 1 347 $ в месяц — на 43 $ меньше, чем один RTX PRO 6000, — и дают три независимых GPU по 32 ГБ: это хороший вариант для параллельной генерации изображений или трёх отдельных эндпоинтов с небольшими моделями. Один RTX PRO 6000 даёт один GPU на 96 ГБ — единственный из двух, на котором помещается модель 70B. Кроме того, каждый тариф с одним GPU включает 20 ТБ исходящего трафика в месяц при добросовестном использовании, поэтому у трёх тарифов с RTX 5090 включённого трафика втрое больше, чем у одного RTX PRO 6000. Обе конфигурации рассмотрены на нашей странице о генеративном контенте, а калькулятор стоимости GPU сравнит итоговые суммы.

Как выбрать

1. Измерьте пиковое потребление памяти на самой тяжёлой задаче. Если оно меньше примерно 26 ГБ, выбирайте RTX 5090: у вас останется запас.
2. Если для продакшена вам нужны ECC или MIG, выбирайте RTX PRO 6000 независимо от объёма.
3. Если от 26 до 32 ГБ, сначала проверьте задачу на 5090: минимальный срок аренды — один месяц, и вы можете бесплатно отменить её в любом месяце.
4. Если больше 32 ГБ или вы планируете модели класса 70B, выбирайте RTX PRO 6000. Проверьте объёмы в калькуляторе видеопамяти.