RTX 5090 vs RTX 4090 для ИИ: что дают дополнительные 8 ГБ памяти

Вопрос «RTX 4090 или RTX 5090» возникает каждый раз, когда задачи переезжают с рабочей станции на сервер. Сначала один факт: FullGPU не сдаёт в аренду RTX 4090. Мы сдаём в аренду GeForce RTX 5090 за 449 $ в месяц. У 4090 24 ГБ GDDR6X с пропускной способностью 1 008 ГБ/с; у 5090 — 32 ГБ GDDR7 с пропускной способностью 1,79 ТБ/с, а архитектура Blackwell добавляет поддержку FP4. Ниже — что эти различия значат для реальных задач.

RTX 4090 или RTX 5090: краткий ответ

Для задач ИИ RTX 5090 сильнее по всем важным характеристикам: на треть больше памяти, примерно на 78% выше пропускная способность памяти и поддержка FP4 в тензорных ядрах. RTX 4090 по-прежнему хорош для всего, что помещается в 24 ГБ, и если он у вас есть, продолжайте использовать его для таких задач. Мы выбрали для нашего каталога 5090, потому что дополнительные 8 ГБ переводят несколько распространённых задач из категории «нужны обходные пути» в категорию «помещается».

Что дают дополнительные 8 ГБ

Веса занимают примерно 2 байта на параметр в BF16, 1 байт в FP8 и 0,5 байта в 4-битных форматах, плюс 10–30% на KV-кэш, активации и накладные расходы. При 24 ГБ многие популярные размеры моделей оказываются на самой границе; при 32 ГБ они помещаются с запасом.

Сильнее всего 8 ГБ сказываются в строке с длинным контекстом. Llama 3.1 8B использует механизм grouped-query attention с 32 слоями и 8 KV-головами, поэтому её KV-кэш занимает около 0,13 МБ на токен в 16-битном формате, или около 17 ГБ на полный контекст в 128K токенов. Добавьте около 8 ГБ весов в FP8 — и вам нужно примерно 25 ГБ без учёта накладных расходов: это выше предела 4090, но укладывается в возможности 5090.

При генерации изображений дополнительная память позволяет держать трансформер модели 12B в BF16, а не втискивать его в FP8, и даёт место для более крупных батчей или большего числа одновременно загруженных компонентов. Для моделей класса SDXL памяти с избытком хватает на обеих картах. В нашем тарифе с RTX 5090 есть также 64 ГБ системной оперативной памяти — достаточно, чтобы держать выгруженные текстовые энкодеры или неактивные компоненты пайплайна, пока работает GPU. Калькулятор видеопамяти (VRAM) выполнит такой же расчёт для вашей модели.

С дообучением (fine-tuning) картина та же. Полное дообучение с Adam требует примерно 16–20 байт на параметр без учёта активаций, поэтому на 24 ГБ оно возможно примерно до 1,2–1,5B параметров, а на 32 ГБ — до 1,6–2B. Методы с адаптерами позволяют пойти гораздо дальше. LoRA для модели 8B, у которой около 16 ГБ замороженных весов в BF16, помещается на обеих картах, но на 5090 остаётся больше места под длину последовательностей. QLoRA для модели 32B — около 16 ГБ 4-битных весов плюс адаптеры и активации — на 24 ГБ умещается впритык, а на 32 ГБ это уже рабочий вариант.

Пропускная способность памяти: 1 008 ГБ/с против 1,79 ТБ/с

NVIDIA указывает для GDDR6X в RTX 4090 пропускную способность 1 008 ГБ/с, а для GDDR7 в RTX 5090 — 1,79 ТБ/с, примерно на 78% больше. Для каждого сгенерированного токена нужно считать из памяти веса модели и KV-кэш, поэтому при инференсе LLM (больших языковых моделей) с небольшими батчами ограничением обычно становится пропускная способность. Для модели, которая помещается на обе карты, это самое важное аппаратное различие для генерации токенов. При больших батчах инференс всё больше упирается в вычислительную мощность — и здесь начинает играть роль поддержка FP4. Диффузионные модели тоже сильнее нагружают вычислительные блоки, поэтому для них выигрыш определяется точностью и ядрами (kernels).

FP4 и числовые форматы

RTX 4090 построен на архитектуре Ada Lovelace: его тензорные ядра поддерживают форматы вплоть до FP8, и NVIDIA указывает 1 321 AI TOPS в FP8 с разреженностью. RTX 5090 относится к поколению Blackwell и добавляет FP4; для него NVIDIA указывает 3 352 AI TOPS в FP4 с разреженностью. Эти два основных показателя относятся к разной точности, поэтому сравнивать их напрямую нельзя: часть прироста объясняется тем, что число бит уменьшилось вдвое.

FP4 окупается, когда ваша модель сохраняет качество в 4 битах, а в вашем фреймворке есть ядра FP4 для Blackwell. На 4090 тоже можно запускать 4-битные веса с помощью квантования только весов, например AWQ или GPTQ, но вычисления при этом идут в более высокой точности, так что расход памяти снижается, а выигрыша в вычислительной мощности нет. Компромиссы по качеству описаны в нашем разборе форматов FP8 и FP4.

Энергопотребление, PCIe и программное обеспечение

Номинальное энергопотребление RTX 5090 — 575 Вт против 450 Вт у 4090. На арендованном сервере это наша забота, а не строка в вашем счёте: цена в месяц фиксированная. Кроме того, 5090 переходит на интерфейс PCIe Gen5, у которого скорость на линию вдвое выше, чем у Gen4 в 4090, — это важно для задач, которые передают много данных между системной оперативной памятью и GPU.

Одно практическое замечание при переходе с 4090: Blackwell требует CUDA 12.8 или новее и соответствующий драйвер, поэтому контейнеры и сборки PyTorch, сделанные под более старые версии CUDA, возможно, придётся пересобрать. В наших образах Ubuntu уже установлены драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit; подробнее — в руководстве по драйверам NVIDIA и CUDA.

Стоимость: RTX 5090 за 449 $ в месяц

Наш тариф с RTX 5090 стоит 449 $ в месяц, около 0,62 $ за GPU-час, и включает 16 vCPU, 64 ГБ оперативной памяти, 1 ТБ NVMe и 20 ТБ исходящего трафика в месяц при добросовестном использовании. Это самый недорогой GPU в нашем каталоге и самый доступный способ начать работу с Blackwell. В цену также входят root-доступ по SSH, публичный IPv4-адрес и подсеть IPv6 /64, защита от DDoS и круглосуточная поддержка; платы за подключение нет. Если GPU работает у вас 24/7, фиксированную цену в месяц проще планировать, чем почасовой счётчик; в нашем сравнении помесячной и почасовой оплаты GPU показано, когда уместна каждая из моделей. Если вашим задачам станет мало 32 ГБ, следующая ступень — RTX PRO 6000 с 96 ГБ за 1 390 $ в месяц; см. сравнение RTX 5090 и RTX PRO 6000.

Как выбрать

• У вас есть 4090, и ваши задачи помещаются в 24 ГБ: продолжайте им пользоваться.
• Ваши задачи упираются в потолок 24 ГБ и требуют обходных путей — FP8, выгрузки в оперативную память или коротких контекстов: 32 ГБ у 5090 снимают это ограничение для многих моделей.
• Вы хотите арендовать GPU: мы предлагаем именно RTX 5090, с минимальным сроком в один месяц и без платы за отмену.
• Вам нужно больше 32 ГБ: не берите ни ту, ни другую карту и присмотритесь к RTX PRO 6000.

Кроме того, эти две карты хорошо работают в паре. Разрабатывайте и тестируйте на 4090, который у вас уже есть, а задачи, которым нужны 32 ГБ или круглосуточная работа, переносите на арендованный 5090.