Выделенный GPU для генерации изображений и видео

Подходящий GPU для генерации изображений и видео — тот, что держит весь ваш пайплайн в видеопамяти (VRAM): диффузионную модель, её текстовые энкодеры, VAE, ваши LoRA и ControlNet, а также активации для нужного разрешения и размера батча. Когда всё остаётся в памяти, между шагами ничего не выгружается. Мы сдаём в аренду целые GPU NVIDIA помесячно — от RTX 5090 с 32 ГБ до RTX PRO 6000 с 96 ГБ, — поэтому ваши задачи никогда не ждут в очереди за задачами другого арендатора.

Видеопамять для Stable Diffusion, Flux и видеомоделей

Цифры ниже приблизительные и зависят от разрешения, размера батча, точности и используемого инструмента. Считайте их отправной точкой, а не обещанием.

Откуда эти цифры: у SDXL около 3,5 млрд параметров в UNet и текстовых энкодерах — примерно 7 ГБ в FP16. Flux.1 [dev] — трансформер на 12 млрд параметров, который сам по себе занимает около 24 ГБ в BF16, а его текстовый энкодер T5-XXL добавляет ещё примерно 9–10 ГБ. Видеомодели умножают память под активации на число кадров, поэтому роликам 720p от моделей 13–14B часто нужно больше 48 ГБ, если не прибегать к квантованию или выгрузке. Обучение LoRA добавляет к этим цифрам для инференса состояние оптимизатора и активации.

Как выбрать GPU для генерации изображений и видео

• RTX 5090, 32 ГБ GDDR7. Быстрая карта на архитектуре Blackwell за 449 $ в месяц — для SDXL, Flux в FP8, апскейлинга и небольших видеомоделей. Становится тесно, когда одновременно должны быть загружены несколько больших моделей.
• L40S, 48 ГБ GDDR6. Достаточно, чтобы держать в памяти Flux в BF16 вместе с LoRA и ControlNet, — за 890 $ в месяц. Поддерживает FP8, но не FP4.
• RTX PRO 6000 Blackwell, 96 ГБ GDDR7 с ECC. Карта для видеомоделей, больших батчей, обучения LoRA и воркфлоу, в которых друг за другом работают несколько моделей, — за 1 390 $ в месяц, с пропускной способностью памяти 1,6 ТБ/с по спецификациям NVIDIA. Подробнее — на странице RTX PRO 6000.
• Сервер 8× RTX PRO 6000. 768 ГБ видеопамяти в сумме на восьми GPU для пакетной генерации — за 10 490 $ в месяц, по одному пайплайну на каждый GPU.

Когда вы выгружаете или кэшируете модели, важна и системная оперативная память: 64 ГБ в тарифе с RTX 5090, 128 ГБ с L40S и 188 ГБ с RTX PRO 6000. Выбираете между двумя картами Blackwell? Наше сравнение RTX 5090 и RTX PRO 6000 сопоставляет их бок о бок. Если же вы не запускаете диффузионные или видеомодели, а обучаете их с нуля, смотрите лучше на H100, H200 и B200.

Производительность, батчинг и очереди

На выделенном GPU производительность зависит от вашего воркфлоу, а не от нагрузки других арендаторов. Выжать из неё максимум помогают три привычки:

• Держите модели в памяти. Если видеопамяти хватает, ComfyUI сохраняет загруженные модели между запусками; воркфлоу, который при каждой задаче меняет большие модели, тратит время на перемещение весов. В 96 ГБ модель изображений, видеомодель и апскейлер могут оставаться загруженными одновременно.
• Подберите размер батча. Большие батчи повышают число изображений в минуту, пока GPU не выйдет на полную загрузку, а дальше только увеличивают задержку. Измерьте, где проходит эта граница для вашего разрешения и сэмплера.
• Запускайте по одному процессу на каждый GPU. Каждый экземпляр ComfyUI работает с одним GPU, поэтому на сервере с несколькими GPU запустите по экземпляру на каждый GPU и распределяйте задачи между ними.

python main.py --cuda-device 0 --port 8188
python main.py --cuda-device 1 --port 8189

Чекпоинты в FP8 примерно вдвое сокращают память под веса, обычно с небольшой разницей в качестве, а карты Blackwell поддерживают ещё и FP4. Прежде чем переводить на них продакшен, сравните результаты для нескольких значений seed бок о бок.

Обучение LoRA на собственных изображениях

Обучение LoRA добавляет к объёму памяти для инференса градиенты адаптера, состояние оптимизатора и активации обучения. Для ориентира: обучение LoRA для SDXL помещается примерно в 16–24 ГБ с чекпоинтингом активаций (gradient checkpointing). Обучение LoRA для Flux с квантованной базовой моделью помещается примерно в 24 ГБ, а обучать на полной базовой модели в BF16 гораздо комфортнее на 48 ГБ и больше. Тренеры вроде kohya_ss sd-scripts, SimpleTuner и ai-toolkit работают в Linux на том же стеке CUDA, что и ComfyUI, поэтому один и тот же сервер может обучить LoRA для стиля или продукта, а затем генерировать с ней — без переноса файлов между машинами. На выделенном GPU долгое обучение никогда не конкурирует с задачами другого арендатора, а ваш датасет, подписи и чекпоинты остаются на локальном NVMe между запусками: 1 ТБ в тарифах с RTX 5090 и L40S и 1,92 ТБ в тарифе с RTX PRO 6000.

Настройка, безопасность и результаты

В наших образах Ubuntu уже есть драйверы NVIDIA, CUDA, Docker и NVIDIA Container Toolkit, поэтому ComfyUI или diffusers можно запустить в контейнере по нашему руководству по Docker или в окружении Python. Не открывайте порт ComfyUI в интернет — подключайтесь к нему через SSH-туннель, как описано в нашем руководстве по SSH-доступу:

ssh -L 8188:localhost:8188 -l your-user your-server-ip

Результаты генерации учитываются в исходящем трафике: включённые в тарифы с одним GPU 20 ТБ в месяц — это около десяти миллионов изображений по 2 МБ или миллион роликов по 20 МБ, без платы за исходящий трафик. Перед коммерческим использованием проверьте лицензию каждой модели — некоторые открытые модели для изображений и видео его ограничивают — и соблюдайте наши правила допустимого использования.

GPU с помесячной оплатой подходит для ежедневного продакшена, клиентских проектов и бэкендов генерации, которые работают каждый день. Для разового эксперимента на выходных почасовая аренда в другом месте обойдётся дешевле. Чтобы начать, разверните сервер: выберите конфигурацию, создайте бесплатный аккаунт или войдите в свой и оплатите первый месяц с предоплаченного баланса, который пополняется криптовалютой. Сервер выдаётся менее чем за 10 минут после оплаты, а в примечаниях для наших инженеров можно описать ваши модели, разрешение и объёмы.