Блог

Гайды по GPU и инженерные заметки

Сколько памяти на самом деле нужно модели, какой GPU выбрать и сколько стоит месяц вычислений — пишут инженеры, которые обслуживают наши серверы.

ГайдыРекомендуем

Сколько видеопамяти нужно для LLM?

Сколько видеопамяти (VRAM) нужно LLM? Короткие ответы для моделей 7B, 14B, 32B, 70B и 405B в BF16, FP8 и 4 битах, KV-кэш по длине контекста и подходящий GPU. В этом руководствеСколько видеопамяти нужно для LLM: формулаОбъём весов модели при разной точностиKV-кэш: память, которая растёт вместе с контекстомНакладные расходы и запас 8 мин чтения Читать руководство

Последние статьи

Развернуть GPU-сервер

Получите GPU-сервер уже в этом месяце.

Выберите конфигурацию, создайте аккаунт в той же форме и оплатите первый месяц с баланса. Гарантированная дата выдачи показывается до оплаты, а если мы её пропустим, вы получите полный возврат средств.

  • Гарантированная дата выдачи известна до оплаты
  • Отмена в любом месяце
  • Оплата криптовалютой, бонус до +50%

Вход в FullGPU

Управляйте GPU-серверами, балансом и счетами.

Впервые в FullGPU? Создать аккаунт