RTX 4090 vs RTX 3090 — сравнение характеристик и цен аренды

У обеих карт 24 ГБ GDDR6X. Сначала проверьте, помещается ли вся задача в этот объём. Если нет, замена 3090 на 4090 сама по себе не решает нехватку памяти.

Выбор по ограничению

У Ada и Ampere разные вычислительные возможности, но теоретические FLOPS и игровые результаты не задают универсального отношения скоростей LLM. Влияют kernels, обмен с памятью и ограничения хоста. Новых сравнительных замеров на этой странице нет.

Как сравнить сессию аренды

Используйте одинаковые ревизию модели и квантование. Зафиксируйте длину входа, лимит ответа, контекст и число запросов. Отделяйте загрузку модели от работы после прогрева, но учитывайте оба времени в оплате. Для генерации изображений сохраняйте разрешение, шаги и все компоненты workflow.

Если час 4090 стоит в 1,5 раза дороже, при одинаковых накладных расходах нужен устойчивый прирост производительности более 1,5 раза, чтобы та же работа стоила дешевле. Это порог принятия решения, а не обещание преимущества 4090. При разной подготовке используйте полный расчёт стоимости.

Два неверных сокращения

Поддержка NVLink у 3090 не доказывает, что на сервере установлен мост и модель корректно распределится. На 4090 тоже возможно поддерживаемое ПО для нескольких GPU без NVLink, но топологию нужно проверить. Подробнее: одна большая GPU или несколько.

Успешный инференс также не доказывает вместимость полного fine-tuning. Обучению нужны состояние optimizer, градиенты и активации. Проверяйте конкретный рецепт LoRA/QLoRA, а не общий предел размера модели.

Характеристики: RTX 3090, RTX 4090.

Предложения RTX 3090 · Предложения RTX 4090 · Выбор GPU · Запуск LLM.