Аренда NVIDIA L40S — от 115.38 ₽/час

NVIDIA L40S оснащена 48 ГБ GDDR6 с ECC. Её стоит рассмотреть, когда задаче мало 24 или 32 ГБ, но карта на 80 ГБ ещё не нужна. Основанием должны быть требования к памяти, а не предположение, что любая серверная GPU быстрее.

Какие задачи проверить

Крупные квантованные модели. Для условной модели 70B в 4-битном формате нижняя оценка весов — 35 ГБ в десятичных единицах. Дополнительно нужны метаданные квантования, кэш и память движка. 48 ГБ — кандидат для проверки, а не гарантия вместимости.

Несколько компонентов в одном процессе. Дополнительная память может помочь image-pipeline с энкодерами и моделями conditioning. Измеряйте пик при одновременной работе компонентов, а не после загрузки одного checkpoint.

Параллельное обслуживание запросов. Больший объём может позволить увеличить KV-кэш, но не обещает конкретный RPS. Проверяйте реальные длины входа и ответа с нужным ограничением задержки.

Когда выбрать другую GPU

Сравните одну L40S с несколькими меньшими картами, если хотите избежать разделения модели. Если запаса памяти всё равно мало, рассмотрите A100 80 ГБ. Сравнивайте полную цену инстанса и одну и ту же выполненную задачу.

Выбор GPU · L40S против RTX 4090 · Стоимость задачи.

Ограничения карты и предложения

L40S работает через PCIe и не имеет NVLink. Объём 48 ГБ и пропускная способность памяти описывают разные ограничения: первое определяет вместимость, второе может влиять на скорость задачи, ограниченной обменом с памятью.

Проверка перед длительной арендой

Запустите точный checkpoint и свой сценарий на выбранном предложении. Проверьте свободную VRAM, выполните одну типичную задачу, затем повторите с максимальным нужным входом или batch. Запишите версии движка и пиковую память. Успешная загрузка весов не проверяет вместимость всей задачи.

Расчёт памяти · Запуск LLM · Одна GPU или несколько.

Характеристики: спецификация NVIDIA. Рекомендации основаны на вместимости и требованиях задач; новые замеры скорости здесь не заявлены.