Конфигурации и цены
Конфигурации для этой GPU уточняйте напрямую.
Связаться с намиПолные технические характеристики и AI/ML бенчмарки
NVIDIA L40 в базе GPUТехнические характеристики
- Архитектура
- Ada Lovelace
- VRAM
- 48 ГБ
- CUDA-ядра
- 18176
- FP32 TFLOPS
- 90.5
- FP16 TFLOPS
- 181
- Пропускная способность памяти
- 864 ГБ/с
- TDP
- 300 Вт
- NVLink
- Нет
Подходит для
NVIDIA L40 — профессиональная серверная GPU на архитектуре Ada Lovelace с 48 ГБ ECC GDDR6 и низким TDP 300 Вт. Карта занимает нишу между потребительскими GPU и дорогими H100: даёт достаточно VRAM для inference моделей до 34B (в 4-bit) или работы с несколькими моделями одновременно, обеспечивает стабильность серверного класса и подходит для круглосуточных production-нагрузок. Особенно эффективна для задач генерации изображений, рендеринга и inference среднего масштаба.
Сколько моделей поместится
Приблизительная оценка: params × precision × overhead < VRAM
Llama 3.1 8B (fp16)
~16 ГБ, помещается с запасом
Llama 3.1 34B (fp16)
~82 ГБ — не помещается, используйте 4-bit или L40S с FP8
Llama 3.1 70B (fp16)
не помещается (~168 ГБ) — нужен A100/H100 80 ГБ
Mistral 7B (fp16)
~17 ГБ, помещается с запасом
Stable Diffusion XL
~10 ГБ, отличная производительность
Whisper large-v3
~3 ГБ
Сравнение с похожими GPU
| Характеристика | NVIDIA L40 | NVIDIA L40S | NVIDIA RTX 4090 | NVIDIA A100 |
|---|---|---|---|---|
| VRAM | 48 ГБ | 48 ГБ | 24 ГБ | 80 ГБ |
| от ₽/час | — | — | 55.48 ₽ | — |
| Подходит для | LLM inference, Генерация изображений | LLM inference, Обучение LLM | LLM inference, Генерация изображений | Обучение LLM, Fine-tuning |
| Страница | Текущая | Открыть → | Открыть → | Открыть → |