L40 vs RTX 4080 Super — сравнение характеристик и цен аренды

GPU 1

L40

48 ГБAda Lovelace
VS

GPU 2

RTX 4080 Super

Ada Lovelace16 ГБ

Выводы

Лучше для обучения моделей

L40

Сравнение характеристик

Характеристика L40 RTX 4080 Super
VRAM 48ГБ 16ГБ
VRAM bandwidth 864ГБ/с 736ГБ/с
CUDA-ядра 18 176 10 240
FP32 TFLOPS 90.5 52.2
FP16 TFLOPS 181.0 104.4
BF16 TFLOPS 181.0 104.4
INT8 TOPS 362.0 —
TDP 300Вт 320Вт
SDXL img/s — 2.0
Архитектура Ada Lovelace Ada Lovelace
Form factor PCIE PCIE
NVLink НетНет
MIG НетНет
ECC память ДаНет

Значения tokens/sec приблизительные — зависят от конфигурации сервера и настроек vLLM/TGI.

Аренда на CloudCompute

L40

183.02 ₽/час

Арендовать L40

RTX 4080 Super

По запросу

Арендовать RTX 4080 Super