Ada Lovelace
2023
L40S
48 ГБ GDDR6 · 183 FP16 TFLOPS · 350 Вт TDP
48 ГБ
VRAM
183
FP16 TFLOPS
864
ГБ/с bandwidth
900
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ada Lovelace
- Поколение
- 2023
- Form factor
- PCIe
- VRAM
- 48 ГБ GDDR6
- VRAM bandwidth
- 864 ГБ/с
- CUDA-ядра
- 18 176
- Tensor cores
- 4th Gen
- FP32 TFLOPS
- 91.6
- FP16 TFLOPS
- 183
- BF16 TFLOPS
- 183
- FP8 TFLOPS
- 366
- INT8 TOPS
- 366
- TDP
- 350 Вт
- NVLink
- Нет
- PCIe Gen
- Gen 4
- ECC память
- Да
- MIG
- Нет
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
900 tok/s
Llama 3.1 70B · FP16
110 tok/s
Типичное применение
LLM Инференс
Image generation
Рендеринг
Multi-GPU конфигурации
1×
48 ГБ суммарно
2×
96 ГБ суммарно
4×
192 ГБ суммарно
8×
384 ГБ суммарно