Ada Lovelace
2022
Доступна на CloudCompute
RTX 4090
24 ГБ GDDR6X · 165.2 FP16 TFLOPS · 450 Вт TDP
24 ГБ
VRAM
165
FP16 TFLOPS
1008
ГБ/с bandwidth
680
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ada Lovelace
- Поколение
- 2022
- Form factor
- PCIe
- VRAM
- 24 ГБ GDDR6X
- VRAM bandwidth
- 1008 ГБ/с
- CUDA-ядра
- 16 384
- Tensor cores
- 4th Gen
- FP32 TFLOPS
- 82.6
- FP16 TFLOPS
- 165.2
- BF16 TFLOPS
- 165.2
- TDP
- 450 Вт
- NVLink
- Нет
- PCIe Gen
- Gen 4
- ECC память
- Нет
- MIG
- Нет
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
680 tok/s
Llama 3.1 8B · FP8
1,200 tok/s
SDXL (images/sec)
3.20 img/s
Типичное применение
LLM Инференс
Image generation
Рендеринг
Multi-GPU конфигурации
1×
24 ГБ суммарно
2×
48 ГБ суммарно
4×
96 ГБ суммарно