Ampere
2020
Доступна на CloudCompute
RTX 3090
24 ГБ GDDR6X · 71 FP16 TFLOPS · 350 Вт TDP
24 ГБ
VRAM
71
FP16 TFLOPS
936
ГБ/с bandwidth
400
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ampere
- Поколение
- 2020
- Form factor
- PCIe
- VRAM
- 24 ГБ GDDR6X
- VRAM bandwidth
- 936 ГБ/с
- CUDA-ядра
- 10 496
- Tensor cores
- 3rd Gen
- FP32 TFLOPS
- 35.6
- FP16 TFLOPS
- 71
- BF16 TFLOPS
- 71
- TDP
- 350 Вт
- NVLink
- Да (v3, 112 ГБ/с)
- Max NVLink GPU
- 2× GPU
- PCIe Gen
- Gen 4
- ECC память
- Нет
- MIG
- Нет
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
400 tok/s
SDXL (images/sec)
1.30 img/s
Типичное применение
LLM Инференс
Обучение моделей
Image generation
Multi-GPU конфигурации
1×
24 ГБ суммарно
2×
48 ГБ суммарно