Ampere
2020
Доступна на CloudCompute
RTX A6000
48 ГБ GDDR6 · 77.4 FP16 TFLOPS · 300 Вт TDP
48 ГБ
VRAM
77
FP16 TFLOPS
768
ГБ/с bandwidth
560
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ampere
- Поколение
- 2020
- Form factor
- Workstation
- VRAM
- 48 ГБ GDDR6
- VRAM bandwidth
- 768 ГБ/с
- CUDA-ядра
- 10 752
- Tensor cores
- 3rd Gen
- FP32 TFLOPS
- 38.7
- FP16 TFLOPS
- 77.4
- BF16 TFLOPS
- 77.4
- INT8 TOPS
- 154.8
- TDP
- 300 Вт
- NVLink
- Да (v3, 112 ГБ/с)
- Max NVLink GPU
- 2× GPU
- PCIe Gen
- Gen 4
- ECC память
- Да
- MIG
- Нет
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
560 tok/s
Типичное применение
LLM Инференс
Обучение моделей
Рендеринг
Multi-GPU конфигурации
1×
48 ГБ суммарно
2×
96 ГБ суммарно