Ampere
2020
A100 PCIe 40GB
40 ГБ HBM2 · 312 FP16 TFLOPS · 250 Вт TDP
40 ГБ
VRAM
312
FP16 TFLOPS
1555
ГБ/с bandwidth
900
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ampere
- Поколение
- 2020
- Form factor
- PCIe
- VRAM
- 40 ГБ HBM2
- VRAM bandwidth
- 1555 ГБ/с
- CUDA-ядра
- 6 912
- Tensor cores
- 3rd Gen
- FP32 TFLOPS
- 19.5
- FP16 TFLOPS
- 312
- BF16 TFLOPS
- 312
- INT8 TOPS
- 624
- TDP
- 250 Вт
- NVLink
- Нет
- PCIe Gen
- Gen 4
- ECC память
- Да
- MIG
- Да (до 7 инстансов)
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
900 tok/s
Типичное применение
Обучение моделей
LLM Инференс
Multi-GPU конфигурации
1×
40 ГБ суммарно
2×
80 ГБ суммарно
4×
160 ГБ суммарно
8×
320 ГБ суммарно