Конфигурации и цены
Конфигурации для этой GPU уточняйте напрямую.
Связаться с намиТехнические характеристики
- Архитектура
- Ampere
- VRAM
- 80 ГБ
- CUDA-ядра
- 6912
- FP32 TFLOPS
- 19.5
- FP16 TFLOPS
- 312
- Пропускная способность памяти
- 2000 ГБ/с
- TDP
- 400 Вт
- NVLink
- Да
Подходит для
NVIDIA A100 на архитектуре Ampere — профессиональная GPU для обучения и inference крупных нейросетей. Доступна с 40 ГБ и 80 ГБ HBM2e памяти, поддерживает NVLink для многокарточных конфигураций.
Сколько моделей поместится
Приблизительная оценка: params × precision × overhead < VRAM
Llama 3.1 8B (fp16)
~16 ГБ, помещается с запасом
Llama 3.1 70B (fp16)
~168 ГБ — не помещается на одну карту, нужен H200 или 2× A100
Llama 3.1 70B (fp8)
~84 ГБ с overhead — превышает 80 ГБ; используйте 4-bit квантизацию (~40 ГБ)
Mistral 7B (fp16)
~17 ГБ, помещается с запасом
Stable Diffusion XL
~10 ГБ
Whisper large-v3
~3 ГБ
Сравнение с похожими GPU
| Характеристика | NVIDIA A100 | NVIDIA H100 SXM | NVIDIA RTX 4090 | NVIDIA RTX 3090 |
|---|---|---|---|---|
| VRAM | 80 ГБ | 80 ГБ | 24 ГБ | 24 ГБ |
| от ₽/час | — | — | 75.53 ₽ | 27.79 ₽ |
| Подходит для | Обучение LLM, Fine-tuning | Обучение LLM, Fine-tuning больших моделей | LLM inference, Генерация изображений | LLM inference, Генерация изображений |
| Страница | Текущая | Открыть → | Открыть → | Открыть → |