GPU Hardware
datacenter GPU
GPU, спроектированный для серверных стоек: с ECC, большим VRAM и поддержкой multi-GPU.
Что такое datacenter GPU
Datacenter GPU (серверный GPU) — класс ускорителей, разработанных специально для эксплуатации в дата-центрах. В отличие от потребительских RTX, они отличаются:
- ECC памятью — аппаратная коррекция ошибок для длительных вычислений
- Большим объёмом VRAM — 40–192 ГБ для больших моделей
- HBM-памятью — пропускная способность в разы выше GDDR6
- NVLink — высокоскоростное соединение между несколькими GPU
- MIG — разделение на изолированные экземпляры (A100, H100)
- Форм-фактором — PCIe full-height или SXM для систем типа DGX
- Сертификацией для 24/7 — проектируется для непрерывной работы
Серверные vs потребительские GPU
| Серверные (A100, H100) | Потребительские (RTX 4090) | |
|---|---|---|
| VRAM | 40–80 ГБ | 24 ГБ |
| Тип памяти | HBM2e/HBM3 | GDDR6X |
| ECC | Есть | Нет |
| NVLink | Есть | Нет |
| Стоимость | $10K–$30K | $1.5–2K |
| $/TFLOPS FP16 | Выше | Ниже |
| Лучший сценарий | Production, 70B+, multi-GPU | Разработка, 7–13B, обрезка затрат |
Когда серверный GPU необходим
- Обучение модели от 30B параметров
- Production-инференс с ECC-гарантиями
- Долгосрочные вычисления (дни, недели)
- Multi-GPU конфигурации с NVLink
Когда потребительские GPU достаточны
- Разработка и эксперименты
- Инференс до 13B BF16 или 70B AWQ
- Fine-tuning с QLoRA/LoRA
- Генерация изображений
Связанные термины
- NVIDIA A100, H100 — основные серверные GPU
- ECC memory — ключевая особенность серверных GPU
- MIG — деление серверных GPU
- NVIDIA RTX 4090 — потребительская альтернатива
Готовы запустить GPU-задачу?
Запустить GPU-сервер