Hopper
2022
H100 PCIe
80 ГБ HBM2e · 1513 FP16 TFLOPS · 350 Вт TDP
80 ГБ
VRAM
1,513
FP16 TFLOPS
2000
ГБ/с bandwidth
2,100
tok/s Llama 8B
Технические характеристики
- Архитектура
- Hopper
- Поколение
- 2022
- Form factor
- PCIe
- VRAM
- 80 ГБ HBM2e
- VRAM bandwidth
- 2000 ГБ/с
- CUDA-ядра
- 14 592
- Tensor cores
- 4th Gen
- FP32 TFLOPS
- 51
- FP16 TFLOPS
- 1513
- BF16 TFLOPS
- 1513
- FP8 TFLOPS
- 3026
- INT8 TOPS
- 3026
- TDP
- 350 Вт
- NVLink
- Нет
- PCIe Gen
- Gen 5
- ECC память
- Да
- MIG
- Да (до 7 инстансов)
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
2,100 tok/s
Llama 3.1 70B · FP16
280 tok/s
Типичное применение
Обучение моделей
LLM Инференс
Multi-GPU конфигурации
1×
80 ГБ суммарно
2×
160 ГБ суммарно
4×
320 ГБ суммарно
8×
640 ГБ суммарно