Hopper
2024
Доступна на CloudCompute
H200 SXM
141 ГБ HBM3e · 1979 FP16 TFLOPS · 700 Вт TDP
141 ГБ
VRAM
1,979
FP16 TFLOPS
4800
ГБ/с bandwidth
3,200
tok/s Llama 8B
Технические характеристики
- Архитектура
- Hopper
- Поколение
- 2024
- Form factor
- SXM
- VRAM
- 141 ГБ HBM3e
- VRAM bandwidth
- 4800 ГБ/с
- CUDA-ядра
- 16 896
- Tensor cores
- 4th Gen
- FP32 TFLOPS
- 67
- FP16 TFLOPS
- 1979
- BF16 TFLOPS
- 1979
- FP8 TFLOPS
- 3958
- INT8 TOPS
- 3958
- TDP
- 700 Вт
- NVLink
- Да (v4, 900 ГБ/с)
- Max NVLink GPU
- 8× GPU
- PCIe Gen
- Gen 5
- ECC память
- Да
- MIG
- Да (до 7 инстансов)
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Llama 3.1 8B · FP16
3,200 tok/s
Llama 3.1 70B · FP16
420 tok/s
Llama 3.1 8B · FP8
5,800 tok/s
Llama 3.1 70B · FP8
800 tok/s
Типичное применение
Обучение моделей
LLM Инференс
HPC / Науч. вычисления
Multi-GPU конфигурации
1×
141 ГБ суммарно
2×
282 ГБ суммарно
4×
564 ГБ суммарно
8×
1128 ГБ суммарно