Hopper 2024Доступна на CloudCompute

H200 SXM

141 ГБ HBM3e · 1979 FP16 TFLOPS · 700 Вт TDP

141 ГБ

VRAM

1,979

FP16 TFLOPS

4800

ГБ/с bandwidth

3,200

tok/s Llama 8B

Технические характеристики

Архитектура
Hopper
Поколение
2024
Form factor
SXM
VRAM
141 ГБ HBM3e
VRAM bandwidth
4800 ГБ/с
CUDA-ядра
16 896
Tensor cores
4th Gen
FP32 TFLOPS
67
FP16 TFLOPS
1979
BF16 TFLOPS
1979
FP8 TFLOPS
3958
INT8 TOPS
3958
TDP
700 Вт
NVLink
Да (v4, 900 ГБ/с)
Max NVLink GPU
8× GPU
PCIe Gen
Gen 5
ECC память
Да
MIG
Да (до 7 инстансов)

AI/ML бенчмарки

Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.

Llama 3.1 8B · FP163,200 tok/s
Llama 3.1 70B · FP16420 tok/s
Llama 3.1 8B · FP85,800 tok/s
Llama 3.1 70B · FP8800 tok/s

Типичное применение

Обучение моделей LLM Инференс HPC / Науч. вычисления

Multi-GPU конфигурации

1×

141 ГБ суммарно

2×

282 ГБ суммарно

4×

564 ГБ суммарно

8×

1128 ГБ суммарно

Модели для H200 SXM

Все модели →

DeepSeek R1 32B

LLM

32B · 32 ГБ VRAM

DeepSeek R1 671B

LLM

671B · 345 ГБ VRAM

DeepSeek R1 70B

LLM

70B · 70 ГБ VRAM

DeepSeek V3.1

LLM

671B · 350 ГБ VRAM

DeepSeek V3.2

LLM

671B · 350 ГБ VRAM

Kandinsky 5.0 Video Pro

video

19B · 48 ГБ VRAM

Kimi K2

LLM

1000B · 500 ГБ VRAM

Llama 4 Maverick

LLM

400B · 400 ГБ VRAM

Llama 4 Scout

LLM

109B · 110 ГБ VRAM

Qwen3 235B-A22B

LLM

235B · 235 ГБ VRAM

Command R+

LLM

104B · 104 ГБ VRAM

DeepSeek Coder V2

LLM

236B · 220 ГБ VRAM

DeepSeek V3

LLM

685B · 350 ГБ VRAM

Llama 3.1 405B

LLM

405B · 405 ГБ VRAM

Llama 3.1 70B

LLM

70B · 70 ГБ VRAM

Llama 3.3 70B

LLM

70B · 70 ГБ VRAM

Mixtral 8×22B

LLM

141B · 135 ГБ VRAM

Qwen 2.5 72B

LLM

72B · 72 ГБ VRAM

Qwen2-VL 72B

Мультимодальные

72B · 72 ГБ VRAM

Falcon 180B

LLM

180B · 180 ГБ VRAM

Другие GPU на Hopper

H100 SXM

80 ГБ · HBM3

1979 FP16T

H100 NVL

94 ГБ · HBM2e

1671 FP16T

H100 PCIe

80 ГБ · HBM2e

1513 FP16T

Сравнить H200 SXM с: vs H100 SXM vs H100 NVL vs H100 PCIe Все сравнения →
Уточнить наличие ← Все GPU