Hopper 2022

H100 PCIe

80 ГБ HBM2e · 1513 FP16 TFLOPS · 350 Вт TDP

80 ГБ

VRAM

1,513

FP16 TFLOPS

2000

ГБ/с bandwidth

2,100

tok/s Llama 8B

Технические характеристики

Архитектура
Hopper
Поколение
2022
Form factor
PCIe
VRAM
80 ГБ HBM2e
VRAM bandwidth
2000 ГБ/с
CUDA-ядра
14 592
Tensor cores
4th Gen
FP32 TFLOPS
51
FP16 TFLOPS
1513
BF16 TFLOPS
1513
FP8 TFLOPS
3026
INT8 TOPS
3026
TDP
350 Вт
NVLink
Нет
PCIe Gen
Gen 5
ECC память
Да
MIG
Да (до 7 инстансов)

AI/ML бенчмарки

Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.

Llama 3.1 8B · FP162,100 tok/s
Llama 3.1 70B · FP16280 tok/s

Типичное применение

Обучение моделей LLM Инференс

Multi-GPU конфигурации

1×

80 ГБ суммарно

2×

160 ГБ суммарно

4×

320 ГБ суммарно

8×

640 ГБ суммарно

Модели для H100 PCIe

Все модели →

DeepSeek R1 14B

LLM

14B · 14 ГБ VRAM

DeepSeek R1 32B

LLM

32B · 32 ГБ VRAM

DeepSeek R1 671B

LLM

671B · 345 ГБ VRAM

DeepSeek R1 70B

LLM

70B · 70 ГБ VRAM

DeepSeek V3.1

LLM

671B · 350 ГБ VRAM

DeepSeek V3.2

LLM

671B · 350 ГБ VRAM

Gemma 3 12B

LLM

12B · 12 ГБ VRAM

Gemma 3 27B

LLM

27B · 27 ГБ VRAM

GLM-4 32B

LLM

32B · 32 ГБ VRAM

Kandinsky 5.0 Image Lite

Изображения

6B · 24 ГБ VRAM

Kandinsky 5.0 Video Pro

video

19B · 48 ГБ VRAM

Kimi K2

LLM

1000B · 500 ГБ VRAM

Llama 4 Maverick

LLM

400B · 400 ГБ VRAM

Llama 4 Scout

LLM

109B · 110 ГБ VRAM

Mistral Small 3.1

LLM

24B · 24 ГБ VRAM

Qwen3 14B

LLM

14B · 14 ГБ VRAM

Qwen3 235B-A22B

LLM

235B · 235 ГБ VRAM

Qwen3 30B-A3B

LLM

30B · 30 ГБ VRAM

Qwen3 32B

LLM

32B · 32 ГБ VRAM

Qwen3 8B

LLM

8B · 8 ГБ VRAM

QwQ 32B

LLM

32B · 32 ГБ VRAM

Codestral 22B

LLM

22B · 22 ГБ VRAM

Command R+

LLM

104B · 104 ГБ VRAM

DeepSeek Coder V2

LLM

236B · 220 ГБ VRAM

DeepSeek V3

LLM

685B · 350 ГБ VRAM

Flux.1 Dev

Изображения

24 ГБ VRAM

Gemma 2 27B

LLM

27B · 27 ГБ VRAM

Gemma 2 9B

LLM

9B · 9 ГБ VRAM

Llama 3.1 405B

LLM

405B · 405 ГБ VRAM

Llama 3.1 70B

LLM

70B · 70 ГБ VRAM

Llama 3.1 8B

LLM

8B · 8 ГБ VRAM

Llama 3.3 70B

LLM

70B · 70 ГБ VRAM

LLaVA 1.6 34B

Мультимодальные

34B · 34 ГБ VRAM

Mixtral 8×22B

LLM

141B · 135 ГБ VRAM

NV-Embed v2

Эмбеддинги

7B · 16 ГБ VRAM

OLMo 2 13B

LLM

13B · 13 ГБ VRAM

Phi-3 Medium 14B

LLM

14B · 14 ГБ VRAM

Phi-4 14B

LLM

14B · 14 ГБ VRAM

Pixtral 12B

Мультимодальные

12B · 12 ГБ VRAM

Qwen 2.5 14B

LLM

14B · 14 ГБ VRAM

Qwen 2.5 32B

LLM

32B · 32 ГБ VRAM

Qwen 2.5 72B

LLM

72B · 72 ГБ VRAM

Qwen 2.5 Coder 32B

LLM

32B · 32 ГБ VRAM

Qwen2-VL 72B

Мультимодальные

72B · 72 ГБ VRAM

Stable Diffusion 3.5 Large

Изображения

16 ГБ VRAM

StarCoder2 15B

LLM

15B · 15 ГБ VRAM

Yi 1.5 34B

LLM

34B · 34 ГБ VRAM

CodeLlama 34B

LLM

34B · 34 ГБ VRAM

Falcon 180B

LLM

180B · 180 ГБ VRAM

Mixtral 8×7B

LLM

47B · 45 ГБ VRAM

Другие GPU на Hopper

H200 SXM

141 ГБ · HBM3e

1979 FP16T

H100 SXM

80 ГБ · HBM3

1979 FP16T

H100 NVL

94 ГБ · HBM2e

1671 FP16T

Сравнить H100 PCIe с: vs H200 SXM vs H100 SXM vs H100 NVL Все сравнения →
Уточнить наличие ← Все GPU