NVIDIA H100

Что такое NVIDIA H100

H100 — флагманский серверный GPU NVIDIA на архитектуре Hopper (2022). Пришёл на смену A100 с ростом производительности в 2–4× на задачах обучения трансформеров и ~3× на инференсе (в FP16). Поставляется в двух форм-факторах: SXM (с NVSwitch для multi-GPU систем) и PCIe (стандартный слот).

Технические характеристики

Ключевые нововведения против A100

• FP8 — нативная поддержка 8-битных вычислений; почти удваивает throughput против FP16 при минимальной потере точности
• NVLink 4.0 — 900 GB/s пропускная способность (vs 600 GB/s у A100); критично для tensor parallelism
• Transformer Engine — аппаратное ускорение mixed precision (FP8/FP16) внутри блоков трансформера
• HBM3 (в SXM) — 3350 ГБ/с vs 2000 ГБ/с у A100; ускоряет memory-bound операции (decode)

Когда выбирать H100

H100 необходим для:

• Обучения моделей >30B параметров в приемлемые сроки
• Инференса 70B+ моделей с высоким throughput
• Задач с очень длинным контекстом (128K+) — нужна пропускная способность HBM3
• Production-сервисов с требованиями SLA по latency

Для задач ≤13B на инференсе RTX 4090 или A100 дадут значительно лучший TCO.

Связанные термины

• NVIDIA A100 — предшественник, лучше по цена/производительность для многих задач
• NVIDIA H200 — обновлённый H100 с 141 ГБ HBM3e
• HBM — тип памяти H100
• NVLink — высокоскоростная шина для multi-GPU
• Tensor Core — специализированные ядра для матричных операций
• fp8 — новый формат, поддерживаемый H100