NVIDIA H200

Что такое NVIDIA H200

H200 — обновление флагманского GPU NVIDIA H100, выпущенное в конце 2024 года. Принципиальное отличие — значительно увеличенный объём памяти: 141 ГБ HBM3e вместо 80 ГБ HBM3, с пропускной способностью 4800 ГБ/с (vs 3350 ГБ/с у H100 SXM).

Вычислительная мощность (CUDA/Tensor Cores, TFLOPS) идентична H100 — H200 не предлагает новых типов вычислений. Основной выигрыш — в объёме и скорости памяти, что напрямую ускоряет memory-bound операции: decode LLM и хранение больших KV-кешей.

Технические характеристики

Когда H200 значимо лучше H100

• Модели >70B в BF16 — Llama 3 405B умещается на 4× H200 вместо 6× H100
• Длинный контекст — 141 ГБ вмещает значительно больший KV-кеш
• Высокая параллельность инференса — больше памяти → больше батч-слотов → выше суммарный TPS
• decode-скорость — +43% пропускной способности памяти напрямую ускоряет генерацию

Для задач, где H200 не даёт преимущества

• Обучение небольших моделей (≤13B) — compute-bound, лимит не по памяти
• FP8-обучение — одинаково быстро на H100 и H200
• Инференс небольших моделей (≤30B)

Связанные термины

• NVIDIA H100 — базовая версия
• HBM — тип памяти, определяющий главное отличие H200
• KV-кеш — ресурс, выигрывающий от 141 ГБ
• AMD MI300X — конкурент с 192 ГБ HBM3