Аренда NVIDIA H100 SXM

H100 — семейство GPU Hopper. Здесь справочные характеристики относятся к H100 SXM 80 ГБ; предложения PCIe и NVL нужно проверять отдельно. Выбирайте H100 по выигрышу в конкретной задаче, а не воспринимайте название как гарантию скорости.

Какие задачи проверить

Пакетный инференс. Проверяйте нужное число одновременных запросов и реальные длины входа и ответа. Записывайте задержку вместе с суммарной производительностью: результат большого batch может плохо описывать интерактивный чат.

Обучение. Сравнивайте время одинакового числа шагов или обучающих токенов, включая сохранение checkpoint. Зафиксируйте batch, точность и optimizer либо объясните изменение рецепта.

Инференс с большим расходом памяти. У H100 SXM 80 ГБ и A100 80 ГБ одинаковая номинальная ёмкость. Замена одной на другую не позволяет вместить на одной карте примерно 140 ГБ BF16-весов модели 70B.

Когда выбрать другую GPU

Движок должен поддерживать и использовать нужные kernels и числовой формат. Аппаратная поддержка FP8 не превращает готовый BF16-деплой в FP8 автоматически. При смене точности проверяйте качество ответов.

Выбор GPU · H100 SXM против A100 SXM 80 ГБ · Стоимость задачи.

Ограничения карты и предложения

Для нескольких GPU проверьте NVLink/NVSwitch-топологию сервера и количество карт в указанной цене. Отдельный удалённый инстанс не получает быстрое соединение только потому, что тоже использует H100. По возможности начинайте с одного узла.

Проверка перед длительной арендой

Запустите точный checkpoint и свой сценарий на выбранном предложении. Проверьте свободную VRAM, выполните одну типичную задачу, затем повторите с максимальным нужным входом или batch. Запишите версии движка и пиковую память. Успешная загрузка весов не проверяет вместимость всей задачи.

Расчёт памяти · Запуск LLM · Одна GPU или несколько.

Характеристики: спецификация NVIDIA. Рекомендации основаны на вместимости и требованиях задач; новые замеры скорости здесь не заявлены.