Конфигурации и цены
Конфигурации для этой GPU уточняйте напрямую.
Связаться с намиСистемные бенчмарки
Канонические MLPerf® и другие результаты на полных системах — отдельно от ориентировочных tok/s на этой странице.
Технические характеристики
- Архитектура
- Ampere
- VRAM
- 80 ГБ
- CUDA-ядра
- 6912
- Пропускная способность памяти
- 2039 GB/s
- TDP
- 400 Вт
- NVLink
- Да
Подходит для
A100 — семейство GPU Ampere, а не одна взаимозаменяемая конфигурация аренды. Проверьте объём 40 или 80 ГБ и исполнение PCIe или SXM. Справочные характеристики этой страницы относятся к A100 80 ГБ SXM; при выборе ориентируйтесь на конкретное предложение.
Какие задачи проверить
Модель не помещается на потребительской GPU. Карта на 80 ГБ — кандидат для крупных квантованных checkpoint. Только BF16-веса условной модели 70B требуют около 140 ГБ в десятичных единицах, поэтому целиком на одной A100 80 ГБ они не помещаются.
Обучение адаптеров. Явно задайте точность базы, optimizer, длину последовательности и batch. Дополнительная память может убрать необходимость offload, но универсальный «максимальный размер модели QLoRA» скрывает эти настройки.
Распределённое обучение или инференс. Проверьте соединение между выделенными GPU. Поддержка NVLink в спецификации карты не доказывает, что арендованная пара действительно соединена.
Когда выбрать другую GPU
Если задача помещается в 24 ГБ, сравните стоимость её выполнения с RTX 4090 перед оплатой лишней ёмкости. Для задачи на 80 ГБ сравните H100 с теми же движком, моделью и точностью. Поколение GPU само по себе не определяет самый дешёвый запуск.
Выбор GPU · RTX 4090 против A100 PCIe 80 ГБ · Стоимость задачи.
Ограничения карты и предложения
У A100 80 ГБ PCIe и SXM различаются пропускная способность памяти и лимиты мощности. Не переносите показатели SXM в сравнение PCIe. MIG-раздел также имеет меньше памяти, чем физическая карта: проверьте, что именно выделяет предложение.
Проверка перед длительной арендой
Запустите точный checkpoint и свой сценарий на выбранном предложении. Проверьте свободную VRAM, выполните одну типичную задачу, затем повторите с максимальным нужным входом или batch. Запишите версии движка и пиковую память. Успешная загрузка весов не проверяет вместимость всей задачи.
Расчёт памяти · Запуск LLM · Одна GPU или несколько.
Характеристики: спецификация NVIDIA. Рекомендации основаны на вместимости и требованиях задач; новые замеры скорости здесь не заявлены.
Сравнение с похожими GPU
| Характеристика | NVIDIA A100 | NVIDIA H100 SXM | NVIDIA RTX 4090 | NVIDIA RTX 3090 |
|---|---|---|---|---|
| VRAM | 80 ГБ | 80 ГБ | 24 ГБ | 24 ГБ |
| от ₽/час | — | — | 52.25 ₽ | 27.16 ₽ |
| Подходит для | Обучение LLM, Fine-tuning | Обучение LLM, Fine-tuning больших моделей | LLM inference, Генерация изображений | LLM inference, Генерация изображений |
| Страница | Текущая | Открыть → | Открыть → | Открыть → |