RTX 4090 vs A100 PCIe 80GB — сравнение характеристик и цен аренды
GPU 1
RTX 4090
GPU 2
A100 PCIe 80GB
RTX 4090 или A100 PCIe 80 ГБ: сначала вместимость задачи
Здесь сравниваются именно RTX 4090 на 24 ГБ и A100 PCIe на 80 ГБ. A100 40 ГБ и A100 SXM — другие варианты. Проверяйте предложение аренды, не переносите характеристики этой пары на любую A100.
Основной выбор — объём памяти
| Требование | Как выбирать |
|---|---|
| Вся задача помещается в 24 ГБ | Сравните совместимость движка и измеренную стоимость результата |
| Нужно больше 24 ГБ | A100 80 ГБ — кандидат для работы без разделения на меньшие карты |
| Модель 70B в BF16 на одной GPU | Ни одна не вмещает все веса: только они занимают около 140 ГБ в десятичных единицах |
| 70B в поддерживаемом квантованном формате | Посчитайте реальный checkpoint и кэш, проверьте полный запрос |
| Полный fine-tuning | Считайте градиенты, состояние optimizer и активации отдельно от инференса |
У A100 больше памяти, но она не автоматически быстрее в любой задаче. У RTX 4090 другие вычислительные характеристики и пути исполнения в ПО. Не ранжируйте скорость обучения по одному полю TFLOPS, особенно при смешении dense, sparse, Tensor Core и обычных операций с плавающей точкой.
Что даёт дополнительная память
Она может позволить держать модель целиком на GPU, увеличить кэш или не уменьшать micro-batch обучения. Эти изменения иногда важнее отдельного kernel-бенчмарка. Запишите настройки, при которых конфигурация полезна. Большая память не обещает конкретное число запросов в секунду.
Если модель помещается на обеих картах, используйте одинаковые движок, точность, длину входа и параллелизм. Если только на A100, сравнивайте с другой работающей конфигурацией, а не вычисляйте ускорение относительно неудачного запуска.
PCIe, SXM и несколько GPU
NVIDIA указывает bandwidth 1 935 ГБ/с для A100 80 ГБ PCIe и 2 039 ГБ/с для SXM. Это характеристики оборудования, а не измеренная скорость приложения. У RTX 4090 нет NVLink; варианты соединения A100 зависят от сервера. Проверьте реальную топологию перед шардированием модели.
Предложение с MIG-разделом также отличается от полной физической A100. Уточните видимую память и выделенные ресурсы. Подробнее: одна GPU или несколько и расчёт стоимости аренды.
Характеристики: варианты NVIDIA A100, RTX 4090. Новых сравнительных бенчмарков здесь нет.
Предложения RTX 4090 · Предложения A100: проверьте модификацию · Выбор GPU · Запуск LLM.
Сравнение характеристик
| Характеристика | RTX 4090 | A100 PCIe 80GB |
|---|---|---|
| VRAM | 24ГБ | 80ГБ |
| VRAM bandwidth | 1 008ГБ/с | 1 935ГБ/с |
| CUDA-ядра | 16 384 | 6 912 |
| FP32 TFLOPS | 82.6 | 19.5 |
| FP16 TFLOPS | 165.2 | 312.0 |
| BF16 TFLOPS | 165.2 | 312.0 |
| INT8 TOPS | — | 624.0 |
| TDP | 450Вт | 300Вт |
| Llama 3.1 8B FP16 tok/s | 680 | 1 050 |
| Llama 3.1 70B FP16 tok/s | — | 120 |
| Llama 3.1 8B FP8 tok/s | 1 200 | — |
| SDXL img/s | 3.2 | — |
| Архитектура | Ada Lovelace | Ampere |
| Form factor | PCIE | PCIE |
| NVLink | Нет | Нет |
| MIG | Нет | Да (7) |
| ECC память | Нет | Да |
Значения tokens/sec приблизительные — зависят от конфигурации сервера и настроек vLLM/TGI.
Аренда на CloudCompute
Похожие сравнения
Другие сравнения с RTX 4090
Другие сравнения с A100 PCIe 80GB