RTX 4070 Ti vs RTX 4090 — сравнение характеристик и цен аренды

GPU 1

RTX 4070 Ti

12 ГБAda Lovelace
VS

GPU 2

RTX 4090

Ada Lovelace24 ГБ

Выводы

Лучше для обучения моделей

RTX 4090

Выгоднее VRAM/₽

RTX 4070 Ti

Сравнение характеристик

Характеристика RTX 4070 Ti RTX 4090
VRAM 12ГБ 24ГБ
VRAM bandwidth 504ГБ/с 1 008ГБ/с
CUDA-ядра 7 680 16 384
FP32 TFLOPS 40.1 82.6
FP16 TFLOPS 80.2 165.2
BF16 TFLOPS 80.2 165.2
TDP 285Вт 450Вт
Llama 3.1 8B FP16 tok/s — 680
Llama 3.1 8B FP8 tok/s — 1 200
SDXL img/s — 3.2
Архитектура Ada Lovelace Ada Lovelace
Form factor PCIE PCIE
NVLink НетНет
MIG НетНет
ECC память НетНет

Значения tokens/sec приблизительные — зависят от конфигурации сервера и настроек vLLM/TGI.

Аренда на CloudCompute

RTX 4070 Ti

24.81 ₽/час

Арендовать RTX 4070 Ti

RTX 4090

52.25 ₽/час

Арендовать RTX 4090