Ada Lovelace 2022 Доступна на CloudCompute

RTX 4090

24 ГБ GDDR6X · 165.2 FP16 TFLOPS · 450 Вт TDP

24 ГБ

VRAM

165

FP16 TFLOPS

1008

ГБ/с bandwidth

680

tok/s Llama 8B

Технические характеристики

Архитектура
Ada Lovelace
Поколение
2022
Form factor
PCIe
VRAM
24 ГБ GDDR6X
VRAM bandwidth
1008 ГБ/с
CUDA-ядра
16 384
Tensor cores
4th Gen
FP32 TFLOPS
82.6
FP16 TFLOPS
165.2
BF16 TFLOPS
165.2
TDP
450 Вт
NVLink
Нет
PCIe Gen
Gen 4
ECC память
Нет
MIG
Нет

AI/ML бенчмарки

Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.

Llama 3.1 8B · FP16 680 tok/s
Llama 3.1 8B · FP8 1,200 tok/s
SDXL (images/sec) 3.20 img/s

Типичное применение

LLM Инференс Image generation Рендеринг

Multi-GPU конфигурации

1×

24 ГБ суммарно

2×

48 ГБ суммарно

4×

96 ГБ суммарно

Модели для RTX 4090

Все модели →

DeepSeek R1 14B

LLM

14B · 14 ГБ VRAM

DeepSeek R1 7B

LLM

7B · 7 ГБ VRAM

Gemma 3 12B

LLM

12B · 12 ГБ VRAM

Gemma 3 27B

LLM

27B · 27 ГБ VRAM

GLM-4 32B

LLM

32B · 32 ГБ VRAM

GLM-4 9B

LLM

9B · 9 ГБ VRAM

Kandinsky 5.0 Image Lite

Изображения

6B · 24 ГБ VRAM

Kandinsky 5.0 Video Lite

video

2B · 24 ГБ VRAM

Mistral Small 3.1

LLM

24B · 24 ГБ VRAM

Phi-4 Mini

LLM

3.8B · 4 ГБ VRAM

Qwen3 14B

LLM

14B · 14 ГБ VRAM

Qwen3 8B

LLM

8B · 8 ГБ VRAM

QwQ 32B

LLM

32B · 32 ГБ VRAM

BGE M3

Эмбеддинги

4 ГБ VRAM

Codestral 22B

LLM

22B · 22 ГБ VRAM

Flux.1 Dev

Изображения

24 ГБ VRAM

Flux.1 Schnell

Изображения

24 ГБ VRAM

Gemma 2 27B

LLM

27B · 27 ГБ VRAM

Gemma 2 2B

LLM

2B · 2 ГБ VRAM

Gemma 2 9B

LLM

9B · 9 ГБ VRAM

GTE Qwen2 7B

Эмбеддинги

7B · 14 ГБ VRAM

InternVL2 8B

Мультимодальные

8B · 8 ГБ VRAM

Kandinsky 3.1

Изображения

16 ГБ VRAM

Kokoro

Речь

2 ГБ VRAM

Llama 3.1 8B

LLM

8B · 8 ГБ VRAM

Llama 3.2 1B

LLM

1B · 1 ГБ VRAM

Llama 3.2 3B

LLM

3B · 3 ГБ VRAM

LLaVA 1.6 34B

Мультимодальные

34B · 34 ГБ VRAM

NV-Embed v2

Эмбеддинги

7B · 16 ГБ VRAM

OLMo 2 13B

LLM

13B · 13 ГБ VRAM

Parler TTS

Речь

6 ГБ VRAM

Phi-3 Medium 14B

LLM

14B · 14 ГБ VRAM

Phi-3 Mini 3.8B

LLM

3.8B · 4 ГБ VRAM

Phi-4 14B

LLM

14B · 14 ГБ VRAM

Pixtral 12B

Мультимодальные

12B · 12 ГБ VRAM

Qwen 2.5 14B

LLM

14B · 14 ГБ VRAM

Qwen 2.5 32B

LLM

32B · 32 ГБ VRAM

Qwen 2.5 7B

LLM

7B · 7 ГБ VRAM

Qwen 2.5 Coder 32B

LLM

32B · 32 ГБ VRAM

Qwen2-VL 7B

Мультимодальные

7B · 7 ГБ VRAM

Stable Diffusion 3.5 Large

Изображения

16 ГБ VRAM

StarCoder2 15B

LLM

15B · 15 ГБ VRAM

Yi 1.5 34B

LLM

34B · 34 ГБ VRAM

CodeLlama 34B

LLM

34B · 34 ГБ VRAM

ControlNet

Изображения

6 ГБ VRAM

E5 Mistral 7B

Эмбеддинги

7B · 14 ГБ VRAM

Faster-Whisper Large v3

Речь

6 ГБ VRAM

Kandinsky 2.1

Изображения

10 ГБ VRAM

Kandinsky 2.2

Изображения

10 ГБ VRAM

Mistral 7B v0.3

LLM

7B · 7 ГБ VRAM

Mixtral 8×7B

LLM

47B · 45 ГБ VRAM

SDXL Turbo

Изображения

8 ГБ VRAM

Stable Diffusion XL

Изображения

8 ГБ VRAM

Whisper Large v3

Речь

10 ГБ VRAM

XTTS v2

Речь

4 ГБ VRAM

Stable Diffusion 1.5

Изображения

4 ГБ VRAM

Whisper Medium

Речь

5 ГБ VRAM

Whisper Small

Речь

2 ГБ VRAM

Другие GPU на Ada Lovelace

L40S

48 ГБ · GDDR6

183 FP16T

L40

48 ГБ · GDDR6

181 FP16T

L4

24 ГБ · GDDR6

121 FP16T

RTX 6000 Ada

48 ГБ · GDDR6

182 FP16T
Сравнить RTX 4090 с: vs L40S vs L40 vs L4 vs RTX 6000 Ada Все сравнения →
Цены и конфигурации ← Все GPU