RTX 3090
24 ГБ GDDR6X · 71 FP16 TFLOPS · 350 Вт TDP
24 ГБ
VRAM
71
FP16 TFLOPS
936
ГБ/с bandwidth
400
tok/s Llama 8B
Технические характеристики
- Архитектура
- Ampere
- Поколение
- 2020
- Form factor
- PCIe
- VRAM
- 24 ГБ GDDR6X
- VRAM bandwidth
- 936 ГБ/с
- CUDA-ядра
- 10 496
- Tensor cores
- 3rd Gen
- FP32 TFLOPS
- 35.6
- FP16 TFLOPS
- 71
- BF16 TFLOPS
- 71
- TDP
- 350 Вт
- NVLink
- Да (v3, 112 ГБ/с)
- Max NVLink GPU
- 2× GPU
- PCIe Gen
- Gen 4
- ECC память
- Нет
- MIG
- Нет
AI/ML бенчмарки
Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.
Типичное применение
Multi-GPU конфигурации
1×
24 ГБ суммарно
2×
48 ГБ суммарно
Модели для RTX 3090
Все модели →DeepSeek R1 7B
LLM7B · 7 ГБ VRAM
GLM-4 9B
LLM9B · 9 ГБ VRAM
Phi-4 Mini
LLM3.8B · 4 ГБ VRAM
BGE M3
Эмбеддинги4 ГБ VRAM
Gemma 2 2B
LLM2B · 2 ГБ VRAM
GTE Qwen2 7B
Эмбеддинги7B · 14 ГБ VRAM
InternVL2 8B
Мультимодальные8B · 8 ГБ VRAM
Kandinsky 3.1
Изображения16 ГБ VRAM
Kokoro
Речь2 ГБ VRAM
Llama 3.2 1B
LLM1B · 1 ГБ VRAM
Llama 3.2 3B
LLM3B · 3 ГБ VRAM
Parler TTS
Речь6 ГБ VRAM
Phi-3 Mini 3.8B
LLM3.8B · 4 ГБ VRAM
Qwen 2.5 7B
LLM7B · 7 ГБ VRAM
Qwen2-VL 7B
Мультимодальные7B · 7 ГБ VRAM
ControlNet
Изображения6 ГБ VRAM
E5 Mistral 7B
Эмбеддинги7B · 14 ГБ VRAM
Faster-Whisper Large v3
Речь6 ГБ VRAM
Kandinsky 2.1
Изображения10 ГБ VRAM
Kandinsky 2.2
Изображения10 ГБ VRAM
Mistral 7B v0.3
LLM7B · 7 ГБ VRAM
SDXL Turbo
Изображения8 ГБ VRAM
Stable Diffusion XL
Изображения8 ГБ VRAM
Whisper Large v3
Речь10 ГБ VRAM
XTTS v2
Речь4 ГБ VRAM
Stable Diffusion 1.5
Изображения4 ГБ VRAM
Whisper Medium
Речь5 ГБ VRAM
Whisper Small
Речь2 ГБ VRAM