Ampere 2020

A100 PCIe 40GB

40 ГБ HBM2 · 312 FP16 TFLOPS · 250 Вт TDP

40 ГБ

VRAM

312

FP16 TFLOPS

1555

ГБ/с bandwidth

900

tok/s Llama 8B

Технические характеристики

Архитектура
Ampere
Поколение
2020
Form factor
PCIe
VRAM
40 ГБ HBM2
VRAM bandwidth
1555 ГБ/с
CUDA-ядра
6 912
Tensor cores
3rd Gen
FP32 TFLOPS
19.5
FP16 TFLOPS
312
BF16 TFLOPS
312
INT8 TOPS
624
TDP
250 Вт
NVLink
Нет
PCIe Gen
Gen 4
ECC память
Да
MIG
Да (до 7 инстансов)

AI/ML бенчмарки

Tokens per second — выше лучше. Значения приблизительные, зависят от конфигурации сервера.

Llama 3.1 8B · FP16900 tok/s

Типичное применение

Обучение моделей LLM Инференс

Multi-GPU конфигурации

1×

40 ГБ суммарно

2×

80 ГБ суммарно

4×

160 ГБ суммарно

8×

320 ГБ суммарно

Модели для A100 PCIe 40GB

Все модели →

DeepSeek R1 14B

LLM

14B · 14 ГБ VRAM

DeepSeek R1 32B

LLM

32B · 32 ГБ VRAM

DeepSeek R1 70B

LLM

70B · 70 ГБ VRAM

Gemma 3 12B

LLM

12B · 12 ГБ VRAM

Gemma 3 27B

LLM

27B · 27 ГБ VRAM

GLM-4 32B

LLM

32B · 32 ГБ VRAM

GLM-4 9B

LLM

9B · 9 ГБ VRAM

Kandinsky 5.0 Image Lite

Изображения

6B · 24 ГБ VRAM

Kandinsky 5.0 Video Lite

video

2B · 24 ГБ VRAM

Kandinsky 5.0 Video Pro

video

19B · 48 ГБ VRAM

Llama 4 Scout

LLM

109B · 110 ГБ VRAM

Mistral Small 3.1

LLM

24B · 24 ГБ VRAM

Qwen3 14B

LLM

14B · 14 ГБ VRAM

Qwen3 30B-A3B

LLM

30B · 30 ГБ VRAM

Qwen3 32B

LLM

32B · 32 ГБ VRAM

Qwen3 8B

LLM

8B · 8 ГБ VRAM

QwQ 32B

LLM

32B · 32 ГБ VRAM

Codestral 22B

LLM

22B · 22 ГБ VRAM

Flux.1 Dev

Изображения

24 ГБ VRAM

Flux.1 Schnell

Изображения

24 ГБ VRAM

Gemma 2 27B

LLM

27B · 27 ГБ VRAM

Gemma 2 9B

LLM

9B · 9 ГБ VRAM

Kandinsky 3.1

Изображения

16 ГБ VRAM

Llama 3.1 70B

LLM

70B · 70 ГБ VRAM

Llama 3.1 8B

LLM

8B · 8 ГБ VRAM

Llama 3.3 70B

LLM

70B · 70 ГБ VRAM

LLaVA 1.6 34B

Мультимодальные

34B · 34 ГБ VRAM

NV-Embed v2

Эмбеддинги

7B · 16 ГБ VRAM

OLMo 2 13B

LLM

13B · 13 ГБ VRAM

Phi-3 Medium 14B

LLM

14B · 14 ГБ VRAM

Phi-4 14B

LLM

14B · 14 ГБ VRAM

Pixtral 12B

Мультимодальные

12B · 12 ГБ VRAM

Qwen 2.5 14B

LLM

14B · 14 ГБ VRAM

Qwen 2.5 32B

LLM

32B · 32 ГБ VRAM

Qwen 2.5 72B

LLM

72B · 72 ГБ VRAM

Qwen 2.5 Coder 32B

LLM

32B · 32 ГБ VRAM

Qwen2-VL 72B

Мультимодальные

72B · 72 ГБ VRAM

Stable Diffusion 3.5 Large

Изображения

16 ГБ VRAM

StarCoder2 15B

LLM

15B · 15 ГБ VRAM

Yi 1.5 34B

LLM

34B · 34 ГБ VRAM

CodeLlama 34B

LLM

34B · 34 ГБ VRAM

Mistral 7B v0.3

LLM

7B · 7 ГБ VRAM

Mixtral 8×7B

LLM

47B · 45 ГБ VRAM

Stable Diffusion XL

Изображения

8 ГБ VRAM

Whisper Large v3

Речь

10 ГБ VRAM

Другие GPU на Ampere

A100 SXM 80GB

80 ГБ · HBM2e

312 FP16T

A100 PCIe 80GB

80 ГБ · HBM2e

312 FP16T

A30

24 ГБ · HBM2

165 FP16T

RTX A6000

48 ГБ · GDDR6

77.4 FP16T

Сравнить A100 PCIe 40GB с: vs A100 SXM 80GB vs A100 PCIe 80GB vs A30 vs RTX A6000 Все сравнения →
Уточнить наличие ← Все GPU