пропускная способность памяти GPU

Что такое пропускная способность памяти GPU

Пропускная способность памяти (memory bandwidth) GPU — максимальная скорость чтения/записи данных между VRAM и вычислительными ядрами. Измеряется в ГБ/с.

Для задач машинного обучения это критический параметр, потому что многие операции — прежде всего decode-фаза инференса — являются memory-bound: GPU тратит большую часть времени не на вычисления, а на ожидание данных из памяти.

Значения для основных GPU

Влияние на decode-скорость LLM

При decode batch_size=1 GPU должен прочитать все веса модели на каждый токен. Для модели 70B BF16 (~140 ГБ):

(Реальный TPS выше теоретического из-за оптимизаций и overlapping вычислений.)

Arithmetic Intensity

Операции можно классифицировать по arithmetic intensity (FLOP/байт):

• Memory-bound (intensity < ridge point): ограничены bandwidth
• Compute-bound (intensity > ridge point): ограничены TFLOPS

Decode LLM при small batch: ~1 FLOP/байт → строго memory-bound.
Prefill LLM при large batch: ~100+ FLOP/байт → compute-bound.

Связанные термины

• HBM — тип памяти с максимальной пропускной способностью
• GDDR6 — тип памяти потребительских GPU
• TPOT и tokens per second — метрики, зависящие от bandwidth
• decode — memory-bound фаза инференса