GDDR6
Тип видеопамяти потребительских и ряда серверных GPU, более доступный аналог HBM.
Что такое GDDR6
GDDR6 (Graphics Double Data Rate 6) — тип DRAM-памяти, используемый в потребительских и некоторых серверных GPU. Чипы GDDR6/GDDR6X размещаются непосредственно на плате видеокарты рядом с GPU и соединяются с ним через 256–384-битную шину.
GDDR6X — усовершенствованная версия с PAM4-модуляцией, позволяющая передавать 2 бита за такт. Используется в RTX 4090 и достигает 1008 ГБ/с.
GDDR6 vs HBM
| GDDR6X (RTX 4090) | HBM3 (H100) | |
|---|---|---|
| Пропускная способность | 1008 ГБ/с | 3350 ГБ/с |
| Объём | 24 ГБ | 80 ГБ |
| Физическое расположение | На PCB | 2.5D на подложке |
| Стоимость производства | Ниже | Значительно выше |
| Применение | Потребительские GPU, L40S | Серверные GPU |
Практическое значение
GDDR6X RTX 4090 с 1008 ГБ/с достаточно для эффективного инференса 7B–13B моделей: скорость decode при batch_size=1 составляет 80–120 токенов/с. Для 70B+ модели узкое место по памяти становится критичным, и серверные GPU с HBM дают значительный выигрыш.
L40S с 48 ГБ GDDR6 (864 ГБ/с) — компромисс: больше VRAM, чем RTX 4090, но медленнее A100 с HBM2e.
Связанные термины
- HBM — альтернативный тип памяти серверных GPU
- VRAM — общее понятие для GPU-памяти
- NVIDIA RTX 4090 — GPU с GDDR6X
- NVIDIA L40S — серверный GPU с GDDR6
Готовы запустить GPU-задачу?
Запустить GPU-сервер