PCIe
Стандарт шины для подключения GPU к серверу; ограничивает скорость multi-GPU коммуникации.
Что такое PCIe
PCIe (Peripheral Component Interconnect Express) — стандарт шины для подключения карт расширения (GPU, NVMe SSD) к материнской плате. В серверах это основной интерфейс передачи данных между CPU и GPU.
Для одиночного GPU PCIe обычно не является узким местом: данные на GPU загружаются один раз, а все вычисления происходят в VRAM. Проблемы возникают в multi-GPU конфигурациях без NVLink, где GPU вынуждены обмениваться данными через PCIe-коммутатор.
Поколения и пропускная способность
| Поколение | Пропускная способность (×16 lanes) | Двунаправленная |
|---|---|---|
| PCIe 3.0 | 16 ГБ/с | 32 ГБ/с |
| PCIe 4.0 | 32 ГБ/с | 64 ГБ/с |
| PCIe 5.0 | 64 ГБ/с | 128 ГБ/с |
Для сравнения: NVLink 4.0 (H100) — 900 ГБ/с двунаправленно.
PCIe vs NVLink для multi-GPU
При tensor parallelism=4 через PCIe 4.0:
- AllReduce для batched 70B-инференса: 40–60% overhead от полезной работы
- Эффективное ускорение: 4× GPU дают ~2.5–3× из-за коммуникационного узкого места
При tensor parallelism=4 через NVLink 4.0:
- AllReduce overhead: <5%
- Эффективное ускорение: ~3.8×
Вывод: для серьёзного multi-GPU инференса/обучения важно выбирать инстансы с NVLink (SXM-форм-фактор).
H100 PCIe vs H100 SXM
H100 поставляется в двух форм-факторах. PCIe-версия дешевле, но без NVLink:
- H100 SXM (в DGX/HGX): NVLink 4.0 + HBM3 (3350 ГБ/с)
- H100 PCIe: PCIe 5.0 + HBM2e (2000 ГБ/с)
Связанные термины
- NVLink — высокоскоростная альтернатива PCIe для multi-GPU
- tensor parallelism — страдает от PCIe-узкого места
- GPU — устройство, подключаемое через PCIe
Готовы запустить GPU-задачу?
Запустить GPU-сервер