NVLink
Высокоскоростная межсоединительная шина NVIDIA между GPU с пропускной способностью до 900 ГБ/с.
Что такое NVLink
NVLink — проприетарная высокоскоростная шина NVIDIA для прямой связи между GPU (и GPU↔CPU в последних поколениях). В отличие от PCIe (64 ГБ/с для PCIe 5.0), NVLink обеспечивает пропускную способность в 600–900 ГБ/с, что критично для эффективного tensor parallelism при инференсе и обучении больших моделей.
Поколения
| Поколение | GPU | Пропускная способность (двунаправленная) |
|---|---|---|
| NVLink 3.0 | A100 | 600 ГБ/с |
| NVLink 4.0 | H100 SXM | 900 ГБ/с |
NVLink vs PCIe для tensor parallelism
При tensor parallelism=4 на каждом шаге слоя трансформера выполняется операция AllReduce — синхронизация активаций между всеми GPU. Объём данных: размер скрытого состояния × batch_size × количество слоёв.
| Шина | Bandwidth | AllReduce 70B @ batch=8 | Узкое место? |
|---|---|---|---|
| PCIe 4.0 | 32 ГБ/с | Да, значительно | Критично |
| PCIe 5.0 | 64 ГБ/с | Да, умеренно | Заметно |
| NVLink 4.0 | 900 ГБ/с | Нет | Не узкое место |
Разница на практике: 4× H100 SXM с NVLink дают ~3.8× ускорение против одиночного H100. 4× H100 PCIe без NVLink — ~2.5–3× из-за узкого места AllReduce.
NVSwitch
В системах DGX/HGX несколько GPU соединяются через специализированный коммутатор NVSwitch, обеспечивающий полную связность all-to-all для каждого GPU в кластере с полной NVLink-пропускной способностью.
Связанные термины
- tensor parallelism — основное применение NVLink в инференсе
- pipeline parallelism — менее зависит от NVLink
- NVIDIA H100 — GPU с NVLink 4.0
- NVIDIA A100 — GPU с NVLink 3.0
Готовы запустить GPU-задачу?
Запустить GPU-сервер