CUDA Toolkit

Что такое CUDA Toolkit

CUDA Toolkit — пакет разработчика от NVIDIA, включающий всё необходимое для написания и компиляции CUDA-приложений: компилятор nvcc, отладчик cuda-gdb, профилировщик Nsight, библиотеки (cuDNN, cuBLAS, NCCL) и заголовочные файлы.

Большинству ML-инженеров не нужно устанавливать CUDA Toolkit отдельно: PyTorch-образы Docker уже содержат все необходимые CUDA-библиотеки.

Версии и совместимость

# Проверить установленный CUDA Toolkit
nvcc --version
# nvcc: NVIDIA (R) Cuda compiler driver ... release 12.3

# Версия через nvidia-smi (версия, поддерживаемая драйвером)
nvidia-smi
# CUDA Version: 12.3  ← максимально поддерживаемая версия

# Версия CUDA, с которой скомпилирован PyTorch
python -c "import torch; print(torch.version.cuda)"  # → 12.1

Правило совместимости: PyTorch, собранный с CUDA 12.1, будет работать на системах с CUDA ≥ 12.1 (backward-compatible в рамках мажорной версии).

Установка нужной версии PyTorch

# CUDA 12.1
pip install torch --index-url https://download.pytorch.org/whl/cu121

# CUDA 11.8
pip install torch --index-url https://download.pytorch.org/whl/cu118

Docker и CUDA

# Стандартные базовые образы NVIDIA
FROM nvidia/cuda:12.3.1-cudnn9-devel-ubuntu22.04
# Включают: CUDA runtime, cuDNN, NCCL, nvcc

FROM nvcr.io/nvidia/pytorch:24.01-py3
# Включают: PyTorch, CUDA, cuDNN, Flash Attention

Связанные термины

• CUDA — платформа, реализуемая CUDA Toolkit
• cuDNN — входит в состав CUDA Toolkit
• NVIDIA Driver — нижний уровень под CUDA Toolkit
• PyTorch — использует CUDA Toolkit для GPU-вычислений