GPU Hardware
MIG (Multi-Instance GPU)
Технология NVIDIA для аппаратного разделения одного GPU на изолированные экземпляры.
Что такое MIG
MIG (Multi-Instance GPU) — технология NVIDIA, позволяющая разделить один физический GPU A100 или H100 на до 7 полностью изолированных экземпляров. Каждый экземпляр имеет выделенные: SM (Streaming Multiprocessors), VRAM, пропускную способность памяти и кеши — изоляция аппаратная, а не программная.
Это позволяет предоставлять гарантированные ресурсы разным задачам или пользователям без конкуренции.
Конфигурации для A100 80GB
| Профиль | VRAM | Число экземпляров | Применение |
|---|---|---|---|
| 1g.10gb | 10 ГБ | до 7 | Эксперименты, маленькие модели |
| 2g.20gb | 20 ГБ | до 3 | Модели 7B с квантизацией |
| 3g.40gb | 40 ГБ | до 2 | Модели 13B |
| 7g.80gb | 80 ГБ | 1 | Полный GPU |
Управление MIG
# Включить MIG-режим
sudo nvidia-smi -i 0 --mig-mode=1
# Создать 7 экземпляров по 10 ГБ
sudo nvidia-smi mig -cgi 19,19,19,19,19,19,19 -C
# Список экземпляров
nvidia-smi -L
# → GPU 0: A100 80GB (MIG 1g.10gb Device 0)
# → GPU 0: A100 80GB (MIG 1g.10gb Device 1) ...
# Запустить vLLM в конкретном MIG-экземпляре
CUDA_VISIBLE_DEVICES=MIG-UUID docker run ...
Когда использовать MIG
- Облачный сервис — предоставление изолированных GPU разным пользователям на одном A100
- Разные модели — 7 маленьких задач инференса на одном GPU
- CI/CD — тестирование ML-кода на выделенном экземпляре
MIG недоступен на RTX/Quadro картах и не поддерживается для обучения на нескольких экземплярах одновременно (экземпляры изолированы).
Связанные термины
- NVIDIA A100 — основной GPU с поддержкой MIG
- NVIDIA H100 — также поддерживает MIG
- VRAM — ресурс, разделяемый MIG
Готовы запустить GPU-задачу?
Запустить GPU-сервер