Unsloth Studio

Ускоренный fine-tuning LLM — до 2× быстрее и 60% меньше VRAM по сравнению с HuggingFace.

Обучение LLM Linux от 16 ГБ VRAM

Для кого

ML-инженеры, которым нужен быстрый fine-tuning LLM с визуальным интерфейсом и оптимизацией использования VRAM.

Что внутри

  • Unsloth Studio — веб-интерфейс для fine-tuning LLM
  • Оптимизированные ядра — до 2× ускорение и 60% экономия VRAM
  • Поддержка Llama, Mistral, Qwen, Phi и других архитектур
  • Tensorboard для мониторинга обучения

Как начать

  1. Запустите инстанс с этим шаблоном
  2. Откройте Unsloth Studio на порту 8888
  3. Выберите модель, загрузите датасет и запустите обучение через интерфейс

Рекомендации по GPU

  • 16 ГБ VRAM — QLoRA для моделей 7B–8B
  • 24 ГБ VRAM (RTX 4090) — QLoRA для моделей до 34B
  • 80 ГБ VRAM (A100 80GB) — LoRA для крупных моделей

Предустановленное ПО

Ubuntu 22.04 CUDA 12.9 Unsloth Studio 0.1 PyTorch Python 3.12

Рекомендуемые GPU

Подробное руководство: читать в разделе «Решения» →

Готовы запустить Unsloth Studio?

Запустить GPU-сервер