Axolotl

Для кого

ML-инженеры и исследователи, которые хотят дообучить LLM (Llama, Qwen, Mistral и др.) на своих данных с минимальной настройкой.

Что внутри

• Axolotl — фреймворк для fine-tuning с поддержкой LoRA, QLoRA, full fine-tune и DPO
• Готовые YAML-конфиги для популярных моделей
• DeepSpeed, FSDP для multi-GPU обучения
• Jupyter для экспериментов и мониторинга

Как начать

1. Запустите инстанс с этим шаблоном (рекомендуется 200+ ГБ диска)
2. Подготовьте датасет в формате alpaca, sharegpt или completion
3. Отредактируйте YAML-конфиг и запустите accelerate launch -m axolotl.cli.train config.yml

Рекомендации по GPU

• 24 ГБ VRAM (RTX 4090) — QLoRA для моделей до 13B
• 80 ГБ VRAM (A100 80GB) — LoRA/full fine-tune для 13B–34B
• 2–4× H100 — обучение моделей 70B+