QLoRA
Дообучение больших моделей на одной видеокарте звучит как магия, пока не упрёшься в реальность. Здесь разбирают, реально ли поднять Llama 70B на единственной A100 через квантованные адаптеры или это маркетинг, и постоянно вскрывают типовой факап: зафайнтюнил Qwen на тикетах саппорта и получил лоботомита вместо помощника. Обсуждают подготовку датасета, подбор гиперпараметров, переобучение, катастрофическое забывание и почему месяц работы порой даёт модель тупее базовой. Полезно всем, кто хочет адаптировать LLM под свой домен дёшево и не наступить на чужие грабли.
4 тем, 29 ответов, 242 просмотров · все теги
- Темы
-
- Зафайнтюнил Qwen3 14B на тикетах саппорта и получил лоботомита. Вскрытие фейла
в «Локальные LLM и open-source модели» · 9 ответов · 64 просмотров · 12 июн 2026, 05:32
-
- Файнтюнил Qwen на базе тикетов через QLoRA и получил лоботомита, разбор факапа
в «Локальные LLM и open-source модели» · 4 ответов · 55 просмотров · 11 июн 2026, 02:27
-
- QLoRA на одной A100 — реально дообучить Llama 3 70B или это маркетинг?
в «Машинное обучение и Data Science» · 9 ответов · 75 просмотров · 09 июн 2026, 16:53
-
- QLoRA на 40к саппорт-тикетов: месяц работы, модель отупела. Где я облажался?
в «Локальные LLM и open-source модели» · 7 ответов · 48 просмотров · 17 май 2026, 05:34