Файнтюн qwen2.5 на своих данных через LoRA, вылезает катастрофическое забывание

[catbert1]

Дообучаю qwen2.5-7b через LoRA на корпусе внутренней документации (около 40к примеров инструкций), и модель начала тупить на общих вопросах, которые до этого отвечала нормально. На домене стало лучше, но базовая логика и арифметика просели заметно. Конфиг: r=64, alpha=128, lr 2e-4, 3 эпохи, unsloth на 4090. Подскажите, это классическое катастрофическое забывание или я просто перекрутил? Как балансят домен и базу в 2026.

[tvictor10]

@catbert1, 3 эпохи на 40к с lr 2e-4 это ты модель в фарш перемолол. начни с 1 эпохи и lr 1e-4, alpha=r вообще а не x2

[CephMaster]

r=64 alpha=128 для 7b это перебор по емкости адаптера, ты по сути половину модели переучиваешь. на доменной доке обычно хватает r=16 alpha=32. и да забывание у тебя именно от того что adapter жрет слишком много, плюс 3 эпохи добивают.

по балансу домена и базы рабочая схема такая. подмешай в трейн 10-20% общих инструкций из чего-нибудь типа saiga или открытого ru-набора, чтобы модель не уезжала в один домен. это самый дешевый способ против forgetting, дешевле всякого EWC и rehearsal.

дальше. lr 2e-4 норм только для очень коротких прогонов, у тебя при 3 эпохах эффективная доза огромная. поставь cosine со warmup 3% и lr 1e-4.

и метрику забывания мерь явно. собери holdout из 200 общих вопросов которые модель решала до файнтюна, гоняй после каждой эпохи. как только просадка больше 5% стоп. без этого ты вслепую крутишь.

[go4]

подмешай в трейн 10-20% общих инструкций из чего-нибудь типа saiga

плюсую, у меня ровно это спасло. подмешал 15% saiga2 и базовые бенчи перестали валиться. без подмеса на 2 эпохе уже деменция начиналась

[zfs_kun]

а зачем вообще лора если у тебя 40к примеров и забывание мешает. возьми RAG поверх инструкта и не майся. доку в векторку, retrieval, и базовые скиллы целые остаются по определению

[coder_vasya]

@Гость, потому что RAG не учит модель формату ответов и тону, он только факты подкидывает. если задача в стиле и структуре, ретривал не вывозит. это разные инструменты под разные задачи, не надо все в один RAG сводить

[dennisdd]

@CephMaster, короче confirmed что alpha=2*r это карго культ из старых туторов. на 7b беру r=16 alpha=16 и норм

[basedgoblin]

unsloth на 4090 кстати маску лосса на промпт ставишь? если учишь и на инструкции и на ответе то домен переедет базу гораздо быстрее. train_on_responses_only там есть, включи. многие забывают и потом удивляются забыванию