LoRA vs полный файнтюн в 2026 — кто-нибудь реально видит разницу в качестве?

[kirill_backend]

Дообучаю Qwen2.5-7B на своём датасете инструкций (~40k примеров). Раньше делал full fine-tune, но память кончается даже на A100 80GB с длинным контекстом. Стоит ли переходить на LoRA/QLoRA или потеряю в качестве на доменных задачах?

[stacksql1977]

На 40k примерах full FT почти всегда оверфитит, если домен узкий. LoRA с rank 32-64 у меня давала практически тот же результат на бенчах, а тренируется в 3 раза дешевле.

[semyon_null56]

Подтверждаю. QLoRA 4-bit на одной A100 спокойно тянет 7B с контекстом 4k. Главное alpha не задирать, ставь alpha = 2*rank как базу и дальше тюнь.

[proxyproxy8483]

А кто-нибудь rsLoRA пробовал? Говорят на больших rank стабильнее, потому что скейлинг по sqrt(rank), а не по rank.

[cachego9376]

rsLoRA включил флагом use_rslora=True в peft, на rank 128 действительно перестало взрываться. Спасибо, попробую.

[ksenia8901]

Не забывайте, что LoRA сильно зависит от того, какие модули таргетите. Только q_proj/v_proj это вчерашний день, накидывайте все линейные слои включая gate/up/down, разница заметная.

[cloudml9635]

Плюс к этому. target_modules=all-linear в новых версиях peft делает это автоматом. На MMLU-доменном у меня +1.8 пункта только от этого.

[filipp8696]

А full FT хоть в каком случае ещё имеет смысл? Или это полностью legacy?

[german_byte]

Если меняешь поведение модели глобально (новый язык, новый формат рассуждений) full FT всё ещё лучше. Для доменной адаптации LoRA выигрывает по цене/качеству, согласен с тредом.