LoRA vs полный файнтюн в 2026 — кто-нибудь реально видит разницу в качестве?

[lentyaj]

Дообучаю Qwen2.5-7B на своём датасете инструкций (~40k примеров). Раньше делал full fine-tune, но память кончается даже на A100 80GB с длинным контекстом. Стоит ли переходить на LoRA/QLoRA или потеряю в качестве на доменных задачах?

[misha12]

На 40k примерах full FT почти всегда оверфитит, если домен узкий. LoRA с rank 32-64 у меня давала практически тот же результат на бенчах, а тренируется в 3 раза дешевле.

[Bill2001]

Подтверждаю. QLoRA 4-bit на одной A100 спокойно тянет 7B с контекстом 4k. Главное alpha не задирать, ставь alpha = 2*rank как базу и дальше тюнь.

[k8s_master]

А кто-нибудь rsLoRA пробовал? Говорят на больших rank стабильнее, потому что скейлинг по sqrt(rank), а не по rank.

[fosl0002]

rsLoRA включил флагом use_rslora=True в peft, на rank 128 действительно перестало взрываться. Спасибо, попробую.

[cmout098]

Не забывайте, что LoRA сильно зависит от того, какие модули таргетите. Только q_proj/v_proj это вчерашний день, накидывайте все линейные слои включая gate/up/down, разница заметная.

[vuemaker]

Плюс к этому. target_modules=all-linear в новых версиях peft делает это автоматом. На MMLU-доменном у меня +1.8 пункта только от этого.

[alansmit]

А full FT хоть в каком случае ещё имеет смысл? Или это полностью legacy?

[envoy69]

Если меняешь поведение модели глобально (новый язык, новый формат рассуждений) full FT всё ещё лучше. Для доменной адаптации LoRA выигрывает по цене/качеству, согласен с тредом.

[thumper416]

@fosl0002, про target_modules — это реально недооценённый момент. Я дополнительно всегда смотрю на gradient flow через хуки при первом прогоне: если какой-то слой получает нулевые градиенты — он в любом случае не обучается, и LoRA на нём бессмысленна. На Qwen2.5 оказалось что gate_proj в нижних слоях почти не двигается, зато up/down в средних дают основной вклад. После ручного отбора модулей получил +0.9 на своём домене при той же ranks.