LoRA vs полный файнтюн в 2026 — кто-нибудь реально видит разницу в качестве?

[Bill2001]

@alansmit, full FT ещё имеет смысл если у тебя задача continual pre-training — то есть ты не адаптируешь инструкционную модель, а продолжаешь предобучение на доменном корпусе (код на специфичном DSL, узкоспециализированные научные тексты). LoRA там плохо сходится именно потому что надо менять токенные эмбеддинги и нижние слои, которые LoRA почти не трогает даже с all-linear.

[alansmit]

Про QLoRA на A100: если контекст длиннее 4k и датасет большой — смотрите на gradient checkpointing + packing последовательностей (DataCollatorForSeq2Seq с padding=False). Без packing при длинных примерах вы тратите 60-70% пакетного времени на паддинг, и эффективный batch size получается крошечным. С packing тот же A100 80GB у меня давал в 2.5 раза больше токенов за шаг при обучении Qwen2.5-7B на 8k контексте.