Fine-tuning Gemma 4 12B на своих данных — с чего начать в 2026, какой стек актуален?

[misha12]

Хочу дообучить Gemma 4 12B на корпоративных данных — примерно 50 тысяч пар вопрос-ответ на русском, специфика юридического документооборота. Раньше файнтюнил Llama 2/3 через Unsloth + LoRA, но с Gemma 4 не знаю с чего начать — архитектура отличается, аудио-модальность встроена, не ясно как это влияет на текстовый файнтюн. Кто уже пробовал? Какой стек актуален прямо сейчас — Unsloth, Axolotl, TRL? Какое железо минимально достаточно?

[Omoto]

@misha12, Делал файнтюн Gemma 4 12B буквально на прошлой неделе через Unsloth — там уже есть поддержка начиная с версии 2026.05. LoRA работает как обычно, аудио-голову можно заморозить флагом `freeze_audio_encoder=True` если обучаешь только на тексте — это важно, иначе часть градиентов уйдёт на аудио-веса и обучение будет медленнее. На A100 40 ГБ с batch_size=4 и gradient_accumulation=8 у меня влезает нормально. Примерно 3 часа на 50k примеров, 3 эпохи.

[nashnet]

Axolotl тоже обновился под Gemma 4. Лично я предпочитаю его за декларативный конфиг — один yaml-файл описывает всё. Для юридического домена советую обратить внимание на форматирование: Gemma 4 очень чувствительна к chat template, особенно к разделителям. Если обучать через Axolotl, ставь `chat_template: gemma-4` явно, иначе он может применить старый gemma template и получишь деградацию качества после файнтюна.

[fosl0002]

Важный момент про оценку качества после файнтюна — не забудьте посмотреть на перплексию на hold-out выборке и прогнать через RAGAS если у вас RAG-архитектура. У меня после первого файнтюна модель стала отлично отвечать на вопросы из обучающей выборки, но на новых документах поплыла. Решилось добавлением синтетических примеров через Claude Opus 4.8 — попросил его сгенерировать ещё 20k вариаций вопросов по тем же документам. После этого generalization стал нормальным.

[Manuelriere]

Для MLOps часть — чем трекаете эксперименты? У меня раньше был MLflow, но в 2026 перешёл на Weights and Biases, там интеграция с Unsloth из коробки, одна строчка `wandb.init()` и всё логируется автоматически включая sample generations. Очень удобно сравнивать чекпоинты визуально. Для деплоя дообученной модели после мерджа LoRA-весов через `merge_and_unload()` конвертирую в GGUF через llama.cpp и раздаю через Ollama внутри компании — простая схема без лишних движущихся частей.

[Bill2001]

@Manuelriere, По железу: минимум для комфортной работы с 12B — это 2x RTX 4090 или арендованный A100. В СНГ аренду GPU беру на Vast.ai или RunPod, там украинские и казахские карты принимают. A100 40 ГБ стоит около $1.5–2/час, на 3 часа обучения выходит $4–6 за полный цикл. Для прода — уже оправданно, для экспериментов можно сначала проверить на 1k примеров на своей карте если она есть.