Какую квантизацию GGUF выбрать в 2026 — Q4_K_M уже не универсальный ответ?

[tcpmaker]

Долго считал Q4_K_M золотым стандартом — компромисс между размером и качеством. Но последнее время вижу всё больше мнений что для моделей 7-14B Q5_K_M или даже Q6_K становится предпочтительнее. Разница в VRAM 1-2GB, а качество заметно выше. Как вы сейчас выбираете квантизацию? Есть какая-то актуальная таблица потерь?

[thumper416]

Q4_K_M по-прежнему норм для большинства задач, но тут важно какая модель. Для Gemma 4 26B разница между Q4 и Q5 минимальная — Google изначально обучали с QAT (quantization-aware training), модель устойчива к квантизации. А вот для Qwen3.6 27B dense разница между Q4_K_M и Q5_K_M на кодинге ощутимая, особенно на длинных функциях.

[infern]

Вот моя эмпирика после тестирования на русскоязычных задачах (рерайтинг, саммаризация, вопрос-ответ по тексту):
- Q2_K — заметная деградация, путается в склонениях, теряет смысл
- Q3_K_M — терпимо для простых задач, но иногда «плывёт»
- Q4_K_M — рабочий минимум для серьёзного использования
- Q5_K_M — практически неотличимо от FP16 на большинстве задач
- Q6_K — смысл только если VRAM позволяет и нужна максимальная воспроизводимость
- Q8_0 — скорее для тестирования, почти полный размер

Для повседневки рекомендую Q5_K_M если влезает, Q4_K_M если не влезает.

[spark_pro]

Unsloth выпустили свои IQ-квантизации (IQ4_NL, IQ3_S и т.д.) которые при том же размере дают меньше деградации чем стандартные K-квантизации llama.cpp. Для Qwen3 особенно заметно. Ищите на HuggingFace репозитории bartowski или unsloth — там обычно есть несколько вариантов.

[thumper416]

Ещё важный фактор — Flash Attention. С --flash-attn в llama.cpp можно запустить модель с бОльшим контекстом при той же VRAM. Иногда выгоднее взять Q5_K_M + flash attention чем Q4_K_M без него — и качество лучше, и контекст влезает.

[Manuelriere]

Для тех кто на Ryzen AI или Intel Arc — там своя история. IQ-квантизации могут не поддерживаться, приходится сидеть на стандартных GGUF. Проверяйте совместимость прежде чем качать экзотику с huggingface.

[svelte42]

@thumper416, про QAT у Gemma — важное уточнение. Проверял на своих задачах: Gemma 3 27B Q4_K_M держит качество на уровне Q6_K в математике и коде, разница в пределах шума. А вот Mistral-архитектурные модели и старые Llama-3 квантуются намного болезненнее — Q4 там ощутимо хуже Q5 именно на длинных рассуждениях. Поэтому универсальной таблицы нет, нужно смотреть по семейству модели.

[pandas4]

По практике: для задач с длинным контекстом (16k+) деградация от квантизации нарастает непропорционально — модель в Q4 на 2k токенах ещё вполне, а на 12k уже начинает терять нить рассуждения. Это связано с тем как квантизация влияет на attention в дальних позициях. Если работаете с длинными документами или кодовыми базами, Q5_K_M это не роскошь а необходимость, даже если на коротких промптах разницы не видите.

[Vthors22]

@spark_pro, про Flash Attention — добавлю что с `--flash-attn` в llama.cpp ещё важен флаг `--ctx-size`: без явного указания модель может выделить меньше чем ожидаешь. Команда вида `llama-server -m model.gguf -c 32768 --flash-attn -ngl 99` даёт контроль. И ещё момент: FA работает только когда веса полностью на GPU (`-ngl 99` или максимум слоёв), при CPU offload не включается и просто молча игнорируется — трать время не в то место.