Q4 против Q8 в GGUF - реально ли видно деградацию или это плацебо?

[elastichacker]

@tavogo, sweet spot Q5_K_M это мантра с реддита. Для чата да, для кода нет. Сравнивал на 32B coder: на Q5 начинает терять скобки и путать сигнатуры в длинных файлах, на Q6_K стабильно. Для кодинга ниже Q6 не спускаюсь, и плевать что весит на пару гигов больше.

[misha12]

@KafkaAndy, про имена колонок подтверждаю, ровно та же история на 14B. Причём temperature 0 не спасает, это именно квант сыпется, а не сэмплинг.