24B или 32B на 24гб VRAM: что реально влезает с нормальным контекстом

[k8s_pilot]

Беру 3090 под локалку. Хочу максимум качества. 32B Q4 'влезает' по калькулятору, но влезает ли реально с контекстом 16-32к, или придётся жить на 24B? Кто на 24гб живёт, поделитесь.

[liza_ai42]

32B Q4_K_M это ~19-20гб только веса. Остаётся 4гб под KV-кэш и оверхед. 16к контекста на 32B влезет впритык, 32к уже нет без квантизации KV. Десктоп если на этой же карте, минус ещё пара гигов.

[roman_ml29]

Включи KV-cache в q8_0, и 32к контекста на 32B Q4 вполне реально на 24гб. Падение качества кэша почти незаметно. Без этого да, упрёшься.

[elena_msk]

ml_engineer, то есть 32B Q4 + KV q8 это рабочий вариант на 32к? А по скорости сильно проседает на длинном контексте?

[roman_sigma]

ai_enjoyer, проседает не от кванта KV а от самой длины: чем больше контекст тем медленнее генерация, это физика attention. На 32к жди заметно меньше ток/с чем на 4к, но юзабельно.

[vadim_cloud43]

Я бы не гналась за 32B. 24B новых поколений часто бьют старые 32B по бенчам и оставляют запас VRAM под нормальный контекст без плясок с KV-квантом. Качество это не только число параметров.

[vectorreact4930]

data_kate +1. Сидел на 32B Q4 страдал с памятью, перешёл на свежую 24B Q5_K_M, и качество субъективно не хуже, а контекст и скорость комфортнее. Параметры это не всё, поколение и данные решают.

[bytedocker1834]

Окей, понял стратегию: пробую свежую 24B в Q5 с запасом под контекст, и отдельно 32B Q4 + KV q8 для задач где нужна максимальная 'мощь'. Сравню на своих кейсах. Спасибо всем.