Влезет ли 32B модель в 24 ГБ VRAM или я зря купил 3090?

[ch5237]

Взял б/у 3090 на 24 гига специально под локальный инференс. Хочу гонять Qwen2.5 32B, но не уверен, что влезет в VRAM без жёсткой потери качества. Какую квантизацию реально брать — Q4_K_M ещё нормально или уже мыло? И сколько контекста останется при такой модели?

Кто реально запускал 32B на одной 3090 — какие token/s в llama.cpp/vLLM и не упирается ли в OOM на длинном контексте? Или зря потратился и надо было сразу смотреть в сторону двух карт?

[infern]

32B в Q4_K_M это примерно 19-20 ГБ весов, плюс KV-кэш. На 24 ГБ влезает спокойно, но контекст держи в районе 8-12к, иначе упрёшься. У меня на 3090 Qwen2.5-32B-Instruct Q4_K_M идёт стабильно ~30 t/s.

[kube6]

О, про flash attention не знал, спасибо. А KV-кэш в Q8 квантовать стоит или качество просядет?

[Omoto]

KV в Q8 практически не заметно по качеству, экономит прилично. Я даже Q4 кэш гонял на больших контекстах - на суммаризации норм, на коде уже начинает тупить. Так что Q8 кэш - золотая середина.

[causious]

Не зря купил, 3090 до сих пор лучший вариант цена/VRAM на вторичке. 4090 быстрее, но за те же деньги ты бы взял одну вместо двух 3090. А две 3090 это уже 48 гигов и 70B в Q4 шевелится.

[svelteandy]

Две 3090 пока не потяну по БП и корпусу, но мысль здравая. Пока остановлюсь на одной, спасибо всем за конкретику!

[pharside]

Qwen2.5 32B в Q4_K_M весит примерно 19-20 ГБ — в 24 ГБ VRAM влезает, но впритык. В llama.cpp на одной 3090 получается около 18-22 tok/s на генерацию при контексте до 8k. Как только контекст растёт к 16k, KV-кэш начинает давить и можно словить OOM. Запускай с флагом --n-gpu-layers 99 --ctx-size 8192 для начала, потом смотри на nvidia-smi — если VRAM остаётся хотя бы 1-1.5 ГБ свободным, можно поднимать контекст до 12k.

[sainty]

Q4_K_M vs Q5_K_M на 32B — на одной 3090 Q4_K_M является лучшим компромиссом: Q5_K_M уже около 22-23 ГБ и при контексте больше 4k начнётся выгрузка на CPU, что убьёт скорость до 3-5 tok/s. Качество Q4_K_M на моделях 32B+ деградирует заметно меньше, чем на 7B, потому что больше параметров компенсируют потери квантизации. IQ4_XS как вариант — чуть меньше весит при похожем качестве, стоит попробовать.

[k8s_master]

vLLM на одиночной 3090 для 32B смысла мало — vLLM оптимизирован под батчевый инференс и хорошо работает когда много параллельных запросов. Для локального одиночного использования llama.cpp или Ollama (который под капотом llama.cpp) дают сопоставимую или лучшую скорость при меньшем потреблении памяти. Если планируешь серверный режим с несколькими пользователями — тогда да, смотри на vLLM, но тогда и 3090 одна будет узким местом.

[qcdeed]

@k8s_master, к твоему раскладу добавлю exllamav2: для одиночного пользователя на 3090 exl2 в 4.0bpw даёт ощутимо больше ток/с, чем llama.cpp с GGUF, плюс свой квантованный кэш. Минусы — конвертированных моделей меньше и CPU-offload отсутствует, так что это вариант только когда модель гарантированно влезает целиком. Но 32B на 24 ГБ — ровно этот случай.