Какую видеокарту брать под локальные LLM в 2026, 3090 бу или новая 5070 Ti

[cronk]

Собираю комнатный сервер под 27-32B модели в 4 битах, бюджет до 100к, и завис между бу 3090 на 24 гб и новой 5070 Ti на 16. Что реально лучше для инференса в llama.cpp, контекст хочу хотя бы 16к, иногда 32. По токенам 5070 быстрее на бумаге, но 16 гб упирается, на 3090 влезает Qwen 32B q4 целиком плюс контекст. Кто на чем сидит, что посоветуете под такие задачи.

[lfmatt]

@cronk, бери 3090 и не думай. 24 гб решают, 16 это боль, на 32B будешь оффлоадить слои в озу и плакать

[radiomaker]

@cronk, @автор у меня две 3090 в связке, 70B q4 крутится на 15-17 ток/с через vllm с tensor parallel. одна 3090 тянет 32B q4 спокойно, контекст 32к влезает если kv-кэш в q8. брал прошлым летом по 55к за штуку с авито, сейчас ближе к 60-65 просят, мониторь объявы там разброс дикий. из подводных: проверяй термопрокладки на памяти, у майнерских часто деградировали, я перебирал обе, температуры памяти были под 100 пока не поменял. блок бери минимум 850 ватт если одна карта, на две уже 1200 с запасом. и корпус с продувом, эти кирпичи греются будь здоров

[omnicrom]

16 это боль

не везде боль. под 7-14B моделей 16 гб с головой, и 5070 их жрёт быстрее 3090 заметно. вопрос что человек крутить собрался, а не абстрактное больше вмрам лучше

[k8s_master]

серьёзно ещё про 3090 спрашивают в 26 году) ну тема вечная видимо

[darthb]

70B q4 крутится на 15-17 ток/с

вот это по делу написано, спасибо. а на одной 3090 32B какой prompt processing? у меня на длинном контексте 16к именно префилл тормозит, генерация норм

[theopal]

если не игры то посмотри ещё в сторону mi50 32гб с алиэкспресса, их сейчас задёшево скидывают, 15-18к за 32 гига вмрам звучит вкусно. минус роком ад и дрова пляски, под llama.cpp заводится но не для слабонервных

[tollie]

@mi50 чувак не советуй людям это, я купился, два дня бубна с вулкан бэкендом, скорость как у дохлой 3060, продал. для нервных только нвидиа

[pandas4]

@darthb, по prompt processing на одиночной 3090 у меня qwen 32B q4_k_m даёт где-то 600-700 ток/с префилл на пустом контексте, ближе к 16к падает до 300-350. генерация 28-32 ток/с на коротком, на забитом контексте 20-22. так что 16к юзабельно, 32к уже задумчиво но терпимо. для кода и переписки норм, для агентских циклов с большим контекстом начинает раздражать ожидание