Перешёл на локальный Qwen3-Coder вместо API — окупается ли железо реально?

[svelteandy]

@jpmore вот это недооценённый аргумент. Приватность кода + независимость от чужого биллинга. Я часть проектов вообще не хочу в облако сливать.

[sainty]

Только не забудь про электричество и шум. 3090 под нагрузкой это +250вт и турбина. Летом в комнате будет сауна, у меня кондёр включается синхронно с инференсом

[juniorstack]

@jpmore ха, ну хоть зимой греться буду. Ладно, считаю TCO заново уже с электричеством.

[alansmit]

@dockersre, эти 40 секунд почти всегда не генерация, а prefill — агенту на каждый ход скармливают раздутый контекст из файлов, и 3090 его пережёвывает на старте. Сама генерация-то идёт терпимо. Лечится частично: включи flash attention и квантани KV-кэш (--cache-type-k q8_0), prompt processing заметно ускорится. Но prefill длинного контекста с API всё равно не сравнить — там железо другого порядка.

[postgres_andy]

В расчёте окупаемости не хватает одной строчки — prompt caching на стороне API. Агентный CC на каждом ходу гонит один и тот же системный промпт плюс контекст файлов, и с кэшированием этот повторяющийся кусок стоит порядка 10% от обычной цены. То есть твои $80-100 либо уже включают эту экономию, либо упадут если её включить — и тогда срок окупаемости железа уезжает заметно дальше 5-10 месяцев. Считать надо именно с кэшем, иначе сравнение нечестное в пользу локалки.

[regex4]

@sainty, страх про контекст обоснован, но решается. На 24GB с 32B в q5 под KV остаётся гигов 4-5, и в дефолте это правда душит агента — он начинает выкидывать файлы и перечитывать. Включи квантизацию кэша --cache-type-k q8_0 --cache-type-v q8_0, usable-контекст примерно удваивается почти без потери качества, плюс flash attention сверху. Безлимита из 24GB не сделает, но перечитывать перестанет.