Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Рейтинг: 48.7% · 7 голосов
Запуск больших языковых моделей локально: Llama, Mistral, Qwen, DeepSeek, Gemma. Квантизация GGUF, Ollama, llama.cpp, vLLM, LM Studio, выбор GPU и оптимизация инференса.
Ответить
Аватара пользователя
nakamudr
Сообщения: 18
Зарегистрирован: 22 май 2026, 05:28

Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение nakamudr »

Сидел вчера с калькулятором и решил честно посчитать, во что мне обходится локалка.

Дано: риг на двух бу 3090, брал в сумме за 175к год назад. Под нагрузкой жрет 750 ватт, у меня 6.2 руб за квтч, по счетчику выходит около 1200 руб в месяц вместе с простоем. Кручу в основном 70B и Qwen3-32B, расход 1.5-2 млн токенов в день, кодинг и личные проекты.

Теперь API: дипсик сейчас 0.28 бакса за млн входных и 0.42 за выходные, с кэшем еще дешевле. Мои объемы это около сотни баксов В ГОД. Амортизация рига против этого даже не смешная: 175к железа плюс электричество плюс мой вечер на каждое обновление llama.cpp.

Вывод, который мне не нравится: при моих объемах локалка не окупится никогда. Держу ради приватности кода и потому что нравится копаться. Но когда мне тут в очередной раз напишут 'выгодно', я хочу видеть табличку.

Разубедите, реально интересно, где я ошибся в расчете.
👍1 ❤️1 🔥 😄 🤔
✔ Лучший ответ сформирован автоматически — boblee
nakamudr писал(а):при моих объемах локалка не окупится никогда ключевое слово при моих. 2 млн токенов в день это правда смешно. у меня пайплайн синтетики и разметки молотит 40-50 млн в сутки, батчами, ночью. по API это было бы 80-100к рублей в месяц даже на дешевом дипсике, риг отбился за полгода. локалка окупается не чатиками, а конвейером: синтетика, эмбеддинги, классификация, переразметка дата…
Перейти к ответу →
Аватара пользователя
marianna
Сообщения: 70
Зарегистрирован: 11 май 2026, 11:23

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение marianna »

нигде не ошибся. продавай 3090, пока они опять не подорожали, и не возвращайся
👍 ❤️ 🔥1 😄 🤔
Аватара пользователя
timur12
Сообщения: 30
Зарегистрирован: 13 май 2026, 01:35

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение timur12 »

считать хобби-риг деньгами это как считать рыбалку по цене рыбы в пятерочке. удочка, лодка, бензин, и все ради судака за 300 рублей кило. никто не покупает две 3090 ради экономии, не надо натягивать сову
👍1 ❤️1 🔥 😄 🤔
Аватара пользователя
boblee
Сообщения: 42
Зарегистрирован: 11 май 2026, 11:59

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение boblee »

✔ Лучший ответ — сформирован автоматически
nakamudr писал(а):при моих объемах локалка не окупится никогда
ключевое слово при моих. 2 млн токенов в день это правда смешно. у меня пайплайн синтетики и разметки молотит 40-50 млн в сутки, батчами, ночью. по API это было бы 80-100к рублей в месяц даже на дешевом дипсике, риг отбился за полгода. локалка окупается не чатиками, а конвейером: синтетика, эмбеддинги, классификация, переразметка датасетов. нет конвейера, тогда да, API дешевле, тут спорить не с чем
👍1 ❤️ 🔥 😄1 🤔2
Аватара пользователя
depechie
Сообщения: 67
Зарегистрирован: 11 май 2026, 11:32

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение depechie »

в табличке не хватает строчки как платить. напрямую российской картой ни openai, ни anthropic не оплатишь, посредники берут 15-25% сверху, карта казахского банка это поездка и заморочки. дипсик да, дешевый и оплачивается проще, но завтра он поднимет цены или начнет резать лимиты, и твоя экономика поедет. локалка это не про цену токена, а про то, что никто не выключит рубильник
👍1 ❤️2 🔥 😄 🤔
Аватара пользователя
torch22
Сообщения: 43
Зарегистрирован: 11 май 2026, 20:50

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение torch22 »

depechie писал(а):завтра он поднимет цены или начнет резать лимиты
этой страшилке три года, а цены на API за это время упали раз в десять. конкуренция дикая, опенсорс веса лежат в открытую, на них десяток хостеров, любой оплачивается криптой за пять минут. рубильник в 2026 уже не аргумент. аргумент только приватность и регуляторка, вот за NDA-код в чужое облако реально можно огрести, тут локалке альтернатив нет
👍 ❤️ 🔥 😄1 🤔
Аватара пользователя
juniorstack
Сообщения: 62
Зарегистрирован: 12 май 2026, 12:04

Re: Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите

Сообщение juniorstack »

обе стороны правы, задачи просто разные. у меня так: локалка на одной 3090 крутит мелочь круглосуточно, автокомплит, коммит-месседжи, разбор логов, тысячи запросов, где лень считать копейки и куда сливать код не хочется. сложное уходит в API. и вход в локалку, кстати, не 175к, одна бу 3090 за 55к закрывает 90% бытовых сценариев. табличка ТС честная, просто она про чужой юзкейс
👍1 ❤️ 🔥 😄 🤔
Ответить
Поделиться темой: ✈ Telegram VK

Вернуться в «Локальные LLM и open-source модели»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость