Посчитал почем выходит локалка против API и чет приуныл

[seniorwarlock]

сел вчера с калькулятором. сервер: 2x3090 с авито по 62к = 124к, эпик 7302 + мать + 128 ддр4 еще 70к, бп на 1200вт 15к. итого 210к разово. под нагрузкой жрет 800вт, у меня 6.5р за квтч, при 8 часах в день это примерно 1250р в месяц только на свет.

теперь api. дипсик стоит копейки, меньше 100р за миллион токенов на выходе по текущему курсу. мой реальный расход за май через openrouter: 480 рублей. ЧЕТЫРЕСТА ВОСЕМЬДЕСЯТ. это окупаемость железа 35+ лет, карты столько не живут.

и про качество: локально я гоняю максимум 32B в Q4, по api мне доступен фуллсайз дипсик и квен 235 в fp8. то есть плачу сильно больше за модель которая сильно тупее.

объясните еще раз, зачем мы это делаем?

[grahamd]

privacy. у меня в промптах код заказчика под nda, отправлять его в api китайской контры это статья договора. все, для меня разговор окончен, локалка безальтернативна

[solidity_nerd]

это окупаемость железа 35+ лет, карты столько не живут

математика с дырой. ты считаешь окупаемость по своему расходу в 480р, а считать надо по тому что ты БУДЕШЬ жечь, когда токены станут бесплатными. у меня агенты наматывают 40-50М токенов в день на батч-задачи, разбор логов, классификация тикетов. по api это было бы тысяч 15-20 в месяц. локалка отбилась за год. а кто гоняет чатик два раза в день, тому да, api и не париться

[postgres2]

+1 к батчам, они все меняют. и еще api умеет лечь в самый нужный момент, дипсик в феврале лежал два дня, у меня дедлайн горел

[seniorwarlock]

@solidity_nerd, лол, вы оба считаете будто железо и свет это все расходы. время. я на свою сборку убил недели две чистого времени, обновления, кванты, конфиги, поломанные темплейты. посчитайте свою ставку за час и заплачьте

[Rhemix]

отправлять его в api китайской контры это статья договора

ну так есть яндекс клауд и сбер, инференс опенсорсных весов в рф юрисдикции, 152-фз, договор, все дела. дороже дипсика раза в три, но nda не нарушаешь. локалка не единственный выход для параноиков, просто самый трушный

[chase2]

а никто не вспомнил, что api модели тихо лоботомируют. квантуют на сервинге, роутят на дистилляты в часы пик, ты никогда не знаешь что именно тебе ответило. локально у меня детерминированный квант, одинаковый вчера и завтра. для прода с регрессионными тестами это важнее цены

[nerd_max]

квантуют на сервинге, роутят на дистилляты в часы пик

это городская легенда наполовину. у опенроутера да, провайдеры разные и там зоопарк квантов, это прямо в карточке провайдера написано. но первоисточник, api самого дипсика или квена, гоняет то что заявлено. пруфов деградации первоисточников никто ни разу не принес, одни вайбы

[peekatwo]

да хобби это, чего вы спорите. мне нравится что ящик гудит под столом и веса мои, никто их не отберет и не обновит втихую. кому-то рыбалка за 300к, кому-то вот это. окупаемость спиннинга тоже никто не считает