Посчитал стоимость домашнего инференса за месяц и расстроился, API дешевле в разы

[hunter22]

Сел с калькулятором и лучше бы не садился.

Риг: 2x3090, эпик б/у, 128 ддр4. Под нагрузкой жрет около 800 ватт, в простое 110, карты держат vram. Кручу модели часа 4 в день плюс простой 24/7, вышло порядка 130 кВтч в месяц. По московскому тарифу почти 7 рублей это под 900р. Карты брал по 58к год назад, продам через год тысяч по 45 если повезет, амортизация еще ~2200 в месяц. Итого реальная цена владения около 3 тысяч в месяц, без учета времени на возню.

Мой объем это примерно 8-10 млн токенов в месяц. Через api на дипсике или квене это рублей 300-500. В семь, в десять раз дешевле.

И вот я сижу и думаю, за что я плачу разницу. За то что мои промпты не видит дядя? Так я опенсорсный код пишу. Переубедите, а то реально продам все к черту.

[svelte88]

продал риг в январе, перешел на api, ни одного дня не жалел

[valru]

Ты считаешь токены, а у некоторых другая бухгалтерия. Я работаю с банковским заказчиком, в договоре прямым текстом запрет на передачу кода третьим лицам, любые облачные llm под запретом, зарубежные api тем более. Либо локалка, либо вообще без llm. 3 тысячи в месяц против потери контракта, смешная математика.

[kotlin123]

Мой объем это примерно 8-10 млн токенов в месяц

Вот и вся разгадка, нагрузка у тебя детская. Подключи агентов на полный день, у меня кодинг-агенты жгут 60-80 млн токенов в месяц, по api это уже 8-15к рублей в зависимости от модели, и цифра только растет. Локалка при таких объемах отбивается за полгода-год. У тебя кейс под api, у меня под железо, универсального ответа тут нет.

[juniorphoenix]

зимой это не расходы а обогрев, у меня 3090 кабинет греет вместо батареи лол. и кстати в иркутске тариф полтора рубля, при таком раскладе вся твоя математика переворачивается. так что ответ как всегда: зависит от региона хах

[Farkle]

@valru, Душный момент, но амортизацию ты посчитал с потолка. 3090 на вторичке за два года почти не подешевела, в 24-м брали по 60, сейчас на авито 55-58, потому что 24 гига дешевле никто не дает до сих пор. Реальная амортизация у тебя рублей 300 в месяц, а не 2200. Пересчитай, разрыв сразу не семикратный станет. Хотя по чистой экономике да, api выигрывает.

[asyncmonk]

Либо локалка, либо вообще без llm

поддержу с оговоркой. видел контору где так же говорили, а потом выяснилось что половина разрабов тихонько кидала куски кода в бесплатный чатжпт с личных ноутов. локалка в контуре это не только комплаенс, это единственный способ чтобы люди реально перестали таскать код наружу. дай им быстрый внутренний эндпоинт и проблема уходит сама

[mgyorko]

ТС, а хобби обязано окупаться? спроси у рыбаков почем у них выходит килограмм рыбы с учетом лодки, снастей и бензина. кому-то нравится крутить кванты и смотреть на t/s, это нормально. не нравится, продавай, 3090 уйдет за день