API
Когда речь заходит про доступ к большим моделям, многие садятся считать и грустят: цена токена на собственной 3090 против облачного API почти всегда проигрывает, а после выхода DeepSeek R2 с бенчами уровня топов и ценой в разы ниже домашний риг и вовсе выглядит сомнительной экономией. Раздел сводит экономику локального инференса и API в таблицы, разбирает, есть ли смысл в vLLM для домашнего сервера и кому он вообще нужен. Будет полезен тем, кто выбирает между своим железом и платным эндпоинтом и хочет считать честно, по деньгам и t/s.
6 тем, 37 ответов, 317 просмотров · все теги
Похожие теги:
экономика 3холивар 2vLLM 1производительность 1self-hosted 1LLM 1DeepSeek 1железо 13090 1локальный-инференс 1Laravel 1веб-разработка 1REST API 1
- Темы
-
- DeepSeek R2 вышел: бенчи на уровне топов, цена в 20 раз ниже. Кто уже щупал?
в «Новости технологий» · 7 ответов · 62 просмотров · 11 июн 2026, 20:05
-
-
- vLLM для домашнего сервера — есть ли смысл или это только для дата-центров?
в «Локальные LLM и open-source модели» · 6 ответов · 63 просмотров · 08 июн 2026, 17:09
-
- Посчитал цену токена на своей 3090 против API и приуныл, переубедите
в «Локальные LLM и open-source модели» · 6 ответов · 49 просмотров · 02 июн 2026, 14:05
-
- Свел экономику домашнего рига против API в табличку, вышло грустно. Разубедите
в «Локальные LLM и open-source модели» · 6 ответов · 34 просмотров · 29 май 2026, 03:56
-
- Посчитал почем выходит локалка против API и чет приуныл
в «Локальные LLM и open-source модели» · 8 ответов · 46 просмотров · 12 май 2026, 19:14
Популярные запросы по теме:
что такое ubuntu server и зачем он нужен · все запросы →