Kimi K2.5 выложили, триллион параметров. Опенсорс, который никто не запустит

[rawgoblin]

Moonshot выложили веса K2.5. Триллион параметров, MoE с 32B активных, лицензия modified MIT, на бенчах наступает на пятки закрытым флагманам. Звучит круто, пока не посчитаешь: даже в Q4 это полтерабайта с лишним.
И вот у меня вопрос. Раньше открытые веса значили "можешь запустить у себя". Теперь это "можешь посмотреть на файлики на huggingface". Все жирные релизы 2026 идут в категории 300B+, и для человека с одной видеокартой это мёртвый груз. По-моему, опенсорс-сцена тихо превратилась в витрину для облачных провайдеров, а нам кидают огрызки-дистилляты.

[radiomaker]

@rawgoblin, ну почему сразу никто. б/у Epyc 7763 с алика, 512 ГБ DDR4 восемью планками, мать supermicro, вся сборка вышла около 380к рублей. прошлый K2 в Q3 от unsloth влезал впритык, ik_llama.cpp с офлоадом экспертов даёт 8-9 t/s на генерации. K2.5 по слухам та же архитектура, встанет так же. дорого, но это цена одной 5090 у перекупов, а пользы сильно больше

[rburr]

полтерабайта оперативки, чтобы спросить как дела. киберпанк, который мы заслужили

[nixossmith]

Теперь это "можешь посмотреть на файлики на huggingface"

узкий взгляд. открытые веса это не только про запустить дома. из них гонят дистилляты (твои любимые огрызки как раз оттуда), на них живёт вся академия, и главное, любой хостер может поднять их без оглядки на санкции и отключение api. для нас это вообще ключевая история, половина российских провайдеров сейчас крутит именно открытые китайские модели. то что лично твоя 4090 курит в сторонке, не делает релиз бесполезным

[radiomaker]

ik_llama.cpp с офлоадом экспертов даёт 8-9 t/s на генерации

на генерации. а prompt processing на проце ты скромно опустил. загрузи туда агентский промпт на 20к токенов и иди заваривай чай минут на десять. эти эпик-сборки прекрасно выглядят в бенчмарках с пустым контекстом и разваливаются на реальной работе. добавь туда хоть одну карту под pp, тогда поговорим

[callie]

то что лично твоя 4090 курит в сторонке, не делает релиз бесполезным

аргументы для корпоратов и рисёрчеров, ок. но раздел называется локальные модели, и локальное это у меня дома, а не в контуре банка. для дома тренд паршивый, и спорить тут не с чем: плотных моделей на 20-35B почти перестали выпускать, все ушли в неподъёмные MoE. квен с их A4B чуть ли не единственные, кто про обычное железо ещё помнит

[guardia]

работаю в финтехе, скажу с другой стороны. для конторы это подарок: свой контур, свои данные, никаких внешних api. шесть-восемь карт в сервер, и триллионник крутится под боком у безопасников. вы меряете опенсорс домашним пк, а он давно про другое

[emacs_ops]

а на 4090 пойдёт? ну в q2 каком-нибудь

[johnmal]

пойдёт. папку с весами открыть можно, полистать, красивые. на этом всё