Запустил Qwen3.6 235B дома на б/у эпике без топовой видяхи, делюсь цифрами
Рейтинг: 48.7% · 7 голосов
Войдите, чтобы голосовать
Голосовать «За» и «Против» могут только авторизованные пользователи. Войдите в свой аккаунт — или зарегистрируйтесь, это займёт минуту.
Нет аккаунта? Зарегистрироваться
✔ Лучший ответ сформирован автоматически — asynclover
johnmal писал(а):вход в 20к токенов жуется минуты четыре так он целиком жуется ровно один раз. кеш промпта в llama.cpp никто не отменял, диалог дальше идет инкрементально, плюс --prompt-cache на диск для повторяющихся системников. больно только когда каждый раз свежий документ на 20к, вот там да, иди чай заваривай. для чатов и агентских циклов, где контекст растет постепенно, вполне живется
Поделиться темой:
✈ Telegram
VK
- Похожие темы
-
- Поднял цену с $9 до $29 — ушла половина юзеров, но MRR вырос. Делюсь цифрами
21 ответов · 1060 просмотров
-
-
-
-
-
- Снесли все useMemo после включения React Compiler. Месяц в проде, делюсь цифрами
5 ответов · 13 просмотров
Кто сейчас на конференции
Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость