Решённые вопросы — Локальные LLM и open-source модели
Решённые вопросы раздела «Локальные LLM и open-source модели»: 23 тем с принятым лучшим ответом — готовые проверенные решения сообщества по этой теме.
По разделам:
все
Self-hosting и Homelab 25Карьера в IT 24Локальные LLM и open-source модели 23Веб-разработка 23DevOps и CI/CD 23AI-ассистированная разработка 21Кибербезопасность и пентест 21Геймдев и разработка игр 20Языки программирования 20Сборка ПК и комплектующие 20Смартфоны и гаджеты 20Нейрогенерация: изображения и видео 20Базы данных 18Стартапы и фриланс 18Новости технологий 18Облачные платформы 16Приватность и шифрование 15Курилка и оффтоп 15Машинное обучение и Data Science 14Одноплатники, IoT и DIY-электроника 14Мобильная разработка 13Linux и системное администрирование 13CTF и реверс-инжиниринг 13
- Вопросы с решением (23)
-
- DeepSeek R1 локально - кто-нибудь реально запустил полную версию дома? ✓ Лучший ответОтвет (omegaai1991): Полный R1 671B дома гоняют единицы и то на сборках с 512+ ГБ RAM через mmap, скорость 1-2 t/s, на терпеливого. То что у большинства на скринах - дистилляты в Qwen/Llama …в «Локальные LLM и open-source модели» · 7 ответов · 987 просмотров
-
- MoE локально (30B-A3B и подобные): магия скорости или маркетинг ✓ Лучший ответОтвет (pixeldns752): Подвох в памяти: активны 3B, но в VRAM держать надо ВСЕ 30B весов, иначе на каждом токене дёргается разный эксперт и ты захлебнёшься на подкачке. Скорость как у 3B, аппе…в «Локальные LLM и open-source модели» · 10 ответов · 708 просмотров
-
- 24B или 32B на 24гб VRAM: что реально влезает с нормальным контекстом ✓ Лучший ответОтвет (vadim_cloud43): Я бы не гналась за 32B. 24B новых поколений часто бьют старые 32B по бенчам и оставляют запас VRAM под нормальный контекст без плясок с KV-квантом. Качество это не тольк…в «Локальные LLM и open-source модели» · 7 ответов · 1280 просмотров