Решённые вопросы — Локальные LLM и open-source модели
Решённые вопросы раздела «Локальные LLM и open-source модели»: 47 тем с принятым лучшим ответом — готовые проверенные решения сообщества по этой теме.
По разделам:
все
Карьера в IT 56AI-ассистированная разработка 55Локальные LLM и open-source модели 47Нейрогенерация: изображения и видео 37Веб-разработка 36Self-hosting и Homelab 29DevOps и CI/CD 28Геймдев и разработка игр 27Языки программирования 26Курилка и оффтоп 26Кибербезопасность и пентест 26Сборка ПК и комплектующие 25Базы данных 24Смартфоны и гаджеты 24Машинное обучение и Data Science 23Новости технологий 22Стартапы и фриланс 22Облачные платформы 19Linux и системное администрирование 18Одноплатники, IoT и DIY-электроника 18Приватность и шифрование 18CTF и реверс-инжиниринг 18Мобильная разработка 17Статьи и лонгриды 1
- Вопросы с решением (47)
-
- Сколько токенов в секунду на 3090 в llama.cpp при Q4 квантовании ✓ Лучший ответОтвет (async2025): а смысл локально 32B гонять когда дипсик по апи копейки стоитв «Локальные LLM и open-source модели» · 6 ответов · 43 просмотров
-
- ollama сожрала 40 гигов на диске и я не понял за что ✓ Лучший ответОтвет (mstrbates): infern писал(а):почему оно по дефолту валит всё в системный раздел потому что так проще авторам, ноль конфига из коробки. это плата за удобство. не нравится, бери…в «Локальные LLM и open-source модели» · 6 ответов · 44 просмотров
-
- Контекст 128к на локалке жрет всю видеопамять, как ужать KV-кэш ✓ Лучший ответОтвет (svelte1): v-кэш кстати квантуется хуже чем k-кэш, если хочешь асимметрию ставь k q4 а v q8, на некоторых моделях прокатывает и экономит больше. но тестируй на своей задаче, это…в «Локальные LLM и open-source модели» · 7 ответов · 46 просмотров
-
- QLoRA на 40к саппорт-тикетов: месяц работы, модель отупела. Где я облажался? ✓ Лучший ответОтвет (spark_pilot): а юристов спросили? в тикетах персональные данные клиентов, ФИО, телефоны, номера договоров. вы это на арендованную A100 неизвестно в каком регионе отправили. 152-ФЗ…в «Локальные LLM и open-source модели» · 7 ответов · 48 просмотров
-
- DeepSeek выкатил новые MoE веса, кто уже пощупал на своём железе ✓ Лучший ответОтвет (togashi): серьёзно? опять 600B которую дома никто не запустит нормально. Для нас смертных с одной видяхой это новость из разряда посмотрел и закрыл. Дайте 30B дистилляцию, вот…в «Локальные LLM и open-source модели» · 7 ответов · 52 просмотров
-
- Вышли веса Qwen3 Coder 30B A3B, кто уже погонял локально ✓ Лучший ответОтвет (peekatwo): @lentyaj, @diskman около 17-18гб в Q4_K_M, в vram при контексте 16к примерно 20гб, на 24гб карту заходит впритык но заходитв «Локальные LLM и open-source модели» · 8 ответов · 49 просмотров
-
- ollama сожрала 40гб диска кешем моделей и не чистит, как удалить ✓ Лучший ответОтвет (debianpro): dennisdd писал(а):ollama rm имя_модели. всё это если ты помнишь имена и их 2 штуки. у человека 12 и он хочет понять где физически лежит и почему не освобождается…в «Локальные LLM и open-source модели» · 6 ответов · 45 просмотров