LLM
Запустить языковую модель локально стало просто, а довести её до прода — отдельный квест: здесь разбирают в том числе кейсы, когда всё легло через час после выкатки. Сравнивают vLLM, Ollama, llama.cpp и TGI под self-hosted инференс, прикидывают, тянет ли Mac mini M4 против видеокарты, и обсуждают защиту от prompt injection по OWASP LLM Top 10. Раздел для тех, кто работает с моделями руками, а не только читает анонсы.
28 тем, 225 ответов, 9209 просмотров · все теги
Похожие теги:
vLLM 4DeepSeek 4Пентест 4Карьера 4C++ 3Ollama 3llama.cpp 3GPU 3ai 3Copilot 2open-source 2claude 2собеседования 2новости 2LoRA 2
- Темы
-
- Перестаньте советовать vLLM всем подряд, это не замена llama.cpp
в «Локальные LLM и open-source модели» · 14 ответов · 650 просмотров · 04 июн 2026, 10:13
-
- LLM as judge для оценки RAG бота, это карго культ или я что-то не понимаю
в «Машинное обучение и Data Science» · 6 ответов · 53 просмотров · 31 май 2026, 10:28
-
- Локальные LLM дома в 2026: какие веса качать, на каком железе крутить и когда это вообще выгодно
в «Статьи и лонгриды» · 6 ответов · 59 просмотров · 26 май 2026, 08:21
Популярные запросы по теме:
как запустить llama локальнолучшая локальная llm для кодалучший ai ассистент для разработки 2026как писать промпты для генерации кодачто такое postgresql простыми словамибаза данных postgresql для начинающихsql запросы в postgresql для начинающихмиграция на postgresql без даунтайма как перенести базу · все запросы →