локальные-модели

Запуск моделей на своём железе перестал быть экзотикой: qwen3-coder на 4090 месяцами заменяет облачный Cursor, а вопрос какие веса качать и на чём крутить волнует всё больше людей в СНГ. Тут обсуждают выбор квантов и движков, честно разбирают, что ollama удобна, но привирает про модели и жрёт лишний диск, и когда народ съезжает на чистый llama.cpp. Материал для тех, кто считает экономику локального инференса и хочет приватность без облака.

3 тем, 19 ответов, 12 просмотров · все теги

Похожие теги: железо 2Qwen 1cursor 1LLM 1ai 1ollama vs llama.cpp 1ollama проблемы 1