Локальные LLM и open-source модели

Запуск больших языковых моделей локально: Llama, Mistral, Qwen, DeepSeek, Gemma. Квантизация GGUF, Ollama, llama.cpp, vLLM, LM Studio, выбор GPU и оптимизация инференса.

Запускаете нейросети на своём железе без подписок и облаков? Обсуждаем локальный инференс LLM — Llama, Mistral, Qwen, DeepSeek и Gemma, квантизацию в GGUF, связки Ollama, llama.cpp, vLLM и LM Studio. Делимся опытом подбора GPU, ускорения генерации и тонкой настройки моделей под свои задачи. Заходите за бенчмарками, конфигами и живыми советами.
Новая тема
  • Темы
    Ответы
    Просмотры
    Последнее сообщение
Новая тема

Вернуться к списку форумов

GPU10 Ollama9 llama.cpp9 LLM5 vLLM5 C++4 Qwen3 квантизация3 бенчмарки2 vram2 gguf2 DeepSeek2 качество1 Q5_K_M1 MoE1 Qwen31 RTX40901 API1 ram1 настройка1 промпт1 modelfile1 конвертация1 инференс1
  • Популярные запросы раздела
как запустить llama локально qwen vs llama что лучше как запустить deepseek локально mistral для локального запуска отзывы лучшая локальная llm для кода

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость

Права доступа

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения