Локальные LLM и open-source модели

Запуск больших языковых моделей локально: Llama, Mistral, Qwen, DeepSeek, Gemma. Квантизация GGUF, Ollama, llama.cpp, vLLM, LM Studio, выбор GPU и оптимизация инференса.

Запускаете нейросети на своём железе без подписок и облаков? Обсуждаем локальный инференс LLM — Llama, Mistral, Qwen, DeepSeek и Gemma, квантизацию в GGUF, связки Ollama, llama.cpp, vLLM и LM Studio. Делимся опытом подбора GPU, ускорения генерации и тонкой настройки моделей под свои задачи. Заходите за бенчмарками, конфигами и живыми советами.
Новая тема
  • Темы
    Ответы
    Просмотры
    Последнее сообщение
Новая тема

Вернуться к списку форумов

llama.cpp38 Ollama16 MoE15 Qwen15 железо15 GPU10 холивар7 gguf7 vram6 кванты6 квантизация6 контекст6 vLLM6 vllm vs llama.cpp5 локальный-инференс5 LLM5 API4 экономика4 локальные-llm4 mi504 новые модели4 C++4 производительность3 vulkan3
  • Популярные запросы раздела
как запустить llama локально qwen vs llama что лучше как запустить deepseek локально mistral для локального запуска отзывы что такое raid массив и какой уровень выбрать что такое ubuntu server и зачем он нужен tarantool как база данных и кэш лучшая локальная llm для кода почему postgresql медленный и как ускорить systemd сервис не запускается после перезагрузки

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость

Права доступа

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения