Ollama vs llama.cpp vs vLLM - что выбрать в 2026, запутался окончательно

[docker_kun]

Хочу поднять локальный инференс для пет-проекта. Везде советуют разное: кто Ollama, кто чистый llama.cpp, кто-то про vLLM. Чем они реально отличаются и с чего начать новичку?

[misha12]

Если просто потыкать и попробовать модели - Ollama, поставил и работает, pull qwen2.5 и поехали. Под капотом у неё всё равно llama.cpp. Когда упрёшься в лимиты настроек - переедешь на llama-server напрямую.

[davkar]

vLLM это другая лига - он про продакшен и пропускную способность. Батчинг запросов, paged attention, держит десятки параллельных юзеров. Но он любит полноразмерные веса на GPU, для одной видяхи дома это оверкилл.

[wasm_enjoyer]

Плюс vLLM до недавнего времени с GGUF дружил так себе, в основном AWQ/GPTQ или fp16. Для одного человека на одной карте llama.cpp/Ollama практичнее, GGUF квантов море.

[misha12]

Понял, то есть для одиночного использования смысла в vLLM нет? А если захочу API как у OpenAI отдавать?

[nixos69]

llama-server и Ollama оба отдают OpenAI-совместимый эндпоинт из коробки. Так что код под OpenAI SDK переключается сменой base_url, ничего переписывать не надо.

[middlewarlock]

Добавлю: если несколько разных моделей дёргать по требованию - у Ollama удобный авто-анлоад и keep_alive. vLLM грузит одну модель и держит её намертво. Для зоопарка моделей дома Ollama выигрывает по UX.

[Omoto]

Спасибо, картина сложилась. Начну с Ollama, как упрусь - попробую llama-server. vLLM отложу до момента когда появятся реальные пользователи.

[infern]

Ещё один угол зрения: llama.cpp/llama-server стоит рассматривать если хочешь тонкую настройку параметров — температура, repeat_penalty, mirostat, количество слоёв на GPU через -ngl. В Ollama это тоже есть через Modelfile, но интерфейс менее прозрачный. Для пет-проекта я бы всё равно начал с Ollama, но держал в голове что под ним работает llama-server и при необходимости запустить его напрямую несложно — просто ./llama-server -m модель.gguf -ngl 99 --port 8080.

[thumper416]

@infern, про keep_alive важный момент — по умолчанию Ollama выгружает модель через 5 минут простоя. Если в пет-проекте между запросами бывают паузы, можно поставить OLLAMA_KEEP_ALIVE=-1 в переменных окружения и модель будет жить пока процесс запущен. Или передавать keep_alive: -1 прямо в каждом запросе через API. Иначе первый запрос после паузы тормозит на перезагрузке модели.