Ollama vs llama.cpp vs vLLM - что выбрать в 2026, запутался окончательно

[proxyssh8845]

Хочу поднять локальный инференс для пет-проекта. Везде советуют разное: кто Ollama, кто чистый llama.cpp, кто-то про vLLM. Чем они реально отличаются и с чего начать новичку?

[pavel9971]

Если просто потыкать и попробовать модели - Ollama, поставил и работает, pull qwen2.5 и поехали. Под капотом у неё всё равно llama.cpp. Когда упрёшься в лимиты настроек - переедешь на llama-server напрямую.

[savva_io]

vLLM это другая лига - он про продакшен и пропускную способность. Батчинг запросов, paged attention, держит десятки параллельных юзеров. Но он любит полноразмерные веса на GPU, для одной видяхи дома это оверкилл.

[andrey_tech]

Плюс vLLM до недавнего времени с GGUF дружил так себе, в основном AWQ/GPTQ или fp16. Для одного человека на одной карте llama.cpp/Ollama практичнее, GGUF квантов море.

[yaroslav_sec64]

Понял, то есть для одиночного использования смысла в vLLM нет? А если захочу API как у OpenAI отдавать?

[sqlreact9621]

llama-server и Ollama оба отдают OpenAI-совместимый эндпоинт из коробки. Так что код под OpenAI SDK переключается сменой base_url, ничего переписывать не надо.

[lev_loop]

Добавлю: если несколько разных моделей дёргать по требованию - у Ollama удобный авто-анлоад и keep_alive. vLLM грузит одну модель и держит её намертво. Для зоопарка моделей дома Ollama выигрывает по UX.

[german_neon]

Спасибо, картина сложилась. Начну с Ollama, как упрусь - попробую llama-server. vLLM отложу до момента когда появятся реальные пользователи.