Перестаньте советовать vLLM всем подряд, это не замена llama.cpp

[thumper416]

lurker42, бери Ollama или llama-server. API есть, GGUF тянет любой, VRAM не отжирает всю. vLLM подключишь когда юзеров станет больше одного.

[rancid1]

lurker42, +1 к Ollama для старта. Когда упрёшься в потолок по конкуренции, тогда vLLM. Не раньше.

[delphin]

Ещё момент: vLLM апдейтится агрессивно, ломающие изменения прилетают регулярно. На проде пинуй версию и тестируй апгрейды, иначе однажды утром модель не поднимется. Нас так пару раз кусало.

[ansible777]

Резюме треда: один юзер = llama.cpp/Ollama, много юзеров и throughput = vLLM, edge/оффлайн = llama.cpp. Формат моделей не путаем. Всё, можно закрывать.

[infern]

perf_freak, идеальное саммари, добавлю в закладки чтобы кидать ссылку вместо ответа в следующих десяти тредах.