Перестаньте советовать vLLM всем подряд, это не замена llama.cpp

[roman_js5]

lurker42, бери Ollama или llama-server. API есть, GGUF тянет любой, VRAM не отжирает всю. vLLM подключишь когда юзеров станет больше одного.

[webproxy2636]

lurker42, +1 к Ollama для старта. Когда упрёшься в потолок по конкуренции, тогда vLLM. Не раньше.

[kira_api82]

Ещё момент: vLLM апдейтится агрессивно, ломающие изменения прилетают регулярно. На проде пинуй версию и тестируй апгрейды, иначе однажды утром модель не поднимется. Нас так пару раз кусало.

[jscode1641]

Резюме треда: один юзер = llama.cpp/Ollama, много юзеров и throughput = vLLM, edge/оффлайн = llama.cpp. Формат моделей не путаем. Всё, можно закрывать.

[cachego9376]

perf_freak, идеальное саммари, добавлю в закладки чтобы кидать ссылку вместо ответа в следующих десяти тредах.