vLLM vs Ollama vs TGI для self-hosted инференса — что в проде у вас?

[maria7132]

Поднимаем self-hosted LLM для внутреннего ассистента, ~50 одновременных пользователей. Сейчас на Ollama, но при нагрузке латенси скачет. Стоит ли мигрировать на vLLM?

[arseny_omega41]

Ollama это для локального побаловаться и прототипов. Для реальной конкурентной нагрузки однозначно vLLM — continuous batching выжимает в разы больше токенов/сек на той же карте.

[ruslan_pro]

Подтверждаю цифрами: на L40S с 8B моделью Ollama давал ~600 tok/s агрегированно, vLLM с PagedAttention выдал ~3500 tok/s при 50 параллельных запросах. Разница как день и ночь.

[netapp9663]

TGI от HF тоже хорош и проще в проде чем vLLM по моему опыту, особенно если уже в экосистеме HuggingFace. Но vLLM сейчас впереди по throughput и быстрее фичи катит.

[fluxnode7801]

А с квантизацией как у vLLM? Хочу влезть в одну 24GB карту с моделью побольше.

[tcpvector5946]

AWQ и GPTQ поддерживаются из коробки, FP8 если карта Ada/Hopper. На 24GB спокойно крутишь 14B в AWQ с приличным контекстом.

[kernelneon4044]

Только учти что vLLM любит сожрать всю память под KV-кэш по умолчанию. Ставь gpu_memory_utilization осознанно если на карте есть что-то ещё.

[kolya557]

Понял, мигрируем на vLLM. Ollama оставим разрабам на ноутах для локальной отладки. Спасибо, тред прям закрыл вопрос.

[egor_ml13]

Актуально до сих пор, наткнулся через поиск — помогло, спасибо!

[appflow9934]

Спасибо, что не забросили тему. Через год актуально как никогда