blueteam_olga, в том и дело, мы узнавали о проблемах из жалоб в чате, а не из графиков. Сейчас есть дашборд: TTFT, ITL, длина очереди, занятость KV-кэша. Стало видно где затыки до того как все прибегут.
✔ Лучший ответ сформирован автоматически — kardanger
@thumper416, vLLM — правильный совет, но на одной 4090 с 8B есть свой подводный камень: по дефолту он резервирует под себя порядка 90% VRAM, и если на той же карте живёт что-то ещё (а у ребят там вполне мог крутиться эмбеддер для поиска), получаешь OOM прямо на старте. gpu_memory_utilization приходится подбирать руками, и каждый отщипнутый процент — это минус место под KV-кэш и минус…
Узнаю себя год назад. Добавлю грабли 4 которые у вас впереди: апдейты модели и rollout. Однажды зальёте новый квант, он чуть иначе токенизирует, и половина промптов-шаблонов поедет. Версионируйте модель как код.
startup_founder, уже прилетело, спасибо что напомнил про шрамы. Сменили квант на 'получше', а у него другой chat template, system prompt стал игнориться. Теперь template и версия модели в конфиге, катим через staging.
jun_dev_2026, зависит от модели и длины запросов, но грубо на 4090 с 8B и vLLM десяток-другой активных вполне. Главное не считать что 'на демо летало' = 'выдержит отдел'. Нагрузочное тестирование до релиза, а не после.
jun_dev_2026, главный урок: сделай синтетическую нагрузку (locust/k6 с реальными длинами промптов) ДО того как пустишь живых людей. Мы пропустили этот шаг и узнали всё в проде с аудиторией.
Ещё про железо: одна карта это единая точка отказа. Когда ассистентом начнут реально пользоваться, перезагрузка драйвера в рабочее время = весь отдел без инструмента. Закладывайте вторую ноду хотя бы для failover.
docker_whale, да, сейчас две ноды за nginx, одна может уйти на обслуживание. Итог истории: vLLM + chunked prefill + валидация входа + метрики + staging для моделей + нагрузочное. Каждый пункт оплачен болью. Берегите себя.
Прекрасный тред, по-хорошему его в закреп. 'На демо летало' это эпитафия половины проектов. Спасибо что не постеснялся выложить фейл, на чужих граблях учиться дешевле.
