Кейс фейла: выкатили локальную LLM в прод, через час всё легло

[davidwor]

Хороший разбор, но добавлю граблю номер ноль, которая в треде так и не всплыла: нагрузочное тестирование до выкатки. Полчаса с locust и реалистичными промптами, включая пару длинных, показали бы и очередь, и блокировку префиллом ещё до того, как 30 человек узнали это на себе. С LLM-сервисами это критичнее, чем с обычным REST: латентность нелинейно растёт от длины входа, и интуиция из мира быстрых эндпоинтов тут не работает вообще.

[kardanger]

@thumper416, vLLM — правильный совет, но на одной 4090 с 8B есть свой подводный камень: по дефолту он резервирует под себя порядка 90% VRAM, и если на той же карте живёт что-то ещё (а у ребят там вполне мог крутиться эмбеддер для поиска), получаешь OOM прямо на старте. gpu_memory_utilization приходится подбирать руками, и каждый отщипнутый процент — это минус место под KV-кэш и минус параллельные сессии. Бесплатной магии и тут нет.

[Sjobs]

@catbert1, про версионирование модели как кода подпишусь и доведу мысль до конца: мы к каждой смене кванта прикладываем golden set из сотни промптов и гоняем его перед подменой. Поймали ровно твой сценарий — новый GGUF чуть иначе резал спецсимволы, и половина few-shot шаблонов тихо поплыла. Без регрессионного прогона это заметили бы пользователи через неделю, а так — откатили за десять минут.