Оллама после обновления выгружает модель каждые 5 минут, как лечить

[asyncpro]

Обновил олламу до последней версии и началось. Модель выгружается из врама минут через пять простоя, и каждый первый запрос после паузы это 30-40 секунд ожидания, пока 24 гига зальются обратно. Раньше висела вечно и все было нормально. Откатываться не хочется, в свежей пофиксили структурный вывод, он мне нужен. Куда крутить?

[redis_guru]

OLLAMA_KEEP_ALIVE=-1 в окружение сервиса. на линуксе systemctl edit ollama, в юнит Environment=OLLAMA_KEEP_ALIVE=-1, потом restart. дефолт у них 5m, и они его в одном из релизов трогали, отсюда и сюрприз

[marianna]

оллама в очередной раз молча ломает дефолты, а вы удивляетесь. llama-server -m модель.gguf -c 16384 и у тебя то же самое апи, только без слоя магии, который живет своей жизнью и решает за тебя

[Mom2]

опять началось. оллама сама качает модели, сама свапает их по запросу и дает openai-совместимый апи из коробки. не всем интересно жить в флагах llama.cpp, людям работать надо

[wasmnerd]

а на винде эту переменную куда писать? у меня оллама просто в трее висит

[lototsky]

можно вообще без переменных, keep_alive передается прямо в запросе, "keep_alive": -1 в json. удобно когда одну модель надо держать вечно, а другую наоборот выгружать сразу