ollama жрет память и не выгружает модель, как заставить освобождать vram

[js066866]

ollama после запроса держит модель в видеопамяти и не отдает, из-за этого не могу параллельно ничего другого на карте запустить. Висит загруженная по полчаса хотя я ей не пользуюсь. Как настроить чтобы она выгружала веса из vram сразу или хотя бы через минуту простоя? 3080 на 10гб, каждый гигабайт на счету.

[nginxsmith]

OLLAMA_KEEP_ALIVE поставь. это переменная окружения, по дефолту 5 минут держит. ставь 0 чтобы выгружала сразу после ответа, или например 30s. экспортируй перед запуском сервиса ollama, или пропиши в systemd юните если через него гоняешь. еще можно прямо в запросе передавать keep_alive в теле, для разовых вещей удобно. я себе поставил 0 потому что у меня тоже карта впритык и параллельно стейбл диффужн крутится, без выгрузки оом ловил постоянно.

[koneko2]

0 не ставь, она тогда на каждый запрос будет модель заново в память грузить, а это секунды ожидания. поставь 1m, компромисс.

[corvet]

0 не ставь, она тогда на каждый запрос будет модель заново в память грузить

зависит от юзкейса. если он раз в час обращается, ему эти 3 секунды загрузки вообще не важны, зато карта свободна. если долбит запросами пачкой, тогда да твой 1m разумнее. так что не абсолютно, по сценарию.

[terraform_ops]

@corvet, ollama вообще для ленивых, поставь llama.cpp server и сам рули загрузкой, никаких сюрпризов с памятью

[wasmnerd]

@gribABC ну так не у всех время есть с флагами llama.cpp возиться, ollama для того и сделана чтобы из коробки. совет про KEEP_ALIVE решает проблему ТС, незачем человека на другой софт гнать.

[elixir2010]

кстати на винде эта переменная через системные переменные среды задается а не через export, народ часто на это спотыкается. и сервис ollama перезапустить надо после, иначе не подхватит.