ollama жрёт всю видеопамять и не выгружает модель, как заставить освобождать VRAM

[spaegree]

ollama после запроса держит модель в видеопамяти и не отдаёт, из-за этого не могу запустить вторую модель или поиграть, пока вручную не убью процесс. По дефолту keep_alive 5 минут, но даже после них висит. Карта 4070 на 12гб, ollama 0.6.x, винда 11. Как нормально настроить чтобы выгружало сразу или по таймеру и не приходилось каждый раз руками?

[tankard]

OLLAMA_KEEP_ALIVE=0 в переменные окружения, и она будет выгружать сразу после ответа. Или в запросе передавай keep_alive: 0. Если висит даже после 5 минут, у тебя скорее всего сервис перезапускается и подхватывает старый конфиг, проверь что переменная видна именно сервису ollama а не твоей сессии.

[roylrs]

на винде ollama ставится как служба и твои user-переменные ей до лампочки. Лезь в системные переменные среды, добавляй OLLAMA_KEEP_ALIVE там, потом перезапускай службу ollama через services.msc. Вот тогда подхватит.

[nilcetinkaya]

а зачем выгружать то, это же фича. Не держал бы в памяти, каждый запрос ждал бы загрузку с диска по 10 секунд.

[togashi]

а зачем выгружать то, это же фича

ты ОП читал? у него 12гб и он хочет вторую модель или игру запустить. На 12гб ты одну 7B держишь и всё, на остальное места нет. Не у всех 4090.

[nodice]

поставь keep_alive в минус 1 если наоборот хочешь чтобы НИКОГДА не выгружало, и 0 чтобы сразу. Бывает путаница: -1 это бесконечно, 0 это моментально. Сам неделю мучился пока не дошло.

[kickmybox]

лол, я просто алиас сделал, ollama stop modelname после работы. Не элегантно но работает на 100%.