GPU в простое жрёт VRAM и 70 ватт, хотя ничего не крутится

[cryptodaemon5561]

Запустил Ollama, поговорил, закрыл чат. nvidia-smi показывает что модель всё ещё в VRAM и карта на 60 ватт. Это нормально или у меня что-то течёт?

[lev7399]

Нормально. Ollama держит модель в памяти keep_alive по дефолту 5 минут чтобы не перегружать на следующий запрос. Поставь OLLAMA_KEEP_ALIVE=0 или нужное время если хочешь чтоб выгружалось сразу.

[mark_ml]

А 60 ватт это idle твоей карты, не модель. nvidia-smi -pl или nvidia-smi -lgc для андервольта/ограничения частот в простое, если шумит и греет. На 3090 я так согнал idle до ~20 ватт.

[mlgit3625]

Ollama по умолчанию держит модель в VRAM по таймауту — это сделано специально, чтобы не грузить её заново при следующем запросе. Параметр называется OLLAMA_KEEP_ALIVE, по умолчанию 5 минут. Можно поставить OLLAMA_KEEP_ALIVE=0 в environment и модель будет выгружаться сразу после завершения запроса. Если хочешь выгрузить руками прямо сейчас — `curl http://localhost:11434/api/generate -d '{"model":"llama3","keep_alive":0}'`.

[yaroslav_vector30]

60-70 Вт в простое при загруженной VRAM — это нормально для Nvidia, карта держит клоки памяти на полной частоте пока в VRAM что-то занято. После выгрузки модели потребление упадёт до 5-15 Вт в зависимости от карты. Так что утечки нет, просто Ollama держит модель живой — это фича, а не баг.