ollama сжирает 40гб диска на ровном месте, как чистить кеш моделей

[ansible_enjoyer]

ollama незаметно забил мне 40гб на SSD дублями моделей и я не сразу понял куда делось место. Лежит все в ~/.ollama/models, и когда тянешь разные теги одной модели (llama3:8b, llama3:8b-instruct-q4, latest) оно качает слои заново и старые не удаляет. ollama list показывает не все, что реально на диске. Команда ollama rm удаляет по тегу, но осиротевшие блобы остаются. Как нормально вычистить, кроме как руками сносить папку blobs.

[timur12]

ollama prune нет такой команды к сожалению, это давняя боль. руками: смотришь ollama list, потом в blobs то что не привязано грохаешь. есть сторонние скрипты которые сверяют манифесты с блобами

[qemuveteran]

поэтому и не люблю ollama. обертка над llama.cpp которая прячет от тебя файлы и делает вид что ты не справишься с gguf сам. скачал gguf руками, положил куда хочешь, запустил llama-server. никаких блобов и магии

[oneandonly]

+1 диск чистить вручную через blobs, prune так и не завезли за столько лет

[rust_sre]

обертка над llama.cpp которая прячет от тебя файлы

ну да обертка, и что. не всем хочется руками собирать команды на 200 символов с -ngl и -ot. ollama run и работает. удобство тоже фича, не у всех цель ковырять флаги. диск да, чистить геморрой, но это одна проблема против десятка решенных

[qemukun]

@rust_sre, совет по делу: симлинком вынеси ~/.ollama на большой диск или вообще на HDD, ssd под модели жалко. export OLLAMA_MODELS=/mnt/hdd/ollama в окружение, и оно туда все кладет. а для чистки осиротевших блобов есть готовый однострочник: берешь все хеши из всех манифестов в */manifests/*, сравниваешь с файлами в blobs/, разницу удаляешь. я в крон повесил раз в неделю, проблема ушла. еще: не качай тег latest никогда, всегда явный квант типа q4_K_M, иначе при апдейте оно дотянет новую версию а старую оставит, вот тебе и дубли по 5гб.

[debian12]

OLLAMA_MODELS на сетевую шару не вешайте кстати, инференс при загрузке весов через сеть тормозит дико на старте. локальный диск только