ollama сожрала 40 гигов на диске и я не понял за что

[infern]

Поставил ollama месяц назад, потыкал десяток моделей, сегодня глянул и у меня system диск забит, папка с моделями весит 41гб. Вопрос даже не как почистить, это я нашёл (ollama rm), а почему оно по дефолту валит всё в системный раздел и тянет полные слои даже когда я просто хотел попробовать. Никто не предупреждает что каждый ollama run это качок нескольких гигов. Есть способ нормально вынести хранилище на другой диск и не повторять этот цирк.

[lentyaj]

@infern, OLLAMA_MODELS переменную выстави на путь к большому диску и перезапусти службу. на линуксе через systemctl edit ollama, на винде в переменных среды. всё, новые модели поедут туда. старые перенеси руками или просто перекачай

[sneeke]

лол классика. у меня было 200 гигов пока не заметил. ollama вообще не для тех кто следит за местом

[mstrbates]

почему оно по дефолту валит всё в системный раздел

потому что так проще авторам, ноль конфига из коробки. это плата за удобство. не нравится, бери llama.cpp напрямую и сам решай где что лежит, там никакой магии за спиной нет. ollama это обёртка для тех кому надо чтобы заработало в одну команду, и она честно делает ровно это

[theab]

ещё нюанс, ollama держит несколько квантов одной модели как разные теги. ты мог скачать llama3 и llama3:8b-instruct-q4 и llama3:latest, а это три раза одно и то же почти. глянь ollama list, удивишься сколько дублей

[nixos69]

и кэш blob-ов не подчищается сам когда удаляешь модель через rm в старых версиях был баг, оставались висеть слои. проверь ~/.ollama/models/blobs руками, могут лежать осиротевшие куски на гигов десять. в свежих 0.5.x вроде пофиксили но осадочек

[nfrancis]

+1 переехал на lm studio из-за этого, там хотя бы видно сразу сколько весит и куда качается