Ollama как настроить системный промпт и параметры генерации

[vera8115]

Использую Ollama для локального ассистента, модель llama3.1:8b. Хочу задать постоянный системный промпт (чтобы не вводить каждый раз), поменять temperature и top_p, а ещё увеличить контекст до 8192. Читал про Modelfile, но не очень понял как это всё применить на практике.

[petya_api]

Modelfile — это именно то что тебе нужно. Создай файл с именем Modelfile (без расширения) в любой папке с таким содержимым: FROM llama3.1:8b / PARAMETER temperature 0.7 / PARAMETER top_p 0.9 / PARAMETER num_ctx 8192 / SYSTEM "Ты опытный ассистент-программист. Отвечай на русском языке, приводи примеры кода, будь лаконичен." — каждая директива на новой строке. Потом: ollama create my-assistant -f Modelfile и запускай через ollama run my-assistant.

[rootasync5175]

Дополню: параметр num_ctx особенно важен — по умолчанию у Ollama всего 2048 токенов, что катастрофически мало для нормальной работы. Для llama3.1:8b можно смело ставить 8192, модель его поддерживает, и при 8GB VRAM должно хватить. Только помни что больший контекст = больше VRAM под KV-cache.

[mark_ml]

Ещё полезные параметры которые часто нужны: PARAMETER num_predict -1 (убирает лимит на длину ответа, по умолчанию обрезает на 128 токенов — многие не знают об этом и удивляются обрубленным ответам), PARAMETER repeat_penalty 1.1 (снижает повторения), PARAMETER top_k 40.

[omegadata7864]

Полный пример рабочего Modelfile для кодинг-ассистента, которым сам пользуюсь: FROM llama3.1:8b — затем PARAMETER temperature 0.2 (низкая для кода — меньше галлюцинаций), PARAMETER num_ctx 16384, PARAMETER num_predict -1, PARAMETER repeat_penalty 1.05 — и SYSTEM с промптом типа «You are an expert software engineer. Provide working code with brief explanations. When unsure, say so explicitly.» После ollama create и запуска можешь проверить настройки командой ollama show my-assistant --modelfile — покажет итоговый Modelfile включая унаследованные параметры из базовой модели. Важно: если хочешь менять параметры на лету без пересоздания модели, в chat-режиме это не поддерживается, но через API можно передавать options в каждом запросе — POST на localhost:11434/api/chat с полем "options": {"temperature": 0.5}.

[boris1757]

Маленький лайфхак: после создания кастомной модели она отображается в ollama list наравне с обычными. Можно создать несколько версий под разные задачи — my-coder, my-writer, my-translator — и переключаться между ними.

[julia9067]

А если нужен системный промпт только для одной сессии без создания Modelfile, можно сделать так: ollama run llama3.1:8b — и в интерактивном режиме написать /set system «твой промпт». Работает до конца сессии.