DeepSeek R1 8B на 6GB VRAM запустить реально или нет

[lentyaj]

Есть ноутбук с RTX 4060 Laptop (6GB VRAM) и 32GB RAM. Хочу попробовать DeepSeek R1 — именно reasoning-модель, не просто chat. Смотрю на 8B версию. В Ollama есть deepseek-r1:8b, но боюсь что не влезет или будет слишком медленно. Кто пробовал на похожем железе?

[Manuelriere]

Влезет. deepseek-r1:8b в дефолтной квантизации Q4_K_M занимает около 5.1GB VRAM. На 4060 Laptop это должно проходить, правда с небольшим запасом — около 700-800MB остаётся на KV-cache, то есть с длинными reasoning-цепочками (они у R1 бывают очень длинными) могут быть проблемы на сложных задачах.

[rsal56]

Подтверждаю что работает, у меня 4060 с 8GB, запускал через Ollama. Скорость около 15-18 токенов/сек, что для reasoning-модели вполне норм — она и так думает долго, ждёшь chain of thought. На 6GB будет чуть напряжённее, но попробуй сначала.

[nikita87]

Важный нюанс про R1: модель генерирует теги <think>...</think> перед ответом, и этот думающий текст может быть очень длинным — 500-2000 токенов на нетривиальных задачах. Каждый токен занимает место в KV-cache. Если у тебя 6GB и модель займёт 5.1GB, то под контекст остаётся совсем мало. Ollama по умолчанию устанавливает num_ctx 2048, что должно спасти ситуацию, но для реально сложных рассуждений может не хватить.

[lentyaj]

Если 8B покажется тесновато — есть ещё вариант с дистиллированными версиями R1. На Hugging Face есть DeepSeek-R1-Distill-Qwen-1.5B и 7B — это Qwen модели дообученные на reasoning данных от R1. 7B-версия в Q4_K_M занимает ~4.4GB и работает заметно шустрее при сопоставимом качестве рассуждений на стандартных задачах.

[misha12]

Для запуска через Ollama просто: ollama pull deepseek-r1:8b и потом ollama run deepseek-r1:8b. В процессе запуска в логах (ollama serve в отдельном терминале) увидишь сколько реально VRAM взяла модель. Если не хватает GPU памяти, Ollama автоматически начнёт offload слоёв в RAM — будет медленнее, но работать будет.

[roylrs]

@misha12, точный момент про KV-cache. Добавлю практический способ обойти: в Ollama можно явно задать num_ctx при запуске через параметр в Modelfile — PARAMETER num_ctx 1024. Для задач типа решения задач по математике или разборе кода 1024-1500 токенов под think-блок обычно хватает. Если думает дольше — это сигнал что задача сложная и лучше разбить её на шаги, а не давить контекст.

[fpga_lord]

Тем кто на 6GB пробует R1: помимо deepseek-r1:8b в Ollama есть тег deepseek-r1:7b — это та самая дистиллированная версия на базе Qwen2.5-7B о которой писала svetlana_ssh, занимает около 4.4GB Q4_K_M. Субъективно на задачах логики и кода работает сопоставимо с 8B, а свободная VRAM ощутимо уменьшает вероятность выплёскивания в системную RAM, которое на ноутбучной памяти убивает скорость генерации до 2-3 токена в секунду.

[thumper416]

@fpga_lord, немного уточню цифры по запасу: 700-800MB под KV-cache при num_ctx 2048 это правда впритык. Токен в KV-cache у 8B модели занимает примерно 0.5MB при стандартных настройках (fp16 KV). Значит 800MB — это около 1600 токенов контекста включая сам промпт. На простых вопросах хватит, на задачах где R1 раскручивает длинный chain of thought — нет. Лечится либо квантизацией KV через --kv-cache-type q8_0 если запускаешь через llama-server напрямую, либо выбором 7B-дистилляции.