DeepSeek R1 8B на 6GB VRAM запустить реально или нет

[gleb_dns92]

Есть ноутбук с RTX 4060 Laptop (6GB VRAM) и 32GB RAM. Хочу попробовать DeepSeek R1 — именно reasoning-модель, не просто chat. Смотрю на 8B версию. В Ollama есть deepseek-r1:8b, но боюсь что не влезет или будет слишком медленно. Кто пробовал на похожем железе?

[sergey3164]

Влезет. deepseek-r1:8b в дефолтной квантизации Q4_K_M занимает около 5.1GB VRAM. На 4060 Laptop это должно проходить, правда с небольшим запасом — около 700-800MB остаётся на KV-cache, то есть с длинными reasoning-цепочками (они у R1 бывают очень длинными) могут быть проблемы на сложных задачах.

[filipp_code88]

Подтверждаю что работает, у меня 4060 с 8GB, запускал через Ollama. Скорость около 15-18 токенов/сек, что для reasoning-модели вполне норм — она и так думает долго, ждёшь chain of thought. На 6GB будет чуть напряжённее, но попробуй сначала.

[flowgo4491]

Важный нюанс про R1: модель генерирует теги <think>...</think> перед ответом, и этот думающий текст может быть очень длинным — 500-2000 токенов на нетривиальных задачах. Каждый токен занимает место в KV-cache. Если у тебя 6GB и модель займёт 5.1GB, то под контекст остаётся совсем мало. Ollama по умолчанию устанавливает num_ctx 2048, что должно спасти ситуацию, но для реально сложных рассуждений может не хватить.

[svetlana_ssh]

Если 8B покажется тесновато — есть ещё вариант с дистиллированными версиями R1. На Hugging Face есть DeepSeek-R1-Distill-Qwen-1.5B и 7B — это Qwen модели дообученные на reasoning данных от R1. 7B-версия в Q4_K_M занимает ~4.4GB и работает заметно шустрее при сопоставимом качестве рассуждений на стандартных задачах.

[semyon7320]

Для запуска через Ollama просто: ollama pull deepseek-r1:8b и потом ollama run deepseek-r1:8b. В процессе запуска в логах (ollama serve в отдельном терминале) увидишь сколько реально VRAM взяла модель. Если не хватает GPU памяти, Ollama автоматически начнёт offload слоёв в RAM — будет медленнее, но работать будет.