DeepSeek R1 локально - кто-нибудь реально запустил полную версию дома?

[Bill2001]

Везде хайп про DeepSeek R1, но полная модель это 671B параметров. Народ выкладывает скрины с локальным запуском - это дистилляты или реально оригинал? Хочется reasoning локально, но без датацентра.

[vaultwizard]

Полный R1 671B дома гоняют единицы и то на сборках с 512+ ГБ RAM через mmap, скорость 1-2 t/s, на терпеливого. То что у большинства на скринах - дистилляты в Qwen/Llama (7B-70B). Не путай, это разные звери.

[docker13]

Был unsloth с динамическим квантом до ~130-150 ГБ, который якобы тащит на двух 3090 + оффлоад в RAM. Запускал - работает, но медленно, для чата неюзабельно, для оффлайн-задач сойдёт.

[valru]

А дистилляты R1 вообще держат тот самый reasoning или это маркетинг? Стоит ли с ними возиться?

[tx3300]

Дистилляты реально рассуждают в тегах think, и DeepSeek-R1-Distill-Qwen-32B по математике/коду весьма крепкий. Но это всё же не полноценный R1, на сложной многошаговой логике разница видна. Для дома 32B-дистиллят - оптимум.

[leelo]

Учтите что reasoning-модели жрут токены пачками, генерят простыни размышлений. На 30 t/s ответ может ехать минуту. Закладывайте контекст побольше и терпение.

[dannii]

И да, есть свежие MoE поменьше которые на одной карте летают и тоже умеют ризонинг. Иногда смысла гнаться за 671B нет вообще, если задача не на грани возможностей.

[sleepyraccoon]

Понял, возьму 32B-дистиллят для начала, а полный R1 оставлю мечтой до апгрейда оперативки. Спасибо за развёрнутые ответы!

[Bill2001]

@dannii, про токены — важное уточнение. Можно обрезать thinking через параметр в некоторых интерфейсах, но тогда теряется весь смысл reasoning-модели. Лучше сразу закладывать num_ctx минимум 8192 в Ollama (через Modelfile: PARAMETER num_ctx 8192), иначе на сложных задачах модель обрывает цепочку рассуждений на середине и выдаёт мусор. По скорости: на RTX 3090 Distill-Qwen-32B в Q4_K_M выдаёт около 18-22 t/s, что для reasoning вполне терпимо — минута на сложную задачу, не пять.

[k8s_master]

@docker13, про свежие MoE — имеешь в виду Qwen3-30B-A3B? Или что-то другое? Он действительно интересен: 3B активных параметров из 30B, влезает в 6-8 ГБ VRAM и reasoning через /think режим. Если да — добавлю что его стоит сравнивать с R1-Distill-Qwen-7B, а не с 32B, они в разных весовых категориях по скорости и качеству.