DeepSeek R1 локально - кто-нибудь реально запустил полную версию дома?

[polina_dev]

Везде хайп про DeepSeek R1, но полная модель это 671B параметров. Народ выкладывает скрины с локальным запуском - это дистилляты или реально оригинал? Хочется reasoning локально, но без датацентра.

[omegaai1991]

Полный R1 671B дома гоняют единицы и то на сборках с 512+ ГБ RAM через mmap, скорость 1-2 t/s, на терпеливого. То что у большинства на скринах - дистилляты в Qwen/Llama (7B-70B). Не путай, это разные звери.

[roman_sigma]

Был unsloth с динамическим квантом до ~130-150 ГБ, который якобы тащит на двух 3090 + оффлоад в RAM. Запускал - работает, но медленно, для чата неюзабельно, для оффлайн-задач сойдёт.

[jsbyte2560]

А дистилляты R1 вообще держат тот самый reasoning или это маркетинг? Стоит ли с ними возиться?

[valera9507]

Дистилляты реально рассуждают в тегах think, и DeepSeek-R1-Distill-Qwen-32B по математике/коду весьма крепкий. Но это всё же не полноценный R1, на сложной многошаговой логике разница видна. Для дома 32B-дистиллят - оптимум.

[miron_ai]

Учтите что reasoning-модели жрут токены пачками, генерят простыни размышлений. На 30 t/s ответ может ехать минуту. Закладывайте контекст побольше и терпение.

[omegadata7864]

И да, есть свежие MoE поменьше которые на одной карте летают и тоже умеют ризонинг. Иногда смысла гнаться за 671B нет вообще, если задача не на грани возможностей.

[gocrypto3721]

Понял, возьму 32B-дистиллят для начала, а полный R1 оставлю мечтой до апгрейда оперативки. Спасибо за развёрнутые ответы!