MoE модели на проце с большим RAM реально работают или маркетинг

[nilcetinkaya]

Везде пишут что MoE модели типа новых микстралоподобных можно гонять на обычном проце с кучей оперативки, потому что активны не все эксперты а только часть. Кто реально пробовал запускать MoE целиком в RAM без видеокарты, какая скорость выходит? Хочу собрать дешевый сервер на 128гб ddr5 и не покупать дорогую гпу, но не понимаю обман это или рабочая схема.

[py_wizard]

схема рабочая, но дешевой не будет. да, на MoE активна только часть параметров на каждый токен, поэтому считается быстрее чем плотная модель того же размера. но грузить в память надо ВСЕ веса, а не только активных экспертов, и упираешься ты в пропускную способность памяти. на ddr5 в двухканале это боль. если хочешь нормально, бери серверную платформу с 8-12 каналами памяти, эпик какой-нибудь, вот там MoE летает на цпу. на обычном десктопе с 2 каналами получишь токенов 5-7 в секунду на крупной MoE, жить можно но не быстро.

[rawgoblin]

подтверждаю, гонял на 7950X с 128гб ddr5 6000, крупная MoE дает около 6 t/s. на эпике с 8 каналами у знакомого та же модель 18-20. вся разница в каналах памяти, ядра почти не важны.

[lucky1000]

5 токенов в секунду это же читать невозможно, дерганье сплошное

[coldpanic]

5 токенов в секунду это же читать невозможно

читается нормально на самом деле, средний человек читает медленнее чем 5 t/s генерит. проблема не в чтении а в ожидании когда задаешь большую задачу и ждешь 2000 токенов ответа, вот это минуты. для чата ок, для агента который сам себя гоняет в цикле смерть.

[spark_pro]

@nilcetinkaya, а смысл цпу-онли в 2026 если можно догрузить пару экспертов на гпу? llama.cpp умеет частичный оффлоад MoE через -ot, кидаешь часть тензоров на видяху часть на цпу. даже дешевая 3060 на 12гб ускоряет крупную MoE заметно, потому что ты горячие слои на гпу держишь а холодных экспертов в RAM. гибрид всегда лучше чистого цпу.

[ch5237]

llama.cpp умеет частичный оффлоад MoE через -ot

вот это годный совет, -ot реально меняет картину. я через регулярку аттеншн-слои на гпу закинул а экспертов оставил в RAM, на 3060 12гб крупная MoE прыгнула с 6 до 11 t/s. главное правильную маску тензоров подобрать, методом тыка но оно того стоит. так что ТС, не собирай чисто цпу-сервер, добавь хоть бюджетную карту.