MoE локально (30B-A3B и подобные): магия скорости или маркетинг

[wasm_enjoyer]

Эти MoE-модели типа 30B всего с 3B активных параметров реально дают скорость маленькой модели при качестве большой? Или подвох? Хочу на своей 16гб карте что-то поумнее запустить.

[b1llyn0m]

Подвох в памяти: активны 3B, но в VRAM держать надо ВСЕ 30B весов, иначе на каждом токене дёргается разный эксперт и ты захлебнёшься на подкачке. Скорость как у 3B, аппетит к памяти как у 30B.

[Bill2001]

ml_engineer, то есть на 16гб 30B-A3B в Q4 (~18гб) целиком не влезет, и весь смысл теряется?

[lonelygoblin]

Не теряется, но придёт offload. У MoE есть фокус: можно держать общие/часто используемые слои в VRAM, а редких экспертов в RAM. llama.cpp умеет, и т.к. на токен активна малая часть, offload бьёт по скорости меньше чем у плотной модели.

[Marijuan]

Подтверждаю: 30B-A3B с частичным offload на CPU бегает шустрее чем плотная 14B с таким же offload, потому что активных весов мало. MoE это как раз про 'мало VRAM, но хочу умнее'. На чистом CPU тоже на удивление бодро.

[linux2024]

По качеству не ждите что A3B = плотная 30B. Активных 3B и это чувствуется на сложном рассуждении, MoE скорее 'быстрая и эрудированная, но не самая глубокая'. Для RAG и general chat отлично, для хардкорной логики плотная модель надёжнее.

[lonelygoblin]

gopher_max, тут спорно. На моих RAG-задачах 30B-A3B стабильно обходила плотные 14B и не сильно отставала от 32B при втрое большей скорости. 'Глубина' сильно зависит от типа задачи, обобщать не стала бы.

[bruce01]

Понял, попробую с offload экспертов в RAM. Звучит как идеальный вариант для моего железа: вроде и большая, и не помирает на 16гб.

[cronk]

Только проверь скорость RAM и шину, при offload именно ОЗУ становится бутылочным горлышком. На DDR4 двухканале будет грустнее чем на DDR5. У MoE это критичнее чем у плотных моделей из-за прыжков по экспертам.

[golang_nerd]

RustFan, у меня DDR5, надеюсь вытянет. Отпишусь по факту что получилось, спасибо за разбор, теперь хоть понимаю что покупаю а не на хайп ведусь.