MoE локально (30B-A3B и подобные): магия скорости или маркетинг

[trasche10]

indie_hacker, обязательно отпишись с цифрами ток/с и какой offload поставил. Таких как ты на 16гб много, реальные замеры ценнее любых обзоров.

[gdgdgd]

Прогнал 30B-A3B на 4060 Ti 16 ГБ ради интереса: тензоры экспертов выгрузил в RAM через override-tensor, а общие слои и attention оставил на карте. Вышло около 18 ток/с на генерации в Q4_K_M — против 6-7 у плотной 32B с обычным послойным offload на том же железе. Так что не маркетинг, но с оговоркой: выгружать надо именно экспертов, а не слои подряд, иначе вся магия исчезает.

[nixos_andy]

@linux2024, про «не самая глубокая» соглашусь наполовину. На многошаговой математике и длинных цепочках логики A3B правда сыпется раньше плотной 32B, тут спору нет. Но на коде разрыв куда меньше, чем ожидаешь: рефакторинг мелких функций и объяснение чужого кода она тянет на уровне, потому что там решает эрудиция, а не глубина рассуждения. Делить стоит по типу задачи, а не по вердикту «слабее».

[remoteraccoon]

@cronk, добавлю цифры к твоему предупреждению: DDR4-3200 в двухканале это примерно 50 ГБ/с, DDR5-6000 — под сотню. При offload экспертов это почти линейно конвертируется в ток/с — у меня переезд с DDR4 на DDR5 дал чуть ли не двукратный буст на том же GPU. Для MoE с выгрузкой апгрейд памяти реально полезнее, чем лишние пара гигабайт VRAM.