Qwen3.5-40B-A4B вышла, apache 2.0. MoE, которая влезает в 32 гига обычной RAM

[torch22]

Алибаба ночью выложили Qwen3.5-40B-A4B, инстракт и базу. Активных параметров 4B, заявляют уровень плотной 32b при скорости мелочи. Лицензия apache 2.0, контекст 256к. GGUF от unsloth уже лежат, Q4_K_XL весит 23 гига, то есть влезает в 32 RAM вообще без видеокарты.

Кто уже гонял? Интересует реальная скорость на cpu и как у нее с русским. По графикам как всегда космос, но мы то знаем.

[juniorstack]

Запустил Q4_K_XL на 7950x, ddr5 6000 двухканал, чистый cpu без гпу: pp 48 t/s, генерация 13 t/s на пустом контексте, к 8к проседает до 9-10. Для процессора это отлично, плотная 32b на том же железе дает 2.5 t/s. llama-server -m модель -t 16 -c 16384, ничего хитрого.

[kotlin123]

на 3060 12gb плюс 64 гига рам через -n-cpu-moe выжал 27 t/s генерации, эксперты на проце, attention на карте. вот за это moe и любим. бюджетная карта из 2021 и нормальная скорость, дешевле сетап под локалки в 2026 наверно уже не собрать

[mjp1982]

@juniorstack, Опять нарисованные бенчмарки под aime и mmlu. Квены весь последний год это benchmaxxing, в таблицах боги, а в реальной работе с русским путается в падежах и канцелярит лезет. Подожду пару недель живых отзывов и арену, потом буду качать. Хотя кого я обманываю, уже качаю.

[thumper416]

что бы мы делали без китайцев. за год apache веса от квена, glm, дипсика, кими, а от меты после провала llama 4 тишина больше года. скажи кому в 2023, что открытые веса будут держаться на алибабе, покрутили бы у виска