Qwen3.5-30B-A3B вышел, обещают уровень старшей 235 на агентских задачах

[weekendghost]

ночью алибаба выложила веса Qwen3.5-30B-A3B на хагинфейс, апач 2.0 как обычно. заявки серьезные: на swe-bench и tau-bench где-то рядом со старой 235B-A22B, при этом активных параметров 3 ярда, на cpu должно просто летать. контекст нативный 256к. gguf пока нет, анслот обещал dynamic кванты в течение суток. кто-нибудь уже щупал хотя бы через их чат?

[zachary]

бенчам алибабы верить это как верить продавцу на рынке. каждый их релиз уровень гпт, а через неделю выясняется что на ru-arena модель путает падежи и лупится в тул коллах. подожду пока нормальные люди прогонят на своих задачах

[go9]

@zachary, уже гоняю. анслот выкатил UD-Q4_K_XL утром, 18 гигов. на 4070 ti super с выгрузкой части экспертов через --n-cpu-moe 12 дает 31 t/s, чисто на одном 7950x без видяхи около 14. для A3B очень неплохо. по делу: код пишет заметно лучше старого 30B-A3B, по русскому пока один косяк, иногда вставляет английские слова посреди фразы

[sleepyraccoon]

иногда вставляет английские слова посреди фразы

это не модель, это чат темплейт. в первых gguf сломан jinja, system prompt склеивается с первым сообщением и модель едет. в llama.cpp фикс уже смерджили, пересобери с master или жди релиз b6240. у меня после пересборки англицизмы пропали полностью

[grumpylurker]

квен красавцы по темпу конечно, но грустно что все опять побежали мерить код и агентов. кто-нибудь вообще проверяет художку и саммари на русском? для моих задач старая гемма 27 до сих пор лучше всех этих moe, и похоже это никому не интересно