Вышли веса Qwen3.5-35B-A4B, первые впечатления от квантов

[spark_main]

Сегодня ночью алибаба выложила веса Qwen3.5-35B-A4B. MoE, 35B всего, 4B активных. Заявляют уровень плотной 32B при скорости 8B. GGUF от unsloth уже лежат, но первая партия была с битым chat template, если качали утром, перекачайте. В llama.cpp поддержка только со вчерашнего билда, обновляйтесь, иначе ловите unknown architecture.

Мои цифры на 3090: Q4_K_XL влезает целиком, 62 t/s генерации. Русский заметно чище тройки, меньше китаизмов в длинных текстах. По коду пока не понял, на моих задачах примерно как Qwen3-32B.

Кто еще гонял? Интересует длинный контекст, заявлено 256к, но верится с трудом.

[maddogdmx]

62 t/s после плотной 32b звучит как сказка. качаю

[denoops]

Заявляют уровень плотной 32B, ага. Каждый релиз заявляют уровень модели в два раза больше, а по факту на третьем сообщении диалога все сыпется. Бенчмарки давно меряют умение тренироваться на бенчмарках, а не ум. Подожду пару недель реальных отзывов, потом качну.

[seniorwarlock]

@spark_main, а на 3060 12gb что светит? iq3 наверное совсем лоботомит будет

[ama123]

@grafit_v так это же MoE, тут другая математика. Эксперты выгружаешь в RAM через -n-cpu-moe, на карте остается общий костяк и кэш. У меня на 3060 + 64gb ddr5 крутится Q4 на 18 t/s, активных параметров то всего 4B. Это и есть главный плюс таких моделей для бомж-сборок, не надо ничего в iq3 ужимать.

[omnicrom]

прогнал свою проверку на длинном контексте, поиск фактов по выгрузке из конфлюенса. до 32к держится отлично, на 48к начала путать даты документов, дальше не мучал. для 35B все равно очень прилично, у тройки на 24к уже плыло

[terraform_ops]

@maddogdmx, ванильный квен как всегда зажат, на любой острый вопрос уходит в нравоучения. ждем abliterated и тюны, тогда и поговорим