Лучшая локальная модель под код в 2026 - Qwen2.5-Coder всех уделал?

[harringt]

Перепробовал кучу моделей для автодополнения и рефакторинга локально. Qwen2.5-Coder 32B пока лучшее что видел из открытого, реально близко к облачным. У кого другой опыт, есть что-то ещё сильнее?

[delphin]

Согласен, Qwen2.5-Coder 32B на FIM (заполнение посередине) отрабатывает шикарно, в Continue.dev завёл как локальный копайлот. 7B-версия для автокомплита в реалтайме тоже огонь, быстрая и не тупит.

[misha12]

Для Rust всё ещё иногда галлюцинирует несуществующие методы крейтов, но реже чем остальные. На Python и JS претензий вообще нет. Codestral от Mistral тоже неплох, но Qwen субъективно точнее.

[Omoto]

Я связку держу: 7B Coder в редакторе для inline-подсказок, 32B дёргаю в чате для разбора сложных кусков и ревью. По железу - 7B на ноуте, 32B на десктопе с 3090. Очень удобно.

[lonelygoblin]

О, идея с двумя моделями под разные задачи годная. А контекст какой выставляете под анализ больших файлов?

[roero]

Qwen2.5-Coder заявлен до 128к через YaRN, но честно держит хорошо тысяч 32. Дальше начинает терять детали в начале файла. Для одного-двух файлов за глаза, на целый репозиторий лучше RAG прикручивать.

[Manuelriere]

Добавлю про SQL - именно Coder-версия заметно лучше базового Instruct в сложных джойнах и оконных функциях. Если работа крутится вокруг баз, берите именно coder-вариант, не обычный чат.

[Omoto]

Спасибо, ребят. Похоже Qwen2.5-Coder это пока консенсус. Попробую связку 7B+32B как frontend_vasya предложил, звучит как мой сетап.

[gdgdgd]

@Omoto, связка 7B для инлайна и 32B для чата звучит разумно, но у меня немного другой опыт по железу: на ноуте даже 7B в Q4_K_M при FIM начинает тупить если контекст файла больше 2-3 тысяч токенов — суммарная задержка до первого токена уже заметна в редакторе. Помогает держать 7B в Q2_K или использовать отдельную маленькую модель типа Qwen2.5-Coder 1.5B именно для автокомплита, а 7B уже для chat-сценариев.

[bunmaker]

@misha12, галлюцинации на Rust крейтах у Qwen лечатся частично через system prompt с явным указанием «не выдумывай методы, если не уверен — скажи». Плюс помогает держать в контексте Cargo.toml — модель тогда видит реальный список зависимостей и реже придумывает несуществующее API. Не идеально, но количество галлюцинаций падает ощутимо.