Перепробовал кучу моделей для автодополнения и рефакторинга локально. Qwen2.5-Coder 32B пока лучшее что видел из открытого, реально близко к облачным. У кого другой опыт, есть что-то ещё сильнее?
Согласен, Qwen2.5-Coder 32B на FIM (заполнение посередине) отрабатывает шикарно, в Continue.dev завёл как локальный копайлот. 7B-версия для автокомплита в реалтайме тоже огонь, быстрая и не тупит.
Для Rust всё ещё иногда галлюцинирует несуществующие методы крейтов, но реже чем остальные. На Python и JS претензий вообще нет. Codestral от Mistral тоже неплох, но Qwen субъективно точнее.
Я связку держу: 7B Coder в редакторе для inline-подсказок, 32B дёргаю в чате для разбора сложных кусков и ревью. По железу - 7B на ноуте, 32B на десктопе с 3090. Очень удобно.
Qwen2.5-Coder заявлен до 128к через YaRN, но честно держит хорошо тысяч 32. Дальше начинает терять детали в начале файла. Для одного-двух файлов за глаза, на целый репозиторий лучше RAG прикручивать.
Добавлю про SQL - именно Coder-версия заметно лучше базового Instruct в сложных джойнах и оконных функциях. Если работа крутится вокруг баз, берите именно coder-вариант, не обычный чат.
