Qwen

Семейство открытых моделей от Alibaba стало дефолтом локального инференса: Qwen2.5-Coder и Qwen3-Coder гоняют вместо платных API, а свежие MoE-версии пытаются уместить в одну карту на 24 ГБ. В треды несут замеры квантизаций Q4_K_M против Q5_K_M, опыт файнтюна через LoRA и расчёты, окупается ли своё железо. Если выбираете локальную модель под код или хотите выжать максимум из 3090 — вам сюда.

20 тем, 156 ответов, 6888 просмотров · все теги

Похожие теги: MoE 6новые модели 4GPU 3llama.cpp 3QLoRA 3LoRA 2kv cache 2контекст 2unsloth 2файнтюн 2файнтюнинг 2DeepSeek 1cpu инференс 1локальные-модели 1русский язык 1
  • Темы
Популярные запросы по теме: как запустить deepseek локальноqwen vs llama что лучшеmistral для локального запуска отзывылучшая локальная llm для кодакак запустить llama локально · все запросы →