MoE
Тема про модели Mixture-of-Experts, где активна лишь часть параметров, поэтому здоровенный 200B+ можно гонять без датацентра. Делятся реальными конфигами и цифрами: Qwen3.6 235B на б/у эпике, MoE-варианты вроде Qwen3.5-40B-A4B, влезающие в 32 ГБ обычной RAM, запуск 35B на одной 24GB карте. Сравнивают Ryzen AI Max+ 395 со 128 ГБ против пары б/у 3090 и спорят, где дешёвый инференс, а где красивый маркетинг. Сюда идут за практикой домашнего запуска больших моделей без топового железа.
15 тем, 89 ответов, 763 просмотров · все теги
Похожие теги:
llama.cpp 7Qwen 6новые модели 4cpu инференс 3Qwen3 2strix-halo 2железо 2новые веса 2Epyc 2ik_llama.cpp 2kimi 2vram 1RTX 3090 1gguf 1glm 1
- Темы
-
- Strix Halo 128гб или две б/у 3090: на чем собирать домашний инференс в 2026?
в «Локальные LLM и open-source модели» · 6 ответов · 62 просмотров · 12 июн 2026, 08:52
-
- Запустил Qwen3.6 235B дома на б/у эпике без топовой видяхи, делюсь цифрами
в «Локальные LLM и open-source модели» · 10 ответов · 81 просмотров · 11 июн 2026, 23:21
-
- Вторая 3090 с Авито или одна 5090: на чём жить с локальными LLM в 2026?
в «Локальные LLM и open-source модели» · 5 ответов · 47 просмотров · 09 июн 2026, 20:43
-
- Qwen3.6 35B MoE на одной 24GB карте — у кого получилось нормально запустить?
в «Локальные LLM и open-source модели» · 7 ответов · 66 просмотров · 09 июн 2026, 20:02
-
- Ryzen AI Max+ 395 со 128 ГБ — реально дешёвый инференс на 200B+ или красивый маркетинг?
в «Локальные LLM и open-source модели» · 4 ответов · 58 просмотров · 09 июн 2026, 18:41
-
- Kimi K2.5 выложили, триллион параметров. Опенсорс, который никто не запустит
в «Локальные LLM и open-source модели» · 8 ответов · 56 просмотров · 31 май 2026, 12:05
-
- Qwen3.5-30B-A3B вышел, обещают уровень старшей 235 на агентских задачах
в «Локальные LLM и open-source модели» · 4 ответов · 45 просмотров · 24 май 2026, 23:09
-
- Вышли веса Qwen3.5-35B-A4B, первые впечатления от квантов
в «Локальные LLM и open-source модели» · 6 ответов · 50 просмотров · 23 май 2026, 19:20
-
- Qwen3.5-35B-A4B вышел, MoE с 4 млрд активных, первые впечатления
в «Локальные LLM и open-source модели» · 5 ответов · 37 просмотров · 23 май 2026, 14:57
-
- Qwen3-235B на 128 гигах RAM, реально выжать больше 5 t/s?
в «Локальные LLM и open-source модели» · 6 ответов · 42 просмотров · 23 май 2026, 09:27
-
- GLM-5-Air, 110B на 3060 и 64GB RAM: MoE офлоад в llama.cpp дозрел. Замеры внутри
в «Локальные LLM и open-source модели» · 7 ответов · 53 просмотров · 21 май 2026, 13:38
-
- Qwen3.5 вышел, мелкий MoE 42B-A6B выглядит как новый домашний дефолт
в «Локальные LLM и open-source модели» · 5 ответов · 45 просмотров · 20 май 2026, 23:16
-
- Qwen3.5-40B-A4B вышла, apache 2.0. MoE, которая влезает в 32 гига обычной RAM
в «Локальные LLM и open-source модели» · 4 ответов · 30 просмотров · 18 май 2026, 05:37
-
- Собрал сервер под Qwen3-235B на б/у Epyc за 100к, MoE на CPU это уже не мем
в «Локальные LLM и open-source модели» · 7 ответов · 48 просмотров · 13 май 2026, 19:15
-
- Kimi K2.5 выложили веса, триллион параметров. Опенсорс который никому не запустить
в «Локальные LLM и open-source модели» · 5 ответов · 43 просмотров · 13 май 2026, 16:11
Популярные запросы по теме:
что такое ubuntu server и зачем он нужен · все запросы →