llama.cpp
Обсуждения по теме «llama.cpp» — 9 тем, 74 ответов, 3315 просмотров. Вопросы, решения и практический опыт участников. · все теги
Похожие теги:
C++ 4GPU 4LLM 3Ollama 3vLLM 3windows 1инференс 1gguf 1квантизация 1конвертация 1бенчмарки 1RTX4090 1vram 1Qwen3 1MoE 1
- Темы
-
- Ollama не видит GPU на Windows 11 что делать ✓ Решено
в «Локальные LLM и open-source модели» · 6 ответов · 9 просмотров · Пт июн 05, 2026 7:34 pm
-
- Перестаньте советовать vLLM всем подряд, это не замена llama.cpp
в «Локальные LLM и open-source модели» · 14 ответов · 562 просмотров · Чт июн 04, 2026 7:13 am
-
- vLLM vs llama.cpp что выбрать для продакшн инференса ✓ Решено
в «Локальные LLM и open-source модели» · 5 ответов · 8 просмотров · Ср июн 03, 2026 11:55 am
-
- Speculative decoding дал +60% скорости почти бесплатно, почему молчат
в «Локальные LLM и open-source модели» · 6 ответов · 803 просмотров · Вт июн 02, 2026 4:01 am
-
- Ollama vs llama.cpp напрямую — реально ли 23% разница в скорости или маркетинг?
в «Локальные LLM и open-source модели» · 6 ответов · 9 просмотров · Пн июн 01, 2026 12:21 pm
-
- Как конвертировать модель в GGUF формат для llama.cpp ✓ Решено
в «Локальные LLM и open-source модели» · 6 ответов · 9 просмотров · Пн июн 01, 2026 10:52 am
-
- Кейс фейла: выкатили локальную LLM в прод, через час всё легло
в «Локальные LLM и open-source модели» · 19 ответов · 1151 просмотров · Вс май 24, 2026 10:58 am
-
- Qwen3.6 35B MoE на одной 24GB карте — у кого получилось нормально запустить?
в «Локальные LLM и open-source модели» · 5 ответов · 8 просмотров · Чт май 21, 2026 6:55 pm
-
- Ollama vs llama.cpp vs vLLM - что выбрать в 2026, запутался окончательно
в «Локальные LLM и open-source модели» · 7 ответов · 756 просмотров · Чт май 21, 2026 3:30 am