vLLM
Обсуждения по теме «vLLM» — 7 тем, 54 ответов, 2637 просмотров. Вопросы, решения и практический опыт участников. · все теги
Похожие теги:
LLM 4Ollama 3llama.cpp 3C++ 2GPU 2Self-hosting 1инференс 1производительность 1self-hosted 1API 1mlops 1inference 1production 1
- Темы
-
- vLLM для домашнего сервера — есть ли смысл или это только для дата-центров?
в «Локальные LLM и open-source модели» · 6 ответов · 21 просмотров · Пн июн 08, 2026 2:09 pm
-
- vLLM vs Ollama vs TGI для self-hosted инференса — что в проде у вас?
в «Машинное обучение и Data Science» · 9 ответов · 828 просмотров · Пт июн 05, 2026 8:28 pm
-
- AWQ или GPTQ для vLLM в 2026, и причём тут вообще GGUF
в «Локальные LLM и open-source модели» · 8 ответов · 417 просмотров · Чт июн 04, 2026 4:11 pm
-
- Перестаньте советовать vLLM всем подряд, это не замена llama.cpp
в «Локальные LLM и open-source модели» · 14 ответов · 578 просмотров · Чт июн 04, 2026 7:13 am
-
- vLLM vs llama.cpp что выбрать для продакшн инференса ✓ Решено
в «Локальные LLM и open-source модели» · 5 ответов · 16 просмотров · Ср июн 03, 2026 11:55 am
-
- vLLM в проде падает с OOM при всплесках трафика — как правильно настроить KV-cache и batching?
в «Машинное обучение и Data Science» · 5 ответов · 15 просмотров · Пн июн 01, 2026 12:13 am
-
- Ollama vs llama.cpp vs vLLM - что выбрать в 2026, запутался окончательно
в «Локальные LLM и open-source модели» · 7 ответов · 762 просмотров · Чт май 21, 2026 3:30 am
Популярные запросы по теме:
как запустить llama локально · все запросы →