3090 локальный инференс
Обсуждения по теме «3090 локальный инференс» — 2 тем, 13 ответов, 7 просмотров. Вопросы, решения и практический опыт участников. · все теги
Похожие теги:
скорость токенов llama.cpp 1q4 квантование 1llama.cpp скорость токенов 1qwen2.5 32b q4 1
- Темы
-
- Сколько токенов в секунду реально на 3090 в llama.cpp с Qwen2.5 32B Q4
в «Локальные LLM и open-source модели» · 7 ответов · 4 просмотров · 31 май 2026, 05:49
-
- Сколько токенов в секунду на 3090 в llama.cpp при Q4 квантовании
в «Локальные LLM и open-source модели» · 6 ответов · 3 просмотров · 20 май 2026, 10:14