Все хвастаются токенами генерации, а prompt processing кто мерил? 25к промпта у меня жуется минуту

[norym]

Крутится у меня RAG-агент на 3090: Qwen3 32B Q4_K_M, llama.cpp, в карту целиком не лезет, -ngl 48 из 64, остальное на CPU (5700X, 64 гига DDR4). Генерация 11-12 t/s, жить можно. Но каждый запрос агента это 20-25к токенов промпта: системник, найденные доки, история. И эти 25к при pp около 400 t/s жуются секунд 60. Пользователь минуту смотрит на спиннер, потом еще ответ капает.

Открываю любую тему про скорость, все меряются генерацией: у меня 15 t/s, а у меня 30. А prompt processing будто не существует. При этом для рага и агентов он важнее генерации, ответ-то обычно короткий.

Чем лечить, кроме как купить вторую карту?

[nfrancis]

@norym, лечится ровно тем, от чего ты отмахнулся в начале. pp 400 у тебя именно из-за частичного офлоада, префилл на цпу-слоях умирает первым. влезь целиком в 24 гига: возьми 32B в IQ4_XS или вообще 14B в Q6, kv кэш в q8_0, и pp станет 900-1000+. для агентов модель поменьше целиком на карте почти всегда лучше, чем жирная с офлоадом, проверено не раз

[hunter22]

--cache-reuse 256 пробовал? если у запросов общий префикс, а системник и часть доков у тебя наверняка повторяются, сервер пережует только изменившийся хвост. у меня на похожем агенте среднее время префилла упало раза в три, потому что реально нового в промпте обычно тысяч 5, а не 25. только промпт собирай так, чтобы стабильная часть шла в начале, иначе кэш бесполезен

[add007]

Открываю любую тему про скорость, все меряются генерацией: у меня 15 t/s, а у меня 30

потому что tg это одна удобная цифра, а pp зависит от длины промпта, батча и фазы луны, лол. llama-bench кстати выдает pp512 и tg128 отдельными колонками, просто вторую никто в темы не несет. для справки: 3090 на 32B Q4 при полном офлоаде дает pp в районе тысячи, так что твои 400 это чисто цена офлоада, выше верно расписали

[guardia]

душная добавка: подними -ub до 1024-2048, по дефолту там 512. на длинных промптах дает до полутора раз к pp. цена вопроса лишний гиг-полтора VRAM на активации, у тебя с офлоадом его нет, но если переедешь на модель поменьше, не забудь

[tsav]

а pp это вообще что? первый раз вижу аббревиатуру

[golanglover]

а pp это вообще что? первый раз вижу аббревиатуру

prompt processing, оно же prefill. скорость, с которой модель пережевывает твой промпт до первого токена ответа. и вот тут смешное: маководы хвастаются своими 25 t/s генерации на M4, а префилл у маков в разы дохлее, чем у любой нвидии. на промпте в 25к, как у ОП, мак будет думать минуты три. так что метрика реально недооцененная, бенчите обе