LLM в продукте — кто как защищается от prompt injection? OWASP LLM Top 10

[mlapi1093]

Прикрутили в саппорт-бота RAG поверх внутренней вики. ИБшники подняли вопрос про prompt injection: пользователь может через сообщение вытащить системный промпт или заставить бота лезть в чужие данные. Как у вас с этим, есть рабочие практики?

[pynode5808]

Главное правило — не давайте модели прав, которых вы бы не дали анонимному юзеру. Авторизация и фильтрация данных должны быть НА УРОВНЕ retrieval, до того как контекст уйдёт в LLM. Сам промпт защитить нельзя, его рано или поздно вытащат.

[ruslan_flux89]

Indirect prompt injection самое злое — когда инструкция спрятана в документе который попадает в RAG. Юзер вроде ничего плохого не писал, а в подгруженной странице 'ignore previous instructions and...'. Тестируйте именно этот вектор.

[nethex8167]

А guardrails-модели типа Llama Guard или промпт-классификаторы на входе помогают вообще?

[natalia_quant16]

Помогают снизить процент, но это не граница безопасности, а фильтр шума. Закладываться на то что классификатор поймает все джейлбрейки нельзя, обходят регулярно. Это defense in depth, один из слоёв.

[maxim_null91]

Понял, значит делаем строгий tenant-скоупинг на этапе поиска по вектору и не даём боту инструментов с записью. Вывод тоже санитизировать перед рендером в html?

[boris_go78]

Обязательно. Был кейс с markdown-картинкой  — модель вставляет ссылку, браузер пользователя сам сливает данные на сервер атакующего. Экранируй вывод как недоверенный, всегда.

[anna7233]

Ещё накидайте свой набор jailbreak-пейлоадов в CI и гоняйте на каждый деплой. У нас живёт regression-сьют из ~200 атак, ловит когда кто-то ослабил системный промпт.