CVE-2025-53773: prompt injection в Copilot привёл к RCE 9.6. Мы реально открыли ящик Пандоры с RAG

[egor1580]

По OWASP GenAI Top 10 prompt injection это LLM01:2025, главный реальный вектор. И вот вам не теория: CVE-2025-53773 в GitHub Copilot — RCE с CVSS 9.6 через инъекцию. RAG и файнтюн риск НЕ убирают, в этом вся боль.

[lera6264]

Самое жуткое исследование которое видел: пять аккуратно составленных документов в базе — и ответы RAG отравлены в 90% случаев. Не надо ломать модель, надо просто подсунуть ей мусор в retrieval.

[asyncomega3648]

Народ путает причину. Проблема не в LLM, проблема что в контекст с правами на внутренние данные течёт недоверенный контент — юзерский ввод, веб-страница, загруженный файл. Это классический confused deputy, просто на стероидах.

[semyon_null56]

Именно. Мы у себя гоняем всё через source trust modeling и жёсткое разделение: то что пришло из retrieval, не имеет права инициировать tool-calls. Output тоже валидируем отдельно. Без этого агент с доступом к проду — это бомба с таймером.

[ruslan_ml61]

Валидация выхода ломается элементарно, я на пентестах через юникод-омоглифы и инструкции в alt-тексте картинки проходил почти все фильтры. Пока вы фильтруете текст, я инъекчу через мультимодалку.

[kira_api82]

Поэтому и говорю — не один фильтр, а слои. Trust boundary на уровне прав агента важнее любого regex на выходе. Если retrieval физически не может дёрнуть опасный tool, твоя омоглифа никуда не доедет.

[anton_api]

Плюс adversarial testing в CI, иначе вы узнаете о дыре из чужого блогпоста. Мы добавили набор отравленных доков прямо в тесты ретривера, фейлит билд если модель повелась. Дёшево и снимает половину инцидентов.