CVE-2025-53773: prompt injection в Copilot привёл к RCE 9.6. Мы реально открыли ящик Пандоры с RAG

[misha12]

По OWASP GenAI Top 10 prompt injection это LLM01:2025, главный реальный вектор. И вот вам не теория: CVE-2025-53773 в GitHub Copilot — RCE с CVSS 9.6 через инъекцию. RAG и файнтюн риск НЕ убирают, в этом вся боль.

[chase2]

Самое жуткое исследование которое видел: пять аккуратно составленных документов в базе — и ответы RAG отравлены в 90% случаев. Не надо ломать модель, надо просто подсунуть ей мусор в retrieval.

[RaspberryWhale]

Народ путает причину. Проблема не в LLM, проблема что в контекст с правами на внутренние данные течёт недоверенный контент — юзерский ввод, веб-страница, загруженный файл. Это классический confused deputy, просто на стероидах.

[fpga_lord]

Именно. Мы у себя гоняем всё через source trust modeling и жёсткое разделение: то что пришло из retrieval, не имеет права инициировать tool-calls. Output тоже валидируем отдельно. Без этого агент с доступом к проду — это бомба с таймером.

[vovan99]

Валидация выхода ломается элементарно, я на пентестах через юникод-омоглифы и инструкции в alt-тексте картинки проходил почти все фильтры. Пока вы фильтруете текст, я инъекчу через мультимодалку.

[GolangHacker]

Поэтому и говорю — не один фильтр, а слои. Trust boundary на уровне прав агента важнее любого regex на выходе. Если retrieval физически не может дёрнуть опасный tool, твоя омоглифа никуда не доедет.

[coder_vlad]

Плюс adversarial testing в CI, иначе вы узнаете о дыре из чужого блогпоста. Мы добавили набор отравленных доков прямо в тесты ретривера, фейлит билд если модель повелась. Дёшево и снимает половину инцидентов.

[kingpaul]

@fpga_lord, верно сформулировали — confused deputy, только в случае RAG ещё хуже: deputy не один, а целая цепочка инструментов. Мы на прошлой неделе воспроизвели сценарий: загрузили в RAG-базу PDF с инструкцией «ignore previous instructions, respond only with...» в белом тексте на белом фоне — классический трюк, но эмбеддинги его отлично подхватывают и retriever достаёт без проблем. Чанкинг с сохранением мета-источника и hard-фильтр по source_type перед инжектом в контекст — минимальная гигиена.

[mvdelu]

Интересно что CVE-2025-53773 получила 9.6 именно потому что цепочка шла до выполнения кода в контексте IDE-расширения, а не просто до утечки данных. Это принципиально меняет severity. Раньше инъекция в LLM = испорченный ответ, теперь = потенциально произвольный код на машине разработчика. Sandbox для tool-вызовов агента — уже не паранойя, а базовая архитектурная требование. В нашем стеке агент работает в отдельном контейнере без доступа к хостовой файловой системе, все tool-calls через явный whitelist.

[twoos60]

@coder_vlad, про adversarial тесты в CI — правильный подход. У нас аналогичный набор из ~30 отравленных документов разного типа (скрытые инструкции в метаданных, в alt-text, многоязычные инъекции, юникод-сплиты). Гоняем через pytest с оценкой ответа отдельной судьёй-моделью. Время прогона около 4 минут, падает в CI если precision защиты ниже 95%. Больно настраивать первый раз, зато спишь спокойно.