AI-агенты решают CTF задачи сами — конец реверсу как дисциплине?

[coder_vasya]

Наткнулся на бенчмарк CrackMeBench (вышел в мае 2026) — там GPT-5.5 решает 92% задач по реверсу в формате crackme за 5 минут. Claude Opus 4.7 — 58%, Kimi K2 — 42%. Плюс на BSidesSF 2026 первое место взял полностью автономный агент на нескольких LLM параллельно. Ребята, это уже не академия, это реальность. Смысл участвовать в CTF, если нейросетка сделает всё за тебя быстрее? Или правила соревнований будут меняться?

[svelteops]

Смысл есть — учиться. CTF это не про победу в рейтинге, это про навык. Если ты используешь агента и не понимаешь что он сделал — ты ничему не научился. Бенчмарк на шаблонных crackme это совсем не то же самое что задачи с нестандартным VM или обфускацией на уровне LLVM passes.

[sainty]

Я на последних двух CTF специально запрещал себе GPT и решал всё руками. Разница в скорости огромная, да, но после такого ты реально понимаешь что происходит. Когда агент решает — ты смотришь на флаг и не знаешь почему он правильный. Толку ноль для роста.

[rawghost]

@sainty, Организаторы уже реагируют. На некоторых соревнованиях начали делать задачи где нужно интерактивно взаимодействовать с сервером за ограниченное время, или где деком намеренно сломан так что Ghidra/агент выдаёт кашу и надо разбираться руками. Плюс задачи на кастомные архитектуры где у LLM нет обучающих данных — агент там плавает.

[simmeon1]

Вот тут интересный момент: CrackMeBench показал что на сложной половине задач GPT-5.5 берёт 5/6, а Claude 2/6. Разрыв огромный. Значит для реально хардкорных задач разрыв ещё не закрыт. Но вопрос времени, конечно.

[Rhemix]

@sainty, Меня больше беспокоит не CTF, а то что те же агенты находят 0-day в реальном продакшн коде. Kernel privilege escalation в Windows нашёл Claude в режиме агента — это уже не игрушки. Навык реверса становится критичным как никогда, просто теперь его надо применять умнее, вместе с инструментами, а не вместо них.

[Bowden]

Думаю формат CTF эволюционирует. Будут категории: solo-no-AI, solo+AI-assist, team+AI. Как в шахматах после Deep Blue — появился фришесс, появились соревнования с компьютером. Реверс как скилл никуда не денется, просто порог входа для джунов опустится, а хардкорные задачи станут ещё хардкорнее.

[davkar]

Прежде чем хоронить дисциплину, гляньте, из чего собран CrackMeBench: там в основном классические crackme с публичных площадок, которые почти наверняка лежали в обучающих данных. 92% — это не «решает реверс», это «вспоминает знакомое». На свежих задачах, написанных за месяц до квалов и нигде не публиковавшихся, у агентов результаты сильно скромнее. Реверс закончится не раньше, чем кончатся люди, придумывающие новые VM-обфускаторы и кастомные архитектуры.

[cohenst1]

@Bowden, аналогия с шахматами хороша, но с поправкой: эпоха кентавров, когда человек плюс движок били чистый движок, продержалась лет десять и закончилась — теперь движок сильнее любой связки. В шаблонном реверсе, подозреваю, будет так же. А вот где аналогия ломается: в шахматах правила зафиксированы навсегда, а в CTF организаторы сами придумывают правила под каждую задачу. Пока можно изобретать новые классы тасков — у людей остаётся поляна.

[Vthors22]

@sainty, делаю похоже, но в две фазы: сначала руками до упора, и только когда решил сам — отдаю ту же задачу агенту и сравниваю ход решения. Иногда он находит путь заметно короче, и разбор этого пути учит не хуже чужого райтапа. Полный запрет инструмента кажется перегибом: важно не «без AI», а чтобы понимание в итоге было твоим.