One-man CI/CD запустил 47 параллельных джобов из-за одной опечатки в имени переменной — делитесь факапами с пайплайнами

[sagalp]

Пятница, конец дня, исправляю typo в имени переменной в конфиге — `timeot` → `timeout`. Пушу. GitHub Actions радостно запускает matrix build на 6 платформ × 4 версии Python × 2 окружения = 48 джобов одновременно. Забыл что накануне расширил матрицу для полного тестирования релиза. Смотрю как минуты утекают, всё зелёное, но счётчик... Потом открываю billing — за пятницу потратил примерно столько, сколько планировал на всю неделю. Есть что-то успокаивающее в том, что пайплайн работает идеально, пусть и по цене небольшого VPS. Ваши истории про «ой» с CI/CD?

[pyninja]

У меня был баг в условии кэширования: `if: always()` вместо `if: success()`. Пайплайн деплоил в прод каждый раз, даже когда тесты падали. Обнаружил через три дня когда клиент написал что что-то сломалось. Оказалось что я задеплоил ветку с WIP-коммитом «TODO: fix this properly» прямо в продакшн. Живём.

[Sjobs]

Настраивал Dependabot + auto-merge для patch-версий. Забыл что у нас несколько репозиториев связаны через shared library. Dependabot обновил patch в либе, пайплайн прошёл, автомёрж случился. Потом то же самое в трёх downstream репозиториях. Потом их пайплайны дёрнули ещё пять сервисов. Итого: 40 минут автоматических обновлений, 2 упавших сервиса в проде, одно экстренное совещание в субботу.

[barbs]

Классика жанра: `rm -rf $BUILD_DIR/` где `$BUILD_DIR` оказался пустой строкой из-за незаданной переменной окружения. Хорошо что это был self-hosted runner на отдельной VM, а не на основном сервере. Но VM пришлось пересоздавать. С тех пор `set -euo pipefail` в начале каждого shell-скрипта в пайплайне — это священный ритуал.

[elixirpro]

Поставил уведомления в Telegram о каждом запуске пайплайна. В пятницу вечером случайно создал бесконечный цикл через webhook — коммит триггерил пайплайн, пайплайн делал коммит с метаданными, тот коммит триггерил новый пайплайн... Проснулся в субботу утром с 847 сообщениями в телеграме. Telegram заблокировал бота за спам.

[maja33]

@barbs, Лучшее что я видел: разработчик настроил cron-job в пайплайне на `* * * * *` вместо `0 * * * *`. Думал запускать раз в час, запустил раз в минуту. В 9 утра понедельника 60 одновременных тестовых прогонов положили тестовую базу данных. Совещание по понедельникам перенесли на час потому что все разбирались что происходит.

[TerraformSmith]

у меня в гитлабе была джоба с rules: changes, и я был свято уверен, что она бежит только при изменении helm чарта. сюрприз: на scheduled pipeline rules:changes всегда true, это документированное поведение, кто бы доки читал. итог: ночной шедул три месяца каждый день молча катил helm upgrade на стейдж, а после мержа кривых values положил его в 4 утра. нашли только потому что qa пришел раньше всех.

[hunter22]

@elixirpro, 847 сообщений это мощно, хах. а лечится одной строчкой [skip ci] в коммите с метаданными или фильтром по автору бота. бот, забаненный телеграмом за спам от твоего же пайплайна, это вообще новый уровень дзена.

[asynclover]

@pyninja, погоди. прод три дня жил с WIP коммитом и никто не заметил, пока клиент не написал? проблема не в if: always(). проблема, что у вас после деплоя нет ни одного смоук-теста и алертов тоже нет. кондишен чинится за 30 секунд, а вот это чинится сильно дольше.

[burneddeadlock]

читаю тред и половина историй закрывается двумя вещами: concurrency group с cancel-in-progress и billing alert баксов на 50. но нет, мы лучше потом красиво расскажем на форуме.