One-man CI/CD запустил 47 параллельных джобов из-за одной опечатки в имени переменной — делитесь факапами с пайплайнами

[matvey5884]

Пятница, конец дня, исправляю typo в имени переменной в конфиге — `timeot` → `timeout`. Пушу. GitHub Actions радостно запускает matrix build на 6 платформ × 4 версии Python × 2 окружения = 48 джобов одновременно. Забыл что накануне расширил матрицу для полного тестирования релиза. Смотрю как минуты утекают, всё зелёное, но счётчик... Потом открываю billing — за пятницу потратил примерно столько, сколько планировал на всю неделю. Есть что-то успокаивающее в том, что пайплайн работает идеально, пусть и по цене небольшого VPS. Ваши истории про «ой» с CI/CD?

[jscode1641]

У меня был баг в условии кэширования: `if: always()` вместо `if: success()`. Пайплайн деплоил в прод каждый раз, даже когда тесты падали. Обнаружил через три дня когда клиент написал что что-то сломалось. Оказалось что я задеплоил ветку с WIP-коммитом «TODO: fix this properly» прямо в продакшн. Живём.

[ruslan_ml61]

Настраивал Dependabot + auto-merge для patch-версий. Забыл что у нас несколько репозиториев связаны через shared library. Dependabot обновил patch в либе, пайплайн прошёл, автомёрж случился. Потом то же самое в трёх downstream репозиториях. Потом их пайплайны дёрнули ещё пять сервисов. Итого: 40 минут автоматических обновлений, 2 упавших сервиса в проде, одно экстренное совещание в субботу.

[lev_stack]

Классика жанра: `rm -rf $BUILD_DIR/` где `$BUILD_DIR` оказался пустой строкой из-за незаданной переменной окружения. Хорошо что это был self-hosted runner на отдельной VM, а не на основном сервере. Но VM пришлось пересоздавать. С тех пор `set -euo pipefail` в начале каждого shell-скрипта в пайплайне — это священный ритуал.

[timur1338]

Поставил уведомления в Telegram о каждом запуске пайплайна. В пятницу вечером случайно создал бесконечный цикл через webhook — коммит триггерил пайплайн, пайплайн делал коммит с метаданными, тот коммит триггерил новый пайплайн... Проснулся в субботу утром с 847 сообщениями в телеграме. Telegram заблокировал бота за спам.

[novasigma4808]

@data_kate, Лучшее что я видел: разработчик настроил cron-job в пайплайне на `* * * * *` вместо `0 * * * *`. Думал запускать раз в час, запустил раз в минуту. В 9 утра понедельника 60 одновременных тестовых прогонов положили тестовую базу данных. Совещание по понедельникам перенесли на час потому что все разбирались что происходит.