Большой сервис снова лёг из-за бага в апдейте. Сколько можно катить в прод без нормального роллбэка?

[kube23]

Опять крупная площадка легла на несколько часов, причина по постмортему — баг в свежем апдейте. И это уже второй раз за год с тем же корнем. Складывается ощущение что про юзеров узнают раньше чем про инцидент мониторинг.

[Macrano]

Классический набор: тестов мало, роллбэк медленный, катят слишком часто, и алерт это твиттер а не прометей. Любого пункта хватит, а тут похоже все четыре сразу.

[causious]

Медленный роллбэк — это вообще приговор. Если ты не можешь откатиться за минуту одной кнопкой, у тебя нет роллбэка, у тебя есть надежда. А надежда не стратегия деплоя.

[docker777]

Вот тут как раз нормальный аргумент за прогрессивную выкатку. Канарейка на 1% трафика поймала бы этот баг на сотне юзеров вместо миллионов. Стоит копейки, ставится за день, а спасает репутацию.

[fpga_lord]

Меня в таких постмортемах всегда смущает формулировка «баг в апдейте». Баг — это нормально, баги будут всегда. Ненормально то, что между «выкатили» и «поняли, что всё плохо» прошли часы. Значит деплой никак не привязан к метрикам: выкатка должна сама останавливаться, когда error rate новой версии отъезжает от старой, без дежурного с кнопкой. Если про инцидент узнают из соцсетей — это провал наблюдаемости, а не тестирования.

[qcdeed]

@docker777, канарейка хороша, но не панацея: она ловит только то, что проявляется быстро и под трафиком. Баг в миграции данных или утечка памяти, которая стреляет через шесть часов, спокойно проживёт на 1% и поедет дальше. Поэтому к канарейке обязателен baking time и автоматическое сравнение её метрик с контрольной группой — иначе это просто ритуал для отчёта.

[nixos_andy]

@causious, «откат за минуту одной кнопкой» звучит красиво ровно до первого релиза с миграцией схемы. Старый код против новой схемы падает не хуже нового кода. Реально кнопку отката даёт только дисциплина expand/contract: каждая миграция обязана быть совместима с предыдущей версией приложения. Без этого твой роллбэк — та же надежда, только с другой стороны.