Уронили прод на ровном месте из за caret в package.json, история провала

[coder_vasya]

Положили прод на 40 минут из за того что в package.json стоял caret и минорный апдейт либы приехал сам на свежий деплой. Делюсь чтобы кто-то не повторил. Стек next + куча зависимостей, lock-файл был, но в CI стояла установка которая его игнорила (наша ошибка, об этом ниже). Утром раскатили обычный релиз без изменений в зависимостях, а через пару часов посыпались 500 на проде. Оказалось одна популярная либа выкатила минор где поменяла дефолтное поведение одной функции, формально по семверу это не ломающее, по факту наш код на этом и держался. Caret ^ пустил этот минор внутрь, lock не спас потому что мы его не уважали.

[seniornullptr]

@coder_vasya, классика. а конкретно где CI игнорил лок, npm install вместо npm ci? потому что install может обновить лок под капот, а ci ставит ровно из лока и падает если разошлось. если так то это прям учебниковая дыра

[nikita87]

npm install вместо npm ci

именно оно. в докерфайле стояло npm install, кто-то когда-то так написал и оно жило годами. при сборке свежего образа install подтянул новый минор, лок переписался внутри слоя, прод поехал на версии которой никто не видел. поменяли на npm ci, добавили --frozen-lockfile аналог, инцидент закрыт. стыдно но правда

[navspy]

вот поэтому я фиксирую версии без всяких ^ и ~, ставлю ровно 4.2.1 и сплю спокойно. да, обновлять руками, да, renovate потом разгребает пачками. зато никаких сюрпризов в 3 ночи

[ollies]

а либа то какая была, назови, чтоб мы тоже знали кого опасаться

[etxegoy]

да не в либе дело, они по семверу формально в своем праве, минор может менять дефолты если это не ломает публичный контракт типов. дело в том что вы держались за недокументированное поведение. назвать либу это переложить вину

[rtrowsdell]

раз пошла такая пьянка, нормальная защита от этого класса проблем, не только лок:

1. в CI только npm ci / pnpm i --frozen-lockfile / yarn --immutable. никаких install в пайплайне и в докерфайле, вообще. это ловит 90% таких историй.
2. lock-файл коммитим и ревьюим как код. если в PR поменялся package-lock без причины, это вопрос на ревью.
3. renovate или dependabot с группировкой и прогоном тестов на каждый апдейт, обновления приходят отдельными PR где видно что именно поменялось, а не прилетают молча на деплое.
4. смок-тесты после деплоя и быстрый откат. у вас 40 минут лежало потому что откат был ручной, добавьте автоматический rollback по health-check.

по деньгам renovate selfhosted бесплатный, поднимается за вечер. сорок минут даунтайма наверняка дороже этого вечера.

[tvictor10]

@rtrowsdell, renovate это потом своя боль, 30 PR в неделю которые никто не мержит и они гниют. без процесса он превращается в спам, имейте в виду