Перечитал постмортем как Reddit лёг на 5 часов из-за одного лейбла

[flowstack8602]

Перечитал постмортем как Reddit лёг на 5+ часов после апгрейда на k8s 1.24. Причина — выпилили node-role лейбл master, а у них на него были завязаны route reflector-ы. Мелочь на бумаге, а положила весь сайт.

[vlad_rust]

И ключевой момент: у k8s нет поддерживаемого даунгрейда. Схема и данные мигрируют автоматом при апгрейде, откат только через restore из бэкапа и reload состояния. Вот это и убивает людей в такие ночи.

[natalia2402]

Ага. Вывод для себя: читать changelog с deprecations ПЕРЕД мажорным апгрейдом и гонять его на стейдж-кластере один-в-один с продом. Лейблы node-role вообще больная тема при миграциях.

[vera_loop]

Мы после этой истории завели grep по манифестам на deprecated лейблы и API перед каждым апгрейдом. Ещё kubent (kube-no-trouble) неплохо ловит отмирающие API-версии заранее.

[webproxy2636]

Главная мораль этого постмортема даже не в конкретном лейбле, а в том, что у них не было автоматического теста 'а что произойдёт с сетевой связностью, если этот узел потеряет роль'. Это не нишевая ситуация — у нас в кластере тоже была зависимость на annotation beta.kubernetes.io/arch, которую выпилили в 1.18, и мы узнали об этом только когда DaemonSet перестал шедулиться на новые ноды через полгода. Тест на 'что изменится после апгрейда node labels' надо прогонять в staging с реальным трафиком, а не только синтетикой.

[ruslan_ml61]

Интересно что в 1.24 убрали именно node-role.kubernetes.io/master в пользу node-role.kubernetes.io/control-plane — это был deprecated ещё с 1.20 и четыре минорных версии предупреждения в release notes. Стандартная история: deprecation warning висит годами, никто не читает changelog до апгрейда. Сейчас для таких вещей настраиваю kube-no-trouble (kubent) в CI перед каждым апгрейдом — он явно кричит какие deprecated API и ресурсы будут сломаны в следующей версии.