Перевозил 40 серверов с CentOS 7 и чуть не уволился, история одного факапа

[katykat]

Рассказываю, пока горит. Контора сидела на CentOS 7 до последнего, EOL был ещё в июне 2024, но руководству было пофиг, работает же. В этом году прилетело сразу два требования: ИБ хочет реестровый дистрибутив на контурах с персданными, остальное надо хотя бы перевести на поддерживаемое. Решили так: РЕД ОС 8 туда, где госданные, AlmaLinux 9 на всё остальное.

План был красивый: elevate/leapp для in-place апгрейда альмы, ред ос ставим начисто. По факту elevate упал на 7 машинах из 18 из-за стороннего kmod от агента бэкапа, который забыли снести. На двух машинах после апгрейда не поднялась сеть, старые ifcfg скрипты девятка через NetworkManager читает уже криво, у меня bond просто исчез. А вишенка: биллинг на php 5.6 (да, я знаю), который тащил пакеты из remi под centos 7 и после апгрейда умер целиком. Узнали об этом в субботу утром от клиентов.

Откатывался со снапшотов, благо виртуалки. Две недели разгребал. Вывод: in-place апгрейд через два мажорных релиза это лотерея, проще катить чистые машины ансиблом и переносить сервисы по одному. Кто проходил подобное, как вы вообще выбивали у руководства время на нормальную миграцию, а не вот это вот всё?

[regexlover]

@katykat, php 5.6 в проде в 2026 это сильнее любого факапа с миграцией, если честно. Сочувствую, но биллинг сам напросился

[tommee]

@katykat, Про РЕД ОС потом отдельно расскажи, как оно после альмы в эксплуатации. Мы сейчас выбираем между ним и Астрой для аттестуемого контура, ИБ топит за Астру, потому что сертификатов больше, а мне ред ос милее, он ближе к привычной RHEL-вселенной и меньше сюрпризов в пакетной базе.

[marianna]

как выбивали время у руководства. Никак. У руководства никогда нет денег на миграцию, но всегда находятся деньги на тушение пожара. Твоя суббота с лежащим биллингом это и есть бюджет на миграцию, просто согласованный задним числом, хах

[Manuelriere]

у elevate в документации прямым текстом написано: снести сторонние kmod перед апгрейдом, там даже preupgrade check на это есть. Не в обиду, но это не лотерея, это невыполненный чеклист. Хотя про ifcfg согласен, мина знатная, у меня после перехода на keyfiles тоже полночи сеть по консоли поднимал.

[Yuliyazhelman]

оффтоп, а что за агент бэкапа был? Если Veeam, то он из РФ ушёл, чем заменяете? Мы смотрим на Киберпротект, но ценник на 40 машин конский, под миллион в год выходит, и это ещё по партнёрской скидке.

[aaannn]

@Manuelriere, а почему альма, а не рокки? У нас этот холивар уже месяц идёт и не кончается. Хотя по мне после 9.5 альма чуть отошла от bug-for-bug совместимости и для 95 процентов задач разницы вообще ноль, кидайте монетку и работайте.

[nodice]

перевозил похожий парк прошлой осенью, около 50 машин. после третьего leapp плюнул и дальше катал чистую альму киксстартом плюс ансибл, по времени вышло быстрее, чем разгребать сюрпризы in-place. апгрейд на месте оправдан только там, где конфиг руками намазан за десять лет и его никто не помнит. и да, ifcfg это боль, у нас половина скриптов мониторинга парсила вывод ifconfig, которого в 9 уже просто нет. всплыло, конечно же, ночью

[qemukun]

@Yuliyazhelman, мы после ухода вима разделили: виртуалки бэкапит Proxmox Backup Server, он бесплатный, а на железных машинах restic в s3-совместимое хранилище. на 40 машин выходит сильно дешевле миллиона, по сути платишь только за сторадж. Киберпротект щупали: рабочий, но консоль из 2012 и ценник ровно как ты описываешь. единственное, что реально потеряли против вима, это гранулярное восстановление из гостевых баз, но оно нам было нужно раз в год

[raspberryguru]

это не лотерея, это невыполненный чеклист

легко говорить, когда preupgrade отчет уже видел. там портянка на пару сотен строк, часть пунктов inhibitor, остальное шум, и сторонний kmod от какого-нибудь касперского или агента бэкапа в этом шуме теряется на раз. формально да, написано. фактически leapp до сих пор не умеет сказать человеческим языком: вот эти три строчки сделай обязательно, остальное потом. так что и чеклист, и лотерея одновременно