Переехали с AWS на Hetzner, сэкономили 400к в месяц и чуть не потеряли базу

[reactchan]

Год назад платили AWS примерно 3800 баксов в месяц, через посредника с комиссией 12 процентов выходило под 480к рублей. Стек обычный: EC2, RDS постгрес, S3, немного SQS. Посчитали и переехали на Hetzner: два AX102 под прод, CX42 под staging, object storage под бекапы. Итого около 270 евро, по нынешнему курсу меньше 32к рублей. Экономия больше 400к в месяц, я серьезно.

А теперь ложка дегтя. RDS пришлось менять на свой постгрес 17. Подняли streaming реплику, настроили pgBackRest, все красиво. Через полтора месяца на мастере начал сыпаться NVMe, smart показывал media errors, постгрес ловил i/o error на случайных запросах. Реплика отставала на 40 секунд, потому что алерт на replication lag улетал в канал, куда никто не смотрит, лол. Промоутнули реплику руками, 35 минут даунтайма, пару минут транзакций вытаскивали из WAL архива вручную.

В итоге все живы, деньги экономятся, но урок такой: RDS это не просто дедик с постгресом, это еще куча вещей, которые за тебя делали молча. Если переезжаете, сначала научитесь восстанавливаться из бекапа с секундомером, потом переносите прод.

[tsav]

сколько теперь стоит человек, который этот постгрес нянчит? если девопс тратит на это четверть времени, смело прибавляйте 80-100к к смете. экономия все равно есть, но уже не 400к

[sainty]

@tsav, классика жанра. съехали с RDS, через два месяца инцидент, через три вакансия dba за 350к. проходили

[jennifer26]

Мы на Hetzner с 2022, расклад такой: patroni + etcd, три ноды в FSN1, HEL1 и NBG1, haproxy перед ними. За три года два железных инцидента, оба раза failover отработал сам, никто даже не проснулся. Что советую: smartctl в мониторинг обязательно, диски у хецнера бывают с пробегом, нам на AX41 приезжал NVMe с 30к часов наработки. Замену делают через тикет за вечер, но лучше заметить до того, как посыпется. И restore из pgBackRest гоняйте кроном на отдельной машине, мы каждую ночь разворачиваем базу и сравниваем количество строк в ключевых таблицах.

[k8s_master]

то есть алерт на lag улетал в мертвый канал, restore никто не репетировал, а в заголовке у вас чуть не потеряли базу, как будто хецнер виноват. ну такое. с таким подходом вы бы и на RDS себе в ногу выстрелили, просто чуть позже

[Omoto]

@jennifer26, а как вы хецнер оплачиваете? мне на регистрации отказали с российским паспортом, даже с казахской картой не прокатило

[chase2]

обычно через юрлицо в Армении или Сербии, либо аккаунт заведен на партнера в ЕС. с физиком из РФ шансов почти ноль, у них с 2022 так. карта сама по себе ничего не решает, они на адрес и документы смотрят

[jownby]

Отвечу про деньги: отдельного dba не нанимали, у нас два бекендера, которые умеют в постгрес, после настройки на сопровождение уходит часа 4 в месяц. Restore теперь тестируется скриптом раз в неделю, алерты переехали в канал с дежурствами. Про сам виноват согласен, заголовок скорее о том, что бесплатных 400к не бывает, платишь компетенцией.