Hetzner: пережить отказ целого ДЦ с бюджетом 300 евро, какую схему брать

[sainty]

Прод живет на одном AX52 в Фалькенштайне: docker compose, постгрес 17 на 200 гигов, редис, пара воркеров. В марте поймали даунтайм на 4 часа, когда у хецнера были проблемы с сетью в ДЦ, бизнес нервничал, я тоже.

Хочу пережить отказ целого ДЦ с RTO в районе 15 минут. Бюджет до 300 евро в месяц. Варианты, которые вижу:

1. Вторая AX в Хельсинки, streaming replication, failover руками по инструкции.
2. Те же две ноды, но patroni + etcd, автоматика.
3. Выкинуть compose, k3s на три ноды в разных локациях.

Куда копать? В кубер лезть страшновато, нас полтора девопса.

[tx3300]

С полутора девопсами вариант 3 вычеркивай сразу, k3s ради failover постгреса это стрельба из пушки по воробьям. Бери две AX в разных локациях. Между FSN и HEL пинг около 24мс, поэтому синхронную репликацию не включай, асинхронной с алертом на lag хватит. Floating IP между локациями у хецнера не переедет, так что трафик рули снаружи: cloudflare load balancer с health check или хотя бы DNS с TTL 60 и скриптом. И бекапы держи у третьего провайдера, restic в селектел или backblaze, чтобы хецнеровский армагедон не унес все сразу.

[joseph23]

ручной failover по инструкции это самообман. инцидент случится в 4 утра в субботу, инструкцию найдут к обеду. либо автоматика с patroni, либо честно пишите в SLA, что RTO 8 часов, и не выпендривайтесь

[spark_main]

200 гигов и compose... вам точно нужен failover? снапшоты постгреса каждые 15 минут плюс готовый образ второй машины, поднялись руками за полчаса и все. полтора девопса утонут в патрони с etcd, потом инцидентов от самой обвязки будет больше, чем от хецнера

[genesi]

а редис зачем реплицировать собрались? если там кеш, пусть сгорит и прогреется заново, не усложняйте схему

[Farkle]

Живем ровно в такой схеме два года: AX52 в FSN, AX52 в HEL, etcd третьим голосом на CX22 в Нюрнберге за 4 евро. Patroni, haproxy на обеих нодах, сверху cloudflare. Связность между локациями делали через wireguard поверх паблика, vSwitch между ДЦ работает, но у нас пару раз флапал, и мы плюнули. За два года пережили один сетевой инцидент в FSN, failover занял секунд 40, никто не заметил. В 300 евро влезаете с запасом, у нас весь обвес выходит около 220.

[gdgdgd]

спасибо, картинка сложилась. беру вариант 2: две AX плюс дешевая третья нода под etcd, wireguard, cloudflare сверху. редис оставляю локальным, там правда кеш. через месяц отпишусь, как оно в бою, точнее надеюсь, что отписываться будет не о чем