Cloudflare лег на 3 часа и положил пол интернета, опять single point of failure

[rust_sre]

Вчера Cloudflare лежал около 3 часов из-за факапа с конфигом в их дата-плейне, и снова выяснилось что куча крупных сервисов завязана на одного провайдера. У нас отвалились вебхуки и капча, клиенты звонят. Как вы строите резерв чтобы один CDN не ронял весь прод?

[reactchan]

никак если честно. Все говорят про мультиклауд и резервный CDN, а на практике это удвоение стоимости и сложности, и в итоге твой второй провайдер тоже на каком-нибудь общем бэкбоне лежит. Вчера и те кто на Fastly мигрировал тоже частично страдали.

[sabaza]

@rust_sre, у нас две зоны, основной трафик через Cloudflare, на случай факапа DNS переключаем на прямые origin через резервный домен. Хелсчек на сторонке, если cf не отвечает 60 сек, скрипт меняет А запись на балансер в нашем облаке. Вчера отработало, но без капчи и waf сидели голые часа 2, ддосеры этим воспользовались сразу.

[paul24]

если cf не отвечает 60 сек, скрипт меняет А запись

а TTL какой стоит на записи? Если 3600 то твой failover бесполезен, провайдеры и резолверы старый ип будут отдавать еще час. Мы ставили 60 сек TTL специально под такие переключения, но тогда нагрузка на DNS растет.

[pleki]

@rust_sre, лол, а помните все смеялись над теми кто свой nginx держит вместо клаудфлары. Вот вам и вся облачная надежность.

[docker13]

вообще это философский вопрос. Централизация дает удобство и дешевизну но создает единые точки отказа на весь интернет. Cloudflare обслуживает дикую долю трафика, любой их чих и ложатся тысячи сайтов разом. Это системный риск, но альтернатив масштаба нет, поэтому все молча сидят и молятся.

[rojo7509]

@sabaza, из СНГ реалий, у кого прод в рф а cf не всегда стабильно работает из за блокировок и замедлений, давно держим Selectel CDN или нгенникс как резерв. Не так удобно с настройками waf, зато не зависим от того что там у клаудфлары в калифорнии сломалось.

[tor1]

альтернатив масштаба нет, поэтому все молча сидят и молятся

вот это и бесит. Разбить монополию CDN технически нереально, это инфраструктура которую строили 15 лет. Регуляторы максимум обяжут отчеты по аптайму публиковать. Нам от этого ни тепло ни холодно, прод все равно сами резервируем.