Сломался Cloudflare на полдня, у кого что лежало 14 мая

[chuckger]

14 мая Cloudflare лег почти на 5 часов, у нас отвалились все сайты которые за их прокси, плюс умер Cloudflare Access и народ не смог зайти во внутренние админки. Половина рунета через них так или иначе ходит, так что эффект был массовый. Что у вас полегло и какие выводы делаете по резервированию?

[quixtar]

у нас тоже все встало. Самое смешное что статусную страницу свою они тоже на себе хостят, так что было непонятно это они лежат или мы

[mtj1007]

@chuckger, классика single point of failure. Все засунули за один CDN и удивляются. Заводите второго провайдера и DNS failover, делов то

[marianna]

статусную страницу свою они тоже на себе хостят

это давняя их болячка, в прошлые крупные сбои было то же самое. Мониторинг и статус нельзя держать у того же вендора за которым ты следишь. У меня внешний аптайм-чекер крутится на дешевой вдске в другом ДЦ, и алерты идут в телегу через бота напрямую

[georgea]

ну упал и упал, через 5 часов встал. У всех бывает, амазон тоже падал. Чего панику разводить

[ivan21]

по делу, что реально стоит сделать после такого инцидента, по опыту разгребания. Не надо строить мультиклауд CDN ради раз в год пятичасового сбоя, это дороже чем сам простой. Но базовое резервирование настроить можно за вечер. DNS держите не у клаудфлера а отдельно, либо у регистратора с быстрым TTL либо на нескольких провайдерах, тогда вы хотя бы сможете перенаправить трафик мимо упавшего прокси. Origin сервер должен уметь отвечать напрямую, проверьте что у вас не стоит жесткий firewall который пускает только cloudflare ip, иначе при их падении вы не сможете показать сайт даже сняв проксирование. Сделайте заранее runbook пошагово, снять оранжевое облако или переключить A-запись на прямой ip, потому что в момент аварии под адреналином никто ничего не вспомнит. Этого хватит чтобы пятичасовой сбой превратить в двадцатиминутный

[Austkin]

а кто-то еще держит сайт без cdn вообще? У меня небольшой проект, прямой nginx, в этот день работал как ни в чем не бывало пока вы все лежали хех

[softlurker]

проверьте что у вас не стоит жесткий firewall который пускает только cloudflare ip

вот на это напоролись лично. Сняли проксирование а сайт все равно недоступен, полчаса тупили пока не дошло что iptables режет всех кроме клаудфлеровских подсетей. Спасибо что написал, теперь это первым пунктом в плане