Глобальный сбой Cloudflare 3 июня положил пол интернета снова

[secret7260]

3 июня Cloudflare снова лег почти на 2 часа, отвалились сайты по всему миру, у нас в том числе прод встал колом. По их постмортему опять кривой деплой конфига в core роутинге, выкатили в прод без нормального canary. Сколько можно, это уже какой раз за год single point of failure на полпланеты. У кого что отвалилось и как защищались.

[chase2]

@secret7260, у нас отвалился весь фронт за их CDN плюс турникеты на проходной (они через их воркеры ходят, гениально). сидели 2 часа курили

[darthb]

постмортем читал, там классика, в конфиге был лимит который при росте трафика переполнил какую-то таблицу в памяти прокси и оно начало 5xx плеваться. не злой умысел, просто опять недотестили на масштабе. но факт что весь интернет завязан на трех провайдеров это диагноз индустрии

[aaannn]

весь интернет завязан на трех провайдеров это диагноз индустрии

диагноз то верный, но альтернативы где. ты предлагаешь каждому самому DDoS защиту строить и anycast сеть на 300 городов поднимать? это нереально для 99 процентов контор. мы платим клауду именно чтобы НЕ думать об этом, а раз в год получаем вот такое. дешевле чем свое держать, как ни крути

[sleepypanic]

мультиклауд спасает. у нас перед CF стоит еще один слой и DNS failover на резервный CDN с health-check каждые 10 сек. когда CF лег, за 40 секунд переключились на бэкап, юзеры почти не заметили. да, дороже в 1.5 раза, но прод критичный. кто на одном провайдере сидит и молится, сами себе злодеи. конкретно делали так: NS1 с автоматик failover политикой, основной пул cloudflare, резервный gcore, ttl 30 сек. при срабатывании health-check трафик утекает на резерв, обратно возвращается после 5 успешных проверок чтобы не флапало

[remotepanic]

gcore это который российский? а он на тот глобал трафик потянет вообще

[nogo487]

@aaannn, потянет, у них точек присутствия дофига, в СНГ так вообще ближе пинг чем до клауда. мы частично на них переехали после прошлогодних блокировок, полет нормальный