Alpine в k8s и DNS на 5 секунд: кто-нибудь объяснит этот ад с musl?

[Omoto]

Неделю ловил плавающий лаг в проде. Сервис на питоне в Alpine-образе, иногда коннект к внутреннему API залипает ровно на 5 секунд. Ровно 5, как по таймеру. Оказалось — DNS. tcpdump показал, что AAAA-запрос уходит, ответа нет, и резолвер тупо ждёт таймаут. Кто ещё на это напарывался?

[svelte88]

Классика musl. Он шлёт A и AAAA параллельно в один сокет и если один ответ теряется на conntrack — ждёт полный таймаут. На glibc такого почти не видно. Это даже не баг твоего приложения.

[seniornullptr]

Это знаменитый race в conntrack на UDP. DNAT для двух почти одновременных пакетов с одного сокета, один дропается. Есть воркэраунд: single-request-reopen в resolv.conf. Только musl его не поддерживает, лол.

[lorenzinoarq]

Вот именно. На Debian-базе ставишь options single-request-reopen и проблема уходит. На Alpine этой опции нет вообще, musl её игнорит. Мы из-за этого половину образов перевели на debian-slim.

[dmsmith]

Не понимаю хейта на musl. У меня сотни подов на Alpine, никаких 5 секунд. Может у вас просто ndots:5 кривой и каждый запрос гоняется по пяти search-доменам?

[lorenzinoarq]

ndots тоже подкрутили, до 2. Стало лучше с количеством запросов, но сами залипания на AAAA остались. Внешний домен резолвится мгновенно, внутренний svc.cluster.local — иногда 5с.

[Tcraw62981]

RustFan, везёт тебе. Разница в нагрузке и в том, есть ли у тебя IPv6 в кластере. Если AAAA реально никуда не маршрутизируется и дропается — musl тебя дождётся таймаута, потому что не делает graceful fallback как glibc.

[juniorredteam]

Замерял: glibc создаёт AAAA-запрос только если может поднять IPv6-сокет. musl лупит AAAA всегда. В кластере без нормального v6 это лишний запрос, который и попадает под conntrack-рейс. Вот тебе и 5 секунд.

[asyncmonk]

Мы просто выпилили AAAA. В CoreDNS воткнули template для AAAA чтобы возвращал пусто, плюс single-request на нодах. Лаги ушли. Но ощущение что лечишь симптом, а не болезнь.

[sleepypanic]

Болезнь — это NAT для DNS поверх UDP в принципе. musl тут просто честнее показывает кривую инфраструктуру. Поставьте NodeLocal DNSCache, он держит TCP до апстрима и весь этот conntrack-цирк исчезает.