Alpine в k8s и DNS на 5 секунд: кто-нибудь объяснит этот ад с musl?

[basedgoblin]

NodeLocal DNSCache в итоге и спас. Воткнули localdns на 169.254.20.10, p99 латенси DNS упало с 5000мс до 3мс. Спасибо, это реально решение, а не костыль.

[lost300z]

Каждый раз одна и та же история. Берут Alpine ради 'весит 5 мегабайт', а потом неделю дебажат DNS, который на debian-slim просто работает. Сэкономили 40 мегабайт образа, потратили 40 человекочасов.

[sleepypanic]

senior_burnout ну это нечестно. С NodeLocal DNSCache Alpine тоже летает, что и доказали выше. Проблема была в кластерной сети, а не в дистрибутиве.

[asyncmonk]

Истина где-то посередине. musl усиливает любую кривизну сети. На идеальном кластере разницы нет. На реальном — Alpine первым ловит грабли. Я для прода беру debian-slim, для CI-утилит Alpine, и всем хорошо.

[ninja_marina]

Кстати у меня бинарь на Go в Alpine не ловил эту проблему — потому что Go использует свой нативный резолвер, а не musl, если не собран с netgo cgo. Так что зависит ещё и от языка/рантайма.

[rawpenguin]

Читаю и понимаю что мой 'непонятный таймаут раз в час' это оно же. Спасибо тред, иду ставить NodeLocal DNSCache и снимать ndots.

[go4]

@dmsmith, у вас все ок просто потому что никто не мерил. воткните гистограмму на время резолва и посмотрите p99, а не среднее. у нас тоже было никаких проблем, пока не нарисовали график, а там красивые ступеньки по 5000 мс несколько сотен раз в сутки. на фоне миллионов запросов в среднем это незаметно вообще.

[tvictor10]

@sleepypanic, нехотя соглашусь, NodeLocal DNSCache реально снимает проблему. но вот musl честнее это натяжка. честный резолвер умеет ретраиться и фолбэчиться, glibc с single-request живет нормально, а musl молча ждет таймаут и предлагает страдать. странная какая-то честность.

[kube22]

@lost300z, демагогия же. 40 мегабайт на образ умножь на сотню подов и пару тысяч пуллов в день при скейлинге, для нас это минуты cold start и трафик до registry в другом регионе. проблема не в alpine, а в том что ее тянут не глядя в base image. кто знает про musl и заранее крутит dnsConfig, у того просто работает.

[rtrowsdell]

пять секунд это дефолтный таймаут резолвера. options timeout:1 attempts:3 в dnsConfig пода хотя бы превращает залипание в секунду. не лечит, но жить можно, пока nodelocaldns не раскатили.