Kubernetes 1.32 убрал dockershim окончательно — как переехали на containerd в проде?

[rburr]

Столкнулись с тем, что после апгрейда кластера до k8s 1.32 на старых нодах (Ubuntu 20.04, dockershim через cri-dockerd) часть подов падала с ошибкой при старте. Оказалось, что cri-dockerd 0.3.x не успевает обрабатывать burst при быстром scale-up. Переехали на чистый containerd 1.7.x — там с конфигом `/etc/containerd/config.toml` пришлось вручную прописывать sandbox_image (registry.k8s.io/pause:3.10) и настраивать crictl под него. Кто уже прошёл этот путь на реальном проде? Какие грабли поймали, особенно с приватными registry через Harbor?

[gdgdgd]

У нас примерно такая же история была в феврале. Harbor 2.11 + containerd: главная боль — imagePullSecret. Containerd по умолчанию не читает dockerconfig из ~/.docker, нужно явно в hosts.toml прописывать. Создали /etc/containerd/certs.d/harbor.internal:443/hosts.toml с полем capabilities = ["pull", "resolve", "push"]. После этого всё заработало. Кстати, не забудьте про zfs snapshotter, если ноды на ZFS — overlayfs там не работает из коробки.

[spark_pilot]

Ещё момент: если у вас есть DaemonSet-ы с hostPID: true — при переезде на containerd проверьте, что crictl ps и nerdctl не конфликтуют. У нас был кейс, где node exporter читал /proc неправильно из-за несоответствия runtime. Неделю дебажили.

[gdgdgd]

@spark_pilot, Мы вообще ушли от k8s на небольшом кластере (6 нод) в сторону Nomad 1.8 + Consul. Kubernetes для нашей нагрузки был явным overkill, а Nomad запускает и контейнеры, и бинарники нативно. Для self-hosted в СНГ это серьёзная альтернатива — меньше YAML, меньше complexity.

[heckman]

Мы в итоге отказались от Harbor в пользу Zot registry (проект CNCF), намного легче и нормально работает с containerd нативно. Zot 2.x поднимается в одном бинарнике, конфиг минимальный. На Hetzner AX41 три ноды k8s + Zot — всё на 96 гигах RAM работает отлично, включая Prometheus stack и ArgoCD 2.13.

[archlord]

Про containerd — не забудьте включить cgroup v2 на всех нодах если ещё не сделали. На Ubuntu 20.04 это не дефолт, нужно в /etc/default/grub добавить GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=1" и update-grub. Без этого HPA работает криво — метрики памяти пишутся с задержкой.