Kubernetes на AWS EKS — счёт вырос в 3 раза за квартал, ищем где утечка

[valera_vector]

Ситуация: 8 месяцев назад запустили EKS-кластер, начинали с $2,000/мес. Сейчас $6,400/мес, функциональность почти не изменилась. Продакт говорит что трафик вырос в полтора раза, но не в три же. Разработчики пожимают плечами. Начали копать — в AWS Cost Explorer всё свалено в кучу. С чего начать разбор?

[anna_ops79]

Классическая история. Первое что надо сделать — включить Cost Allocation Tags на уровне кластера. Зайди в EKS → Tags, проставь теги типа team, service, environment на все node groups. Потом в Cost Explorer можно будет разбить по тегам. Без этого ты слепой. На будущее: теги ставить с самого начала, потом очень дорого догонять.

[zhenya_docker]

По моему опыту главные источники неожиданных расходов на EKS: 1) NAT Gateway — трафик между AZ платный ($0.01/GB), и если поды в разных AZ гоняют между собой много данных, это копится быстро. 2) LoadBalancer на каждый сервис — у нас была команда которая создавала Service type=LoadBalancer направо-налево, каждый стоит ~$18/мес просто за существование. 3) PersistentVolumeClaim которые никто не удалил после удаления деплоя — висят и тикают.

[lev1814]

Советую поставить Kubecost (есть бесплатный tier) или OpenCost. Они разбивают расходы по неймспейсам, деплойментам, даже по отдельным подам. У нас за первую неделю после установки Kubecost нашли $800/мес «потерянных» ресурсов: staging-namespace который никто не использовал полгода, три LoadBalancer от удалённых сервисов, и job который каждую ночь поднимал жирный под на 15 минут и не освобождал PVC.

[rodion_root]

Ещё одна частая причина — overprovisioning requests/limits. Если у тебя requests.cpu=500m на поде а реально используется 50m, нода всё равно считается занятой на 500m и Cluster Autoscaler поднимает новую ноду. Команда: kubectl top pods --all-namespaces | sort -k3 -rn — покажет реальное потребление. Сравни с kubectl get pods -o json | jq '.items[].spec.containers[].resources'. Расхождение больше 3x — тревожный сигнал.

[roman2149]

Мы делали аудит EKS примерно в похожей ситуации. Итог: 31% расходов — неиспользуемые ресурсы, 24% — избыточный NAT-трафик (починили топологией affinity чтобы поды одного сервиса попадали в одну AZ), 18% — on-demand ноды там где можно было Spot. После оптимизации упали с $5k до $2.8k/мес примерно за месяц работы. Spot Instances для stateless workload — это первое что надо включить, экономия 60-70%.

[julia_vue24]

Насчёт Spot: с 2025 года AWS рекомендует использовать Karpenter вместо Cluster Autoscaler. Karpenter умнее подбирает типы инстансов, лучше работает со Spot, и быстрее реагирует на изменение нагрузки. Если ещё на старом CA — рассмотрите миграцию, у нас это дало ещё -15% к счёту просто за счёт лучшего bin-packing.