Настройка мониторинга Kubernetes кластера с Prometheus и Grafana с нуля

[tanya_ml]

Поднял кластер Kubernetes на трёх нодах, всё работает, но мониторинга ноль. Хочу видеть: загрузку CPU и памяти по подам и нодам, алерты если что-то падает или потребляет слишком много ресурсов, и дашборды с историей. Смотрю на Prometheus + Grafana, но там куча компонентов — kube-state-metrics, node-exporter, alertmanager. Есть ли простой способ всё это поднять разом?

[roman5280]

kube-prometheus-stack через Helm — это стандартный путь. Одна команда разворачивает весь стек: helm repo add prometheus-community https://prometheus-community.github.io/helm-charts && helm install monitoring prometheus-community/kube-prometheus-stack -n monitoring --create-namespace. Получишь Prometheus, Grafana, Alertmanager, node-exporter и kube-state-metrics в одном флаконе. Grafana идёт с преднастроенными дашбордами для k8s.

[tanya_ml]

После установки kube-prometheus-stack Grafana доступна через port-forward: kubectl port-forward svc/monitoring-grafana 3000:80 -n monitoring. Логин admin, пароль по умолчанию prom-operator (меняй через values.yaml: grafana.adminPassword). Дашборды с ID 315 и 6417 на grafana.com — отличные для обзора кластера, импортируются за секунды.

[savva8659]

Не забудь настроить PersistentVolume для Prometheus иначе при рестарте пода вся история метрик потеряется. В values.yaml: prometheus.prometheusSpec.storageSpec.volumeClaimTemplate.spec.resources.requests.storage: 50Gi. Ещё retention — по умолчанию 10 дней, можно увеличить: prometheus.prometheusSpec.retention: 30d.

[makar_root]

Развёрнутая инструкция по алертингу. После установки стека создай свои алерты через PrometheusRule CRD. Пример правила для высокого CPU пода: apiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: name: pod-alerts namespace: monitoring с alerting rules — выражение rate(container_cpu_usage_seconds_total[5m]) > 0.8 и severity: warning. Для алертов в Telegram или Slack настрой Alertmanager через секрет alertmanager-monitoring-kube-prometheus-alertmanager: в конфиге receivers указываешь slack_configs или telegram_configs с webhook URL. Для Telegram нужен бот — создаёшь через BotFather, получаешь токен и chat_id. Важные алерты которые стоит настроить сразу: PodCrashLooping (контейнер рестартует больше 5 раз за 10 минут), NodeMemoryPressure, PersistentVolumeFillingUp (заполнение PV > 85%), DeploymentReplicasMismatch (желаемое число реплик не совпадает с реальным). kube-prometheus-stack уже включает набор готовых алертов из kubernetes-mixin, изучи их прежде чем писать свои — скорее всего нужное уже есть.

[mark9640]

Для production советую сразу смотреть в сторону VictoriaMetrics вместо Prometheus — она потребляет в 5-7 раз меньше памяти при той же нагрузке и умеет горизонтальное масштабирование. Есть victoria-metrics-k8s-stack — аналог kube-prometheus-stack, совместим с теми же дашбордами и правилами.

[pynode5808]

Если кластер managed (EKS, GKE, AKS) — у провайдеров есть встроенный мониторинг. CloudWatch Container Insights для EKS, Google Cloud Monitoring для GKE. Не всегда так гибко как Prometheus, но для начала можно сэкономить время на настройке.