Мониторинг Kubernetes в 2026: VictoriaMetrics vs Thanos — что выбрать для небольшого кластера?

[esp32ninja]

Настраиваю мониторинг для двух k8s-кластеров, суммарно около 80 нод, примерно 2 миллиона активных метрик. Retention нужен на 1 год. Смотрю на Thanos и VictoriaMetrics — у обоих есть объектное хранилище для долгосрочного хранения. Thanos более «классический», VictoriaMetrics сейчас очень активно развивается. Что посоветуете? Железа немного — три выделенных сервера под мониторинг, по 16 ГБ RAM.

[sleepypanic]

На трёх серверах по 16 ГБ Thanos будет страдать. Там нужно крутить: Querier, Store Gateway, Compactor, Ruler, Receive — каждый компонент отдельный процесс с отдельным потреблением памяти. На объёме 2М метрик с годовым retention это легко 40-50 ГБ суммарно в пике. VictoriaMetrics Cluster на тех же данных занимает в 3-5 раз меньше RAM благодаря своему формату хранения. Мы переехали с Thanos на VM год назад, ни разу не пожалели.

[kostya12]

@sleepypanic, Работаю с Thanos на 5М метрик, 18 месяцев retention. Да, жрёт ресурсы, но зато это Prometheus-совместимый PromQL без сюрпризов. VictoriaMetrics пишет MetricsQL — он расширенный, но некоторые готовые дашборды Grafana и алерты не работают без правок. Если у вас много готовых Grafana-дашбордов из комьюнити — проверяйте совместимость заранее.

[paul24]

MetricsQL совместим с PromQL для подавляющего большинства запросов, несовместимость только в специфичных edge-case функциях. Для стандартных дашбордов kube-prometheus-stack никаких проблем. Зато в VM есть `rollup_candlestick`, `aggr_over_time`, downsampling из коробки без отдельного Compactor. На трёх серверах я бы взял VictoriaMetrics Cluster: один vminsert, два vmstorage, один vmselect — и всё.

[barbs]

@esp32ninja, Конкретная конфигурация для вашего случая: vmstorage на двух серверах по `-retentionPeriod=12`, vminsert + vmselect на третьем. Объектное хранилище для бекапов — vmbackup в S3 (или любой S3-совместимый, у нас Selectel Object Storage). Итого RAM под всё это — около 12-14 ГБ в спокойном состоянии. Scrape через vmagent на каждом кластере, он же буферизует метрики если vminsert недоступен.

[kennysin]

@kostya12, Не забудьте про alerting: VMAlert + Alertmanager. VMAlert умеет recording rules и alerting rules, совместим с форматом Prometheus. Ещё момент — vmagent вместо стандартного Prometheus для scrape: он легче, умеет remote write в несколько endpoint одновременно, и есть встроенный web UI для отладки таргетов.

[lawlorg]

Мы гоняем VictoriaMetrics на Yandex Cloud Object Storage — работает без проблем, S3-совместимый API поддерживается. Стоимость хранения года метрик для 1.5М timeseries вышла около 800 рублей в месяц. Thanos с его compaction тоже это умеет, но у VM проще конфиг и меньше движущихся частей.

[sagalp]

Похожий кейс был год назад: 60 нод, ~1.5М активных серий, тоже три железки. Взяли VictoriaMetrics и не пожалели, но один грабель отмечу: если vmstorage всего два и replicationFactor=1, падение любого из них — это дырки в данных за время простоя. vmagent с буфером спасает только пока недоступен vminsert, а не когда умер сторадж. Мы в итоге смирились: выпадение одной ноды = частичные пропуски в истории, для мониторинга терпимо. Если нетерпимо — закладывайте третий vmstorage или репликацию, а это уже другая математика по дискам.

[tx3300]

@barbs, к вашей конфигурации добавлю по дискам: на 2М активных серий с типичным scrape 30s VictoriaMetrics ужимает сэмпл примерно до байта, так что год выходит грубо 1.5-2 ТБ на весь объём — двум vmstorage посильно даже на SATA SSD. И если ради отказоустойчивости скрейпа будет два vmagent — не забыть -dedup.minScrapeInterval на vmselect и vmstorage, иначе дубли распухнут и в хранилище, и на графиках.

[denoops]

@kostya12, про проверку дашбордов согласен, но есть мягкий путь миграции: оставить Prometheus как scraper с remote_write в VictoriaMetrics и какое-то время гонять оба. Мы так месяц жили — алерты на Prometheus, дашборды постепенно переключали на VM-datasource и сравнивали глазами. Несовпадения нашлись в паре панелей с subquery, остальное один в один. Зато съезжали без ночных авралов и с возможностью отката в любой момент.