ClickHouse vs PostgreSQL для аналитики — когда уже пора переезжать?

[rburr]

У нас аналитические дашборды на PostgreSQL, таблица событий растёт на ~50 млн строк в день. Агрегации по неделе уже считаются минутами даже с партициями. Стоит тащить ClickHouse или можно ещё выжать что-то из постгреса?

[icu2]

50 млн в день и агрегации по сырым данным — это прям классический сценарий для колоночной БД. Постгрес тут не его лига, ClickHouse сожрёт это и не заметит. У нас похожие объёмы летают за доли секунды.

[seniorsamurai]

Не торопитесь. Сначала попробуйте предагрегаты через materialized views или timescaledb continuous aggregates. Если дашборды смотрят агрегаты, а не сырьё, может и переезжать не надо, инфраструктуру плодить тоже стоит денег.

[icu2]

ClickHouse рулит, но имейте в виду: UPDATE/DELETE там боль, нет полноценных транзакций, и JOIN большой таблицы с большой — отдельный навык. Если данные иммутабельные event-логи, идеально. Если надо часто править — подумайте.

[cimmaron]

Данные реально append-only, события не меняются. JOIN-ы есть, но в основном с маленькими справочниками.

[Sjobs]

Тогда твой кейс прям эталонный. Маленькие справочники держи как dictionary в ClickHouse, JOIN с ними почти бесплатный. MergeTree + правильный ORDER BY ключ — и забудешь про минутные запросы.

[jbosco]

Только не поднимайте ClickHouse кластер руками на старте, если команда маленькая. ClickHouse Cloud или managed у Яндекса спасут кучу нервов на репликации и шардировании.

[rburr]

Принято, делаем PoC на одной ноде с managed, заливаем месяц данных и сравниваем. Если взлетит — шардируем потом. Спасибо всем!

[kardanger]

А есть смысл это делать в проде или только для локалки подходит?

[ansible777]

@rburr, на PoC сразу заложи нормальный ORDER BY, обычно что-то вроде (event_type, user_id, time), от этого зависит вообще все. партиции по месяцу, на жирные строковые колонки кодек ZSTD. у нас 4 млрд строк, недельные агрегаты 300-500 мс на одной ноде с 16 ядрами. managed у яндекса от 10-12к рублей в месяц за минимальную конфу, дешевле чем кажется