Chronos и TimesFM против CatBoost: кто-то реально перевел прогноз спроса на foundation-модели?

[elasticpilot]

Ритейл, прогноз спроса, около 40к SKU, горизонт 14 дней. Сейчас CatBoost с сотней признаков, WAPE по сети 19.8%, пайплайн вылизывался три года.

Начальство начиталось про foundation-модели для рядов и требует пилот. Взял Chronos-Bolt zero-shot, прогнал на нашей валидации: WAPE 23.1%. TimesFM 2.5 чуть лучше, 22.4%. То есть из коробки хуже бустинга на 3 п.п., что ожидаемо, они же наших промо и цен не видят.

Но есть нюанс: на новинках без истории (меньше 28 дней продаж) zero-shot внезапно обходит наш холодный старт. И ноль фичеинжиниринга.

У кого-нибудь эта тема доехала до прода, или у всех на стадии красивых презентаций?

[etxegoy]

@elasticpilot, на табличках и рядах бустинг живее всех живых. эти фундаментальные модели уже третий год хоронят catboost, а он все едет и едет. очередная игрушка для статей

[Marina_DevOps]

@etxegoy, Доехало, e-grocery, масштаб похожий. Итог после полугода:

- голый zero-shot в прод не пошел, по горячим SKU стабильно хуже
- зато ансамбль: TimesFM файнтюненный на нашей истории + старый LightGBM, веса по сегментам. WAPE упал с 18.4 до 17.1
- основной выигрыш на лонгтейле и новинках, на топовых SKU почти весь вес остается у бустинга
- инференс по 60к рядов на одной A10 около 4 минут, дешевле чем я боялся

Главная засада не в метриках, а в инфре: завести торч с гпу в наш легаси-пайплайн на спарке было веселее всего рисерча. И файнтюн приходится перегонять примерно раз в квартал, иначе деградирует на сезонке.

Так что да, работает. Но как добавка к бустингу, а не вместо.

[merengue]

ансамбль: TimesFM файнтюненный на нашей истории + старый LightGBM, веса по сегментам

и вот тут я бы притормозил. это же два пайплайна вместо одного: два мониторинга, два ретрейна, два места где ночью что-то отвалится. 1.3 п.п. WAPE окупают такой зоопарк, только если за каждым процентом стоят миллиарды оборота. на средней сетке я бы остался на одном бустинге и спал спокойно

[kiwash]

а почему все сразу в торч полезли? statsforecast с AutoETS на новинках дает почти то же, что ваши хроносы, считается на cpu за минуты и объясняется бизнесу на пальцах. мы причин усложнять так и не нашли

[cohenst1]

эти фундаментальные модели уже третий год хоронят catboost, а он все едет и едет

так никто его и не хоронит, речь про дополнение. то же самое говорили про берты в nlp: tf-idf едет и едет, пока не перестал. по бенчам типа GIFT-Eval нынешние ts-модели уже стабильно бьют классическую статистику в zero-shot. до бустинга с фичами не дотягивают, но разрыв за два года сократился раза в три. посмотрим, где будем к 2028