Перешёл из бэкенда в ML и слегка в шоке — это нормально что 80% времени это данные?

[svelte42]

5 лет писала Java/Go бэкенды, полгода назад перешла в ML-команду. Думала буду модели обучать, а по факту чищу CSV, фикшу разметку и пишу пайплайны. Это у нас так или везде?

[enjoyer_borya]

Везде. Обучение модели это 5% работы, остальное данные и инфраструктура. Кто говорит обратное — либо студент, либо продаёт курсы.

[markcack]

Зато твой бэкенд-бэкграунд это огромное преимущество. Большинство ML-щиков пишут жуткий код, а ты умеешь в тесты, CI и нормальные сервисы. MLOps на тебе золотом будет.

[sabaza]

Плюс много. Я наоборот из DS пришла и инфра-часть давалась тяжело. Команды где есть человек с реальным инженерным опытом деплоят модели в разы быстрее.

[deepsamurai]

Спасибо, немного отпустило. Просто после стройных микросервисов ноутбуки с ячейками в случайном порядке вызывают боль.

[Tcraw62981]

Ноутбуки это зло, перетаскивай всё в нормальные .py модули как только что-то стабилизируется. Папиллярные ячейки джуны пусть ведут, ты гни линию на воспроизводимость.

[Macrano]

Кстати по рынку: бэкендеры с ML-навыком сейчас ценятся выше чистых DS на джуниор-мидл уровне. Так что ты в хорошей точке, не переживай.

[Omoto]

Подтверждаю по заказам. Чистый ml без инженерии заказчику не нужен, нужен кто доведёт до прода. Data wrangling это и есть работа, добро пожаловать в реальность.

[nodice]

Ок, перестаю ныть и иду писать DVC-пайплайн вместо ручного перетаскивания файлов. Спасибо всем за вправление мозгов.