MLflow или Weights and Biases для трекинга экспериментов что лучше

[ivan21]

Занимаюсь ML соло и в небольших командах, до этого просто писал результаты экспериментов в таблички Excel — знаю, позор. Решил наконец нормально настроить трекинг. Смотрю на MLflow и Weights & Biases, оба кажутся мощными. MLflow привлекает тем, что self-hosted и бесплатный. W&B красивый но платный для команд. Кто чем пользуется, какие подводные камни?

[seahawk1]

Пользуюсь W&B уже 3 года, и для соло/небольших команд это просто лучший выбор если не пугает облако. Бесплатный тариф даёт неограниченные проекты и 100GB хранилища — на практике этого хватает. Главное преимущество — интерактивные графики прямо в браузере, сравнение runs в несколько кликов, и отличная интеграция с PyTorch и HuggingFace. wandb.init() + wandb.log() — и всё работает.

[Omoto]

MLflow выбираю когда данные нельзя гнать в облако (корпоратив, медицина, NDA). Self-hosted поднимается за 20 минут: mlflow server --backend-store-uri postgresql://... --default-artifact-root s3://bucket. UI попроще чем у W&B, но для логгирования метрик, параметров и артефактов вполне достаточно. Плюс MLflow Model Registry — удобно версионировать модели перед деплоем.

[catbert1]

Есть третий вариант который мало кто упоминает — DVC + ClearML. DVC хорошо версионирует данные и пайплайны (git для данных по сути), ClearML даёт трекинг экспериментов с self-hosted опцией и автологгингом. Сложнее в настройке, но функционально очень богатый стек. Для серьёзного MLOps я бы смотрел именно в эту сторону.

[delphin]

Для соло-проектов могу предложить и более простой путь: TensorBoard встроен в TensorFlow и работает с PyTorch через torch.utils.tensorboard. Нет зависимости от внешних сервисов, логи хранятся локально, визуализация в браузере. Не так удобно для сравнения экспериментов как W&B, но для начала — вполне. Потом можно мигрировать на W&B когда почувствуете потребность.

[dbowie]

Реальный подводный камень MLflow — когда экспериментов накапливается тысячи, UI начинает тормозить если не настроить индексы в БД. И артефакты (веса моделей) нужно хранить отдельно в S3/GCS, иначе диск быстро кончится. W&B эти проблемы решает за вас, но вы платите данными. Выбор зависит от вашей threat model.

[tx3300]

Использую оба в зависимости от проекта. Мой рецепт: W&B для исследовательской фазы (быстро, удобно, красиво), MLflow для production пайплайна (model registry, CI/CD интеграция, аудит). Они не конкуренты — разные задачи.

[svelteops]

@seahawk1, 100GB на бесплатном тарифе кончаются мгновенно, если логать чекпоинты. Один прогон файнтюна 7B это уже 14GB весов, пять экспериментов и привет. Либо логаешь только метрики, а веса держишь в s3 руками, либо плати. Для табличных моделей да, хватит надолго.

[timur12]

@Omoto, поднимается за 20 минут это пока не пришел безопасник и не спросил где auth. У mlflow авторизации из коробки толком нет, basic auth завезли только в 2.5 и он сыроват. Мы в итоге ставили nginx с oauth2-proxy перед ним, работает, но 20 минут превратились в день.

[obed]

@catbert1, сложнее в настройке это мягко сказано, хах. я clearml server из docker-compose неделю дебажил, elastic падал по памяти каждые пару часов. функционал богатый, спору нет, но для соло это из пушки по воробьям.