метрики
Без правильных метрик любая ML-модель превращается в гадание: тут спорят, как выбрать оценку под классификацию, почему F1 скачет на пару пунктов при одинаковом seed и кто в этом виноват - воспроизводимость или кривые руки. Отдельная горячая тема 2026-го - LLM-as-judge для оценки RAG-ботов: карго-культ или рабочий инструмент, и как навязанные сверху KPI на acceptance rate Copilot искажают реальную картину. Раздел для дата-сайентистов и тимлидов, которым важно мерить качество честно, а не для отчета.
6 тем, 29 ответов, 309 просмотров · все теги
Похожие теги:
эксперименты 2классификация 1imbalanced 1оценка-модели 1pytorch 1воспроизводимость 1LLM 1rag 1оценка качества 1Copilot 1корпорации 1поисковые системы 1A/B-тесты 1асессоры 1SEO 1
- Темы
-
- Как измерять SEO правильно: эксперименты вместо догадок
в «SEO под капотом: как устроен поиск» · 3 ответов · 57 просмотров · 13 июн 2026, 13:00
-
- Измерение качества и эксперименты
в «Поисковые системы: индекс, факторы, выдача» · 3 ответов · 48 просмотров · 12 июн 2026, 12:33
-
- Как правильно выбрать метрики качества для задачи классификации
в «Машинное обучение и Data Science» · 6 ответов · 53 просмотров · 03 июн 2026, 11:51
-
- LLM as judge для оценки RAG бота, это карго культ или я что-то не понимаю
в «Машинное обучение и Data Science» · 6 ответов · 55 просмотров · 31 май 2026, 10:28
-
- Одинаковый seed, два запуска подряд, разница в F1 два пункта. тимлид говорит руки кривые
в «Машинное обучение и Data Science» · 7 ответов · 51 просмотров · 30 май 2026, 00:27
-
- В конторе ввели KPI на использование Copilot, тимлидам спустили план по acceptance rate
в «AI-ассистированная разработка» · 4 ответов · 45 просмотров · 25 май 2026, 09:40