Разметка данных в 2026, цены конские, качество дно. как вы вообще живёте

[kakazulu]

Накипело. Нужно разметить 40к реплик для классификатора интентов (банковская тематика, 18 классов). Обзвонил агентства, просят от 9 до 25 рублей за объект с перекрытием 3. То есть от 360к за датасет, который потом всё равно перепроверять. Толока для мелких заказчиков фактически закрыта, остались корпоративные договоры.

Попробовали разметить кусок через фрилансеров с кворка. 2000 реплик, согласованность между двумя разметчиками 0.62 по каппе. Это мусор, а не разметка.

Кто как выкручивается? LLM-разметка реально работает или самообман?

[kernel_veteran]

@kakazulu, llm разметка работает, но с оговорками. мы гоняем Qwen3-32B локально на 2x3090, structured output через vllm, потом сэмплируем 10% и проверяем руками. на простых классах согласованность с экспертом 0.9+, на спорных (жалоба против претензии например) проседает до 0.7. по деньгам выходит раз в 15 дешевле агентства

[joed13]

@kernel_veteran, 0.62 каппы это не фрилансеры плохие, это инструкция плохая. если в гайде нет 30+ примеров краевых случаев, любой разметчик будет гадать. мы свою инструкцию переписывали 4 раза, после каждой итерации каппа росла. да, это недели работы, никто не любит этим заниматься, поэтому у всех и мусор

[jwil1440]

наняли двух студенток с лингвистики за 55к в месяц каждой, подняли label studio на своём сервере. за 2.5 месяца разметили 30к объектов, спорные кейсы обсуждали в чатике. дороже llm, дешевле агентств, и качество контролируемое. если данных не миллионы, этот путь рабочий

[cudauser]

18 классов интентов для банка, хах. ставлю что половина классов у вас пересекается и сами авторы таксономии не могут договориться, куда падает узнать остаток по кредитке. сначала почините классы, потом размечайте, иначе хоть людьми, хоть гптой будет каша

[valru]

+1 к боли. ищем разметчиков на медицинский NER, там нужны люди с медобразованием, ценник от 40 рублей за документ и очередь на месяц вперёд. дичь

[BashDev]

@kernel_veteran, а через GigaChat API кто-нибудь размечал? у сбера вроде дешёвый прайс на лайт модель, интересно как по качеству против локального квена

[merengue]

вы все упускаете юридическую часть. разметку через api опенаи нельзя использовать для обучения конкурирующих моделей по их тосу. с локальным квеном ок, там апач. мелочь, но комплаенс в банке вам за гпт спасибо не скажет