Дорожка по классификации прямой и косвенной речи из новостных лентЗадачаДорожка посвящена анализу и классификации наиболее вероятных носителей тональности в новостях - прямой и косвенной речи на 3 класса: положительный, отрицательный и нейтральный (нет оценки). Общая процедура проведения дорожки стандартна. Тестовые коллекцииИсходный набор данных:
Формулировка задания для участвующей системыДля проведения данной дорожки из потока новостей будут извлечены сотни тысяч фрагментов прямой речи. Около пяти тысяч таких фрагментов предполагается разметить с помощью асессоров на 3 класса (положительный, отрицательный, нейтральный). Данная коллекция будет выдаваться участникам для обучения их систем. Оставшаяся часть текстов будет использована для тестирования участников. Для этого каждый участник должен будет оценить весь корпус фрагментов, а организаторы случайным образом выберут 2000-5000 текстов и на их основе оценят качество работы. Ответом системы на каждый фрагмент текста является:
Методология оценки
Официальные метрики:
Форматы данных |