Дорожка контекстно-зависимого аннотирования текстовых документов

Задача

Дорожка посвящена оценке методов решения задачи контекстно-зависимого аннотирования текстовых документов.

Общая процедура проведения дорожки стандартна.

Коллекция

Аннотированию подлежат только документы, упоминающиеся в задании.

Формулировка задания для участвующей системы

Система-участник получает колекции и набор заданий вида "запрос и документ" (всего 20510). Система должна предоставить аннотацию этого документа по этому запросу.

Набор заданий был создан на основе множества запросов, которые оценивались при проведении РОМИП'2007.

Ответом системы для задания является фрагмент текста не более 300 символов без HTML разметки (в том числе, <br> и <p>).

Методология оценки

• Задания группируются в наборы по запросам. Набор состоит из последовательности заданий, каждое из которых соответствует одному документу.
• Асессор видит ВСЕ доступные аннотации в случайном порядке (заголовок документа + текст аннотации, обрезанный до 300 символов).
  Для каждой аннотации необходимо выставить 2 оценки: информативность и читабельность.
  Асессор также должен ответить на два вопроса, характеризующие его понимание о релевантности документа и о роли заголовка:
  • исходя из полученной информации, считаете ли вы, что документ содержит релевантную информацию?
  • приняли ли бы вы такое же решение, используя ТОЛЬКО заголовок документа?
• Оценка каждого задания производится двумя асессорами
• Оценки по критериям информативность и читабельность выставлялись по трехбалльной системе: ПЛОХАЯ, ХОРОШАЯ, ОТЛИЧНАЯ. Однако, технически асессору доступны проме-жуточные значения (шкала имела 9 градаций), чтобы он мог указать на небольшое превосходство одного варианта аннотации над другим. Информативность характеризует, насколько эта аннотация понятна для принятия решения о полезности документа в контексте этого запроса. Критерий читабельности определял ответ на следующий вопрос: "Аннотации зачастую состоят из обрывков приложений и отдельных словосочетаний. Мешает ли вам это понимать их смысл?"
  Bысокой информативностью и читабельностью могут обладать и аннотации для нерелевантных документов, так как цель аннотации помочь пользователю принять правильное решение о полезности документа.
• При вычислении метрик оценки асессоров (для информативности и читабельности) отображаются в трехзначную шкалу 1/2/3 (градации 1-3 в 1, 4-6 в 2, 7-9 в 3)
  В качестве метрик использовались число оценок каждого типа и средние оценки по каждому из критериев.

Форматы данных

• коллекции
• заданий
• ответов систем