РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска по коллекции нормативных документов

Задача

Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции.

Общая процедура проведения дорожки стандартна.

Коллекция

В этом цикле в качестве исходного набора данных используется коллекция нормативных документов 2007, предоставленная компанией Кодекс.

Формулировка задания для участвующей системы

Система-участник получает коллекцию нормативных документов 2007 и набор заданий. Набор заданий представляет из себя выборку запросов пользователей к правовому разделу портала www.kodeks.ru в течение двух первых недель декабря 2006 года. К этой выборке добавлены также запросы, оценивавшиеся в дорожке поиска по коллекции нормативно-правовых документов в предыдущих циклах РОМИП (2004-2006). Общее число запросов - 14974.

Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.

Методология оценки

  • постановка задания ассессору:
    Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности.
  • метод оценки: метод "общего котла" (pooling) с глубиной пула 50 (предварительный план)
  • шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
  • официальные метрики:
    • точность
    • полнота
    • 11-точечный график TREC
    • bpref

Форматы данных