 |  |
 |
|
Дорожка поиска по коллекции нормативных документов
Задача
Дорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции.
Общая процедура проведения дорожки стандартна.
Коллекция
В этом цикле, как и РОМИП'2004 и РОМИП'2005, в качестве исходного набора данных используется коллекция нормативных документов, предоставленная компанией Кодекс.Поиск необходимо производить по документам из всех архивов - legal.* и legal_training.*.
Формулировка задания для участвующей системы
Система-участник получает коллекцию нормативных документов и набор заданий. Набор заданий представляет собой выборку из журналов крупных поисковых систем, работающих с подобной информацией (Кодекс и Парк.Ру). Всего примерно 13000.
Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок.
Методология оценки
- постановка задания ассессору:
Ассессор оценивает соответствие документов исходному запросу на основе расширенного описания информационной потребности. - метод оценки: метод "общего котла" (pooling) с глубиной пула 50
- шкала оценки релевантности: точно/возможно/вероятно/нет/невозможно оценить
- официальные метрики:
- точность
- полнота
- 11-точечный график TREC