| |
Дорожка поиска по коллекции нормативных документов
Дорожка посвящена оценке методов решения традиционной задаче поиска по
запросу в НЕ Веб коллекции.
В РОМИП'2004 использовалась коллекция нормативных
документов, предоставленная компанией Кодекс.
Общая процедура проведения дорожки стандартна.
Сводная информация
- Набор данных:
коллекция ROMIP-2004-Legal (1.5 Гб).
(в набор включаются файлы вида legal.*,
так и legal_training.*)
- Задания: выборка из журналов крупных поисковых систем работающих с
подобной информацией (Кодекс и
Парк.Ру)
(всего примерно 13000)
- Метод оценки: метод "общего котла" (pooling) (глубина пула 50)
- Шкала оценки релевантности: точно/вероятно/возможно/нет/невозможно оценить
- Количество оцениваемых заданий: 50 "понятия" + 41 "документы"
- Длина возвращаемых системой ответов на задания: до 100 ссылок
- Стандартные метрики:
- точность
- полнота
- 11-точечный график TREC
- Форматы:
|