Дорожка поиска по коллекции нормативных документовЗадачаДорожка посвящена оценке методов решения задачи традиционной задаче поиска по запросу в НЕ Веб коллекции. Общая процедура проведения дорожки стандартна. КоллекцияВ этом цикле в качестве исходного набора данных используется коллекция нормативных документов 2007, предоставленная компанией Кодекс. Формулировка задания для участвующей системыСистема-участник получает коллекцию нормативных документов 2007 и набор заданий. Набор заданий представляет из себя выборку запросов пользователей к правовому разделу портала www.kodeks.ru в течение двух первых недель декабря 2006 года. К этой выборке добавлены также запросы, оценивавшиеся в дорожке поиска по коллекции нормативно-правовых документов в предыдущих циклах РОМИП (2004-2006). Общее число запросов - 14974. Ответом системы на каждое задание является упорядоченный список документов, длиной не более 100 ссылок. Методология оценки
Форматы данных |