Таблицы релевантности для дорожек РОМИП

На данной странице представлены таблицы релевантности, по которым производилось вычисление оценок систем, учавствующих в оценке, проводимой семинаром РОМИП.

Большинство из этих таблиц было построено на основе оценок асессоров.
Таблицы содержут следующие типы оценок:

• AND - сильные требования к релевантности
• OR - слабые требования к релевантности
• SINGLE - оценка каждой пары документ/запрос производилась только одним ассессором
• IDEAL - сравнение с эталонным каталогом (без участия ассессоров)

Более подробное описание процедур оценки можно найти в трудах РОМИП за соотвествующий год.

Таблицы релевантности для задач:

• поиска по Веб-коллекции
  • 2003: AND OR
  • 2004:
    • с учетом расширенных описаний AND OR
    • без учета расширенных описаний AND OR
  • 2005: AND OR
  • 2006: AND OR
  • 2007: AND OR
  • 2008:
    • KM.ru collection: AND OR
    • BY.web collection: AND OR
  • 2009:
    • KM.ru collection: AND OR
    • BY.web collection: AND OR
• поиска по коллекции нормативно-правовых документов
  • 2004: AND OR
  • 2005: SINGLE
  • 2006: SINGLE
  • 2007: AND OR
  • 2008: OR
  • 2009: SINGLE
• поиска по смешанной коллекции
  • 2005: AND OR
  • 2006: AND OR
  • 2007: AND OR
  • 2008: AND OR
• поиска по документу-образцу
  • 2005: AND OR
  • 2006: AND OR
• тематической классификации нормативно-правовых документов
  • 2004: IDEAL40 AND OR
  • 2005: IDEAL40
  • 2006: IDEAL40
  • 2008: IDEAL75
  • 2009: IDEAL75
• тематической классификации Веб-сайтов
  • 2003: AND OR
  • 2004: AND OR
  • 2005: AND OR
  • 2006: AND OR
  • 2007: AND OR
  • 2008: AND OR
  • 2009: AND OR
• тематической классификации Веб-страниц
  • 2005: AND OR
  • 2006: AND OR
  • 2007: AND OR
  • 2008: AND OR
  • 2009: AND OR
• фактографического поиска по новостной коллекции
  • 2005: AND OR
• новостного поиска
  • 2008
• контекстно-зависимого аннотирования текстовых документов
  • 2005: AND OR
  • 2006:
    • для порога relevant-minus AND OR
    • для порога relevant-plus AND OR
    • для порога vital AND OR
• поиск нечетких дубликатов в коллекции изображений
  • 2008: AND (одна оценка)