РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка поиска фактов по новостной коллекции

Эта дорожка посвящена задачам, связанным с поиском фактов в текстах (например, вопросно-ответный (question answering) поиск).

В 2006 году рассматриваются следующие задачи:
  • выявления имен собственных
  • выявление именованных объектов заданных типов
  • выявление фактов заданных типов

Правила

  1. Выделить все именованные сущности
    Для каждого сообщения система должна построить список именованных сущностей.
    Для каждой сущности должна быть указана следующая информация:
    • перечень ссылок на использование сущности в этом сообщении (смещение и длина в байтах)
    • (опционально) Указать класс сущности - персона/организация/географический объект/прочее
  2. Выделить факты следующих типов
    • Кто работал\работает в данной организации?
    • Где работал\работает данный человек?
    • Кто владеет или владел данной организацией?
    • Какими предприятиями владеет или владела данная организация/персона?
    Примечание: К числу владельцев также относятся все покупатели и продавцы компании, а также все ее акционеры (держатели акций, продавцы и покупатели).

    Выделение фактов происходит из всей коллекции без учета референций для всех именованных объектов, выделенных участником.

    Описание факта в ответе должно содержать следующую информацию:
    • тип факта
    • ссылка на фрагмент текста, содержащий описание факта (смещение, длина (не более 500 байт))
    • два стандартизированных имени фигурантов для этого факта
    • ссылка на сущность в тексте (смещение относительно начала фрагмента)
Допускается выполнение только первого задания.

Правила оценки

Планируется проведение оценки в 2 этапа:
  1. Проверка выделенных имен собственных
    Случайным образом отбирается некоторое подмножество сообщений коллекции и оцениваются все имена собственные, выделенные в этих документах.

    Задание асессору: Является ли данная строка названием имени собственного в контексте данного фрагмента текста? Если да, то является ли она названием организации, именем человека или географическим объектом?
    Варианты ответа: не имя собственное, организация, персона, географический объект, другое имя собственное

  2. Проверка фактов Отбирается некоторое число имен собственных (процедура отбора еще не определена, но список будет согласован с участниками) и оцениваются все факты выделенные для этих объектов.

    Задание асессору: Содержит ли данный фрагмент текста описание факта, связанного со следующими фигурантами (A, B)? Если да, то к какому типу фактов он относится?
    Варианты ответа: не является фактом, покупка, продажа, владение, принадлежность, другое

Сводная информация