Тестовые коллекции

Дорожки 2012

Архив

2003

2004

Дорожка вопросно-ответного поиска

Задача

Эта дорожка посвящена задачам, связанным с поиском ответов на поставленный вопрос.

Коллекция

Исходный набор данных коллекция Narod.ru.
Поиск необходимо производить по документам из всех архивов - narod.* и narod_training.*.

Формулировка задания для участвующей системы

Система-участник получает коллекцию Narod.ru и набор заданий.

Набор заданий отбирается случайным образом из множества вопросов предложенных участниками и оргкомитетом. Вопросы могут быть следующих типов:

Вопросы к определению, к подлежащему:
- Что такое? (Что такое анафора?)
- Кто такой? (Кто такой Набоков?)
- Кто сделал что-то? (Кто изобрел велосипед?)
- Какой (-ая,-ое...)/какова? (Какая страна приняла участие в Олимпиаде?)
Вопросы к прямому дополнению:
- Что сделал кто-то? (Что изобрел Томсон?)
Вопросы к обстоятельству:
- Сколько? (Сколько человек живет в Москве?)
- Какую длину/площадь/высоту?
- Какова длина/площадь/высота...? (Какова площадь помещений, построенных в прошлом году?)
- Когда? В какой день? В каком месяце? В каком году? Как долго?
  (В каком году (месяце,...) случился пожар?, Как долго проходили проверки?)
- Куда? В какую страну/город? На какой континент?
  (Куда был отправлен груз 18 мая?)
- Откуда? Из какой страны/города? (Из какой страны прибыл груз 18 мая?)
- Где? В какой стране/городе? На каком континенте? С какого континента?
  (В каком городе находится Эйфелева башня?)
- Почему? (Почему случился пожар?)
- Как? (Как убрать пятно с ковра?)
Вопросы к косвенному дополнению:
- Предлог + <что,в чем, на чем, из чего> (Из чего состоит вода?)
- Какую (-ого,-ое...) + слово с известной семантикой?
- Какую (-ого,-ое...)/какова + слово с неизвестной семантикой?
Вопрос к прямому дополнению:
- Какой (-ие,-ую...)? (Какую страну посетил Путин?)

Задания выдаются участникам на очень короткое время (1 день). Возможно, on-line использование интерфейса участника для выполнение запросов.

Ответом системы на каждый вопрос является упорядоченный список "ответов" длиной не более 10. Для каждого ответа указывается ссылка на документ первоисточник и фрагмент текста, содержащий не более 300 символов без использования html разметки, в котором, по мнению системы-участника, находится ответ на поставленный вопрос.

Коллекция заданий

Коллекция заданий строиться в четыре этапа согласно следующему графику:

до 23 мая каждый из участников предлагает свой вариант определения, что такое "правильный" вопрос с 5-10 примерами
к 27 мая формируется итоговое определение и общий список вопросов
к 10 июня участники предоставляют 200 вопросов в оргомитет. Из каждой группы запросов отбраковывается по 50 запросов так, что от каждого участника берется одинаковое количество вопросов.
15 июня - окончательный набор запросов (всего 500)

Методология оценки