РОМИП

 Новости 
 Регистрация 2012! 
 О проекте 
 Манифест 
 Общие принципы 
 Заявка на участие 
 Материалы РОМИП 
 Тестовые коллекции 
 Таблицы релевантности 
 Участники 2012 
 Дорожки 2012 
 Архив 
 Публикации 
 FAQ 
 Форум 

Switch to EnglishSwitch to English
 

Дорожка построения текстовых меток для изображений

Задача

Дорожка посвящена оценке методов автоматического аннотирования изображений, работающих на основе анализа их содержания. Приветствуются самые разнообразные подходы к решению задачи автоматического аннотирования. Возможно, к примеру, распознавание некоторого фиксированного набора объектов или использование уже обученных классификаторов общего плана (indoor/outdoor, city/landscape, ...) и аннотирование изображений названиями соответствующих им категорий.

Принципиальным является отсутствие единого для всех участников размеченного обучающего множества, подготовленного специально для данной тестовой коллекции.

Общая процедура проведения дорожки стандартна.

Тестовая коллекция

В качестве тестового набора данных используется коллекция изображений Flickr, созданная в 2008 году.

Формулировка задания для участвующей системы

Для каждого изображения из тестового набора (всего 2000 изображений) построить списки из не более чем 15 соответствующих ему текстовых меток.

Методология оценки

Оценка текстовых меток будет производиться независимыми асессорами.

Для изображений из случайной выборки заданий будут построены "котлы", содержащие текстовые метки, полученные от каждой из систем-участников. Задачей асессора будет просмотреть такой котел и пометить все текстовые метки, подходящие для описания данного изображения.

  • постановка задания ассессору:
    Ассессор оценивает семантическое соответствие текстовых меток изображению.
  • шкала оценки:
    • метка корректно описывает изображение в целом или его часть
    • метка не корректна
  • официальные метрики:
    • аккуратность меток (процент корректных меток среди всех меток участника)
    • среднее число корректных меток на одно изображение
    • точность меток из пересечения словарей участников
    • полнота меток из пересечения словарей участников

Форматы данных