Разработали умную систему, которая узнает произведения искусства на фотографиях.
![Превью проекта](/upload/medialibrary/037/037c72fab2d7d430486186f9ad6681aa.png)
Задачи
- Разработать алгоритм, который сопоставит картину с фотографии и ее оригинал из каталога музея The Metropolitan (он же The Met).
- Оценить качество поиска по каталогу, найти основные проблемы и сформировать план по их решению.
![Превью проекта](/upload/medialibrary/6a0/6a0b6551c1fec09929daf153a6fa79a3.png)
Решение
Для этого мы интегрировались с датасетом MetObjects. Это хранилище данных музея The Met, в котором описано примерно 470 000 объектов искусства.
2. Проанализировали их
Теперь наша система за 2 секунды выдает характеристику картины: ее автора, век и название.
Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.
Способ 2.
Тоже по ключевым словам, но в датасете MetObjects.
![Превью проекта](/upload/medialibrary/8e2/8e2e6a7bf7d08f19f6957afcccb82b7f.png)
Как это работает?
![Превью проекта](/upload/medialibrary/256/256f1799b7abe2dad3604a90c4dd699d.png)
SIFT и алгоритмы классического компьютерного зрения
Также в процессе обучения были использованы различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.
![Превью проекта](/upload/medialibrary/48c/48c3b7688e4fbcd7f20104d3392cbfba.png)
Пайплайн
![Превью проекта](/upload/medialibrary/83e/83e175b12e51be06023367fca81b4223.png)
Детекция картин на фото
![Превью проекта](/upload/medialibrary/09a/09a7385f3752a12b7c96b6acb6228db9.png)
Тестирование
![Превью проекта](/upload/medialibrary/e6f/e6fded2998c637fd283daeaed529d265.png)
Сбор информации по выделенным детектором картин
Но для большинства таких дополнительных картин у нас нет разметки на класс. Иными словам, в нашей базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача — расширить каталог.
Расширение каталога
Мы рассматриваем несколько способ расширения каталога. Наиболее простой из них — работа с датасетом Wikiart.
Изначально он состоял из 81 000 картин, разбитых по стилям. В названии изображение только имя художника и название картины.
Результаты
- Алгоритм матчинга стал работать не только с фотографиями картин, но и с фотографиями рисунков.
- Был выстроен рабочий пайплайн от детекции картин и рисунков на фотографиях до их матчинга.
- Каталог вырос до 90 000 картин и рисунков, а пайплайн работает с глобальным поиском и показывает хорошие результаты.
Используемые технологии
- MetObjects
- ResNet50
- MobileNe
- ArcFace
- CenterNet
Награды
-
2022 Теглайн
Лучшее приложение для искусства
-
2022 Теглайн
Лучший мобильный сервис