serjsaraev/sparkly

Sparkly

Ссылка на бот:

https://t.me/laundrysymbolsbot

Аннотация

Суть проекта заключается в распознавании символов по уходу за одеждой. Для задачи object detection использовалась обученная на датасете COCO модель faster_rcnn_X_101_32x8d_FPN_3x.Реализация проекта делится на две основные части: распознавание символов по фотографии с помощью Detectron2 и в режиме реального времени с помощью YOLO5.

Схема работы сервиса в Draw.io

https://drive.google.com/file/d/1Rj6ZoZgYkl5_yrEWUBVjdQs0ahJIiOwi/view?usp=sharing

Имплементация в telegram бота

Для реализации проекта мы использовали сервис Telegram. Делали мы то с помощью библиотеки aiogram — ассинхронного фреймворка для Telegram Bot API основанный на asyncio и aiohttp.

Точность распознавания

Точность распознавания с помощью faster_rcnn_X_101_32x8d_FPN_3x. 0.73 по метрике mAP 0.5. Наша цель: верно детектировать 4 из 5 знаков по уходу за одеждой.

Ограничения модели

Скорость обработки на одно изобрадение ~ 40 s/img. В данынй момент модель работает только с CPU. Потребление RAM 1.7 Gb.

Требования к разметке

https://drive.google.com/file/d/1efcsAG5EC5_Ob3yhHSHtPOT79ESbL_1_/view?usp=share_link

Расчет стоимости разметки датасета

Средняя скорость разметки на одно фото составляет около 1.5 минуты на одно изображение. Таким образом, на разметку датасета объемом 3000 фото составит ~ 75 часов.