anatoliimikh/exercise_classifier

Exercise classifier by video

Сервис по классификации физических упражнений по видео

Функционал:

• Классификация физических упражнений по видео (подтягивания, приседания, отжимания на брусьях)
• Подсчет количества повторений

Архитектура:

• Модуль обработки входного видео - нарезка, форматирование и т.п.
• Yolo3 (Object Detection Net) - получение координат Bounding box
• ResNet (Pose Estimation Net) - получение координат суставных узлов человека
• Модуль предобработки данных на выходе Yolo3 и ResNet
• Классификатор (отдельно обучен на собранной базе) - классификация на основе обработанных данных из моделей
• Модуль подсчёта количества повторений упражнения на видео

Проектная реализация:

• Реализовано API на базе FastAPI
• Продуктовый сервер - uvicorn
• Сервис запущен в Docker

Описание API:

• Контролируется формат входного json (pydantic)
• *Функционал будет расширяться

Циклограмма работы проекта:

1. В выпадющем окне пользователь выбирает файл классификатора
2. В выпадющем окне пользователь выбирает директорию с видео упражнений
3. Видео нарезаются на кадры и кадры сохраняются в автоматически созданную директорию
4. Выбирается режим (при вводе "1" выбирается "классификация + подсчет", в других случаях "классификация")
5. Yolo3 и ResNet формируют массивы координат
6. По массивам координат классификатор делает предсказания
7. Появляется таблица, где указан порядковые номера видео и соответствующие им распознанные типы упражнений
8. Теперь данная таблица так же содержит количество повторений на видео *Всего возможны два режима работы (классификация) / (классификация + подсчет)

PipeLine создания проекта:

1. сбор базы (210 видео) + написание ТЗ
2. аугментация базы (размер базы увеличился в 2 раза)
3. парсинг базы в DataSet с помощью предобученных НС
4. предобработка данных (нормализация)
5. создание прототипа классификатора (НС)
6. создание финального классификатора с высокой точностью распознавания (более 95%)
7. проверка работы классификатора в тандеме с предобученными НС
8. разворачивание проекта в PyCharm (все предыдущие этапы производились в Colab)
9. создание графического интерфейса с помощью Tkinter.
10. Добавление режима подсчета количества повторений упражнения на видео