这是一个基于Mediapipe和人工智能的手势识别系统,可以让用户录取自定义的手势动作,并训练不同的模型来识别和评分。
- 用户可以输入一个动作组的英文名和中文名,例如:hand_rec,手部张开
- 用户可以输入一个动作组包含的动作数,例如:2
- 用户可以为每个动作选择一个标签(整数)和一个动作名(中文),例如:0,五指并拢;1,五指张开
- 用户可以录取每个动作的分类数据,即手部的姿态,使用摄像头捕捉手部的特征数据,并保存为.csv文件
- 用户可以训练四种不同的模型,分别是CNN,SVM,KNN,MLP,使用分类数据和评分数据作为输入,输出分类结果和评分结果
- 用户可以可视化评分结果,绘制患者的康复报告
- 克隆或下载本项目到本地
- 安装所需的模块和设备
- 运行 GUI_doc.py文件,打开医生端开始界面
- 按照提示操作,完成录取数据和训练模型的步骤
- 可选择想要可视化的数据,点击可视化数据按钮,查看评分报告
- 运行GUI_user.py文件,打开患者端开始界面
- 按照界面操作,完成数据设置步骤
- 点击开始识别即开始训练
- 按照提示完成训练,按esc中止训练
- 选择想要可视化的数据,点击可视化数据按钮,查看评分报告