haoweishow/mhxy

tensorflow实践：梦幻西游人物弹窗识别

mhxy

tensorflow实践：梦幻西游人物弹窗识别

环境描述

Windows

C:\Users\SF>ver
Microsoft Windows [版本 10.0.18363.720]

Python

C:\Users\SF>python --version
Python 3.7.6

Tensorflow

C:\Users\SF>python
Python 3.7.6 (tags/v3.7.6:43364a7ae0, Dec 19 2019, 00:42:30) [MSC v.1916 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
2020-03-19 23:42:50.170828: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library cudart64_101.dll
>>> tf.__version__
'2.1.0'

CUDA

C:\Users\SF>nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_19:32:27_Pacific_Daylight_Time_2019
Cuda compilation tools, release 10.2, V10.2.89

cuDNN

C:\tools\cuda\include\cudnn.h

...
#define CUDNN_MAJOR 7

#define CUDNN_MINOR 6
#define CUDNN_PATCHLEVEL 5
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)
...

梦幻西游

启动方式   多标签版
分辨率     800x600
界面风格   暖风

运行

由于鼠标点击使用了kmclassdll，所以需要开启 测试模式 & 禁用强制驱动签名 并 重启

管理员身份打开CMD

bcdedit /set nointegritychecks on

bcdedit /set testsigning on

shutdown  -r -t 0

重启后，管理员身份打开CMD

• 自动点击弹窗

python main.py --click 0

• 持续学习

python main.py --learn 0

如果使用学习功能的话，请下载训练库 更多代码解读可以参考这里

成果展示

可以看到一次预测点击的耗时是在4s左右，欢迎Star

目录说明

• driver -- kmclass键鼠驱动文件夹

• images -- 截图文件夹

  • flag -- 标识文件夹：战斗标识、鼠标标识、弹框标识
  • github -- github文件夹

• model -- tensorflow 模型文件夹

文件说明

• auto_click.bat
  运行弹框识别并点击的脚本

• auto.py
  键鼠的包装

• constant.py
  常量定义

• data_model.py
  模型训练、读取、预测

• keymouse.py
  kmclassdll 键鼠动态库调用

• learn_clean.py
  学习并清除学过的文件的脚本

• main.py
  程序入口

• screen.py
  屏幕截图、图片处理相关

• util.py
  工具类

声明

本人无任何商业目的，仅用于学习和娱乐，源代码采用了AGPL3.0开源协议