bentengma/train_cnn-rnn-attention

cnn+rnn+attention: vgg(vgg16,vgg19)+rnn(LSTM, GRU)+attention, resnet(resnet_v2_50,resnet_v2_101,resnet_v2_152)+rnnrnn(LSTM, GRU)+attention, inception_v4+rnn(LSTM, GRU)+attention, inception_resnet_v2+rnn(LSTM, GRU)+attention,.....

自己搭建的一个训练框架，包含模型有：cnn+rnn+attention: vgg(vgg16,vgg19)+rnn(LSTM, GRU)+attention, resnet(resnet_v2_50,resnet_v2_101,resnet_v2_152)+rnn(LSTM, GRU)+attention, inception_v4+rnn(LSTM, GRU)+attention, inception_resnet_v2+rnn(LSTM, GRU)+attention等。

此框架主要针对分类任务， 后面会陆续搭建多任务多标签、检测等框架，欢迎关注。

使用说明： 搭建时使用的环境为：Python3.5, tensorflow1.4

变量设置参考config.py。 详细说明参见config.py。

( mkdir pretrain/inception_v4, 下载与训练模型, cp到pretrain/inception_v4/ )

运行代码： python main.py

另外此代码加了tensorboard，将在工程目录下生成 xxx_log 的文件。 然后使用：tensorboard --logdir arch_inceion_v4_rnn_attention_train_log查看(tensorboard --logdir arch_inceion_v4_rnn_attention_valid_log)。 后续有时间会把其它的功能加上。

其中，z_ckpt_pb：ckpt转pb的代码，和测试接口。

对dl感兴趣，还可以关注我的博客，这是我的博客目录：（地址： http://blog.csdn.net/u014365862/article/details/78422372 ） 本文为博主原创文章，未经博主允许不得转载。有问题可以加微信：lp9628(注明CSDN)。

公众号MachineLN，邀请您扫码关注：

机器学习进阶系列：(下面内容在微信公众号同步)

1. 机器学习-1：MachineLN之三要素

2. 机器学习-2：MachineLN之模型评估

3. 机器学习-3：MachineLN之dl

4. 机器学习-4：DeepLN之CNN解析

5. 机器学习-5：DeepLN之CNN权重更新（笔记）

6. 机器学习-6：DeepLN之CNN源码

7. 机器学习-7：MachineLN之激活函数

8. 机器学习-8：DeepLN之BN

9. 机器学习-9：MachineLN之数据归一化

10. 机器学习-10：MachineLN之样本不均衡

11. 机器学习-11：MachineLN之过拟合

12. 机器学习-12：MachineLN之优化算法

13. 机器学习-13：MachineLN之kNN

14. 机器学习-14：MachineLN之kNN源码

15. 机器学习-15：MachineLN之感知机

16. 机器学习-16：MachineLN之感知机源码

17. 机器学习-17：MachineLN之逻辑回归

18. 机器学习-18：MachineLN之逻辑回归源码

19. 机器学习-19：MachineLN之SVM（1）

20. 机器学习-20：MachineLN之SVM（2）

21. 机器学习-21：MachineLN之SVM源码

22. 机器学习-22：MachineLN之RL

人脸检测系列：

1. 人脸检测——AFLW准备人脸

2. 人脸检测——生成矫正人脸——cascade cnn的**， 但是mtcnn的效果貌似更赞

3. 人脸检测——准备非人脸

4. 人脸检测——矫正人脸生成标签

5. 人脸检测——mtcnn**，生成negative、positive、part样本。

6. 人脸检测——滑动窗口篇（训练和实现）

7. 人脸检测——fcn

8. 简单的人脸跟踪

9. Face Detection(OpenCV) Using Hadoop Streaming API

10. Face Recognition(face_recognition) Using Hadoop Streaming API

11. 非极大值抑制（Non-Maximum-Suppression）

OCR系列：

1. tf20: CNN—识别字符验证码

2. 身份证识别——生成身份证号和汉字

3. tf21: 身份证识别——识别身份证号

4. tf22: ocr识别——不定长数字串识别

机器学习，深度学习系列:

1. 反向传播与它的直观理解

2. 卷积神经网络（CNN）：从原理到实现

3. 机器学习算法应用中常用技巧-1

4. 机器学习算法应用中常用技巧-2

5. 一个隐马尔科夫模型的应用实例：中文分词

6. Pandas处理csv表格

7. sklearn查看数据分布

8. TensorFlow 聊天机器人

9. YOLO

10. 感知机--模型与策略

11. 从 0 到 1 走进 Kaggle

12. python调用Face++，玩坏了！

13. 人脸识别keras实现教程

14. 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？

15. CNN—pooling层的作用

16. trick—Batch Normalization

17. tensorflow使用BN—Batch Normalization

18. trick—Data Augmentation

19. CNN图图图

20. 为什么很多做人脸的Paper会最后加入一个Local Connected Conv？

21. Faster RCNN：RPN，anchor，sliding windows

22. 深度学习这些坑你都遇到过吗？

23. image——Data Augmentation的代码

24. 8种常见机器学习算法比较

25. 几种常见的激活函数

26. Building powerful image classification models using very little data

27. 机器学习模型训练时候tricks

28. OCR综述

29. 一个有趣的周报

30. 根据已给字符数据，训练逻辑回归、随机森林、SVM，生成ROC和箱线图

图像处理系列：

1. python下使用cv2.drawContours填充轮廓颜色

2. imge stitching图像拼接stitching

3. 用python简单处理图片（1）：打开\显示\保存图像

4. 用python简单处理图片（2）：图像通道\几何变换\裁剪

5. 用python简单处理图片（3）：添加水印

6. 用python简单处理图片（4）：图像中的像素访问

7. 用python简单处理图片（5）：图像直方图

8. 仿射变换，透视变换：二维坐标到二维坐标之间的线性变换，可用于landmark人脸矫正。

代码整合系列：

1. windows下C++如何调用matlab程序

2. ubuntu下C++如何调用matlab程序

3. matlab使用TCP/IP Server Sockets

4. ubuntu下C++如何调用python程序，gdb调试C++代码

5. How to pass an array from C++ to an embedded python

6. 如何使用Python为Hadoop编写一个简单的MapReduce程序

7. 图像的遍历

8. ubuntu下CMake编译生成动态库和静态库，以OpenTLD为例。

9. ubuntu下make编译生成动态库，然后python调用cpp。

数据结构和算法系列：

1. 堆排序

2. red and black (深度优先搜索算法dfs)

3. 深度优先搜索算法

4. qsort原理和实现

5. stack实现queue ; list实现stack

6. 另一种斐波那契数列

7. 堆和栈的区别(个人感觉挺不错的)

8. 排序方法比较

9. 漫画 ：什么是红黑树？

10. 牛客网刷题

11. 莫烦python 666

kinect 系列：

1. Kinect v2.0原理介绍之一：硬件结构

2. Kinect v2.0原理介绍之二：6种数据源

3. Kinect v2.0原理介绍之三：骨骼跟踪的原理

4. Kinect v2.0原理介绍之四：人脸跟踪探讨

5. Kinect v2.0原理介绍之五：只检测离kinect最近的人脸

6. Kinect v2.0原理介绍之六：Kinect深度图与彩色图的坐标校准

7. Kinect v2.0原理介绍之七：彩色帧获取

8. Kinect v2.0原理介绍之八：高清面部帧(1) FACS 介绍

9. Kinect v2.0原理介绍之九：高清面部帧(2) 面部特征对齐

10. Kinect v2.0原理介绍之十：获取高清面部帧的AU单元特征保存到文件

11. kinect v2.0原理介绍之十一：录制视频

12. Kinect v2.0原理介绍之十二：音频获取

13. Kinect v2.0原理介绍之十三：面部帧获取

14. Kinect for Windows V2和V1对比开发___彩色数据获取并用OpenCV2.4.10显示

15. Kinect for Windows V2和V1对比开发___骨骼数据获取并用OpenCV2.4.10显示

16. 用kinect录视频库

tensorflow系列：

1. Ubuntu 16.04 安装 Tensorflow(GPU支持)

2. 使用Python实现神经网络

3. tf1: nn实现评论分类

4. tf2: nn和cnn实现评论分类

5. tf3: RNN—mnist识别

6. tf4: CNN—mnist识别

7.  tf5: Deep Q Network—AI游戏

8. tf6: autoencoder—WiFi指纹的室内定位

9. tf7: RNN—古诗词

10. tf8:RNN—生成音乐

11. tf9: PixelCNN

12. tf10: 谷歌Deep Dream

13. tf11: retrain谷歌Inception模型

14. tf12: 判断男声女声

15. tf13: 简单聊天机器人

16. tf14: 黑白图像上色

17. tf15: 中文语音识别

18. tf16: 脸部特征识别性别和年龄

19. tf17: “声音大挪移”

20. tf18: 根据姓名判断性别

21.  tf19: 预测铁路客运量

22. tf20: CNN—识别字符验证码

23. tf21: 身份证识别——识别身份证号

24. tf22: ocr识别——不定长数字串识别

25. tf23: “恶作剧” --人脸检测

26. tf24: GANs—生成明星脸

27. tf25: 使用深度学习做阅读理解+完形填空

28. tf26: AI操盘手

29. tensorflow_cookbook--preface

30. 01 TensorFlow入门（1）

31. 01 TensorFlow入门（2）

32. 02 The TensorFlow Way（1）

33. 02 The TensorFlow Way（2）

34. 02 The TensorFlow Way（3）

35. 03 Linear Regression

36. 04 Support Vector Machines

37. tf API 研读1：tf.nn，tf.layers， tf.contrib概述

38. tf API 研读2：math

39. tensorflow中的上采样(unpool)和反卷积(conv2d_transpose)

40. tf API 研读3：Building Graphs

41. tf API 研读4：Inputs and Readers

42. tf API 研读5：Data IO

43. tf API 研读6：Running Graphs

44. tf.contrib.rnn.static_rnn与tf.nn.dynamic_rnn区别

45. Tensorflow使用的预训练的resnet_v2_50，resnet_v2_101，resnet_v2_152等模型预测，训练

46. tensorflow下设置使用某一块GPU、多GPU、CPU的情况

47. 工业器件检测和识别

48. 将tf训练的权重保存为CKPT,PB ,CKPT 转换成 PB格式。并将权重固化到图里面,并使用该模型进行预测

49. tensorsor快速获取所有变量，和快速计算L2范数

50. cnn+rnn+attention

51. Tensorflow实战学习笔记

52. tf27: Deep Dream—应用到视频

53. tf28: 手写汉字识别

54. tf29: 使用tensorboard可视化inception_v4

55. tf30: center loss及其mnist上的应用

56. tf31: keras的LSTM腾讯人数在线预测

57. tf32: 一个简单的cnn模型：人脸特征点训练

58. tf33: 图片降噪：卷积自编码

C++系列：

1. c++ primer之const限定符

2. c++primer之auto类型说明符

3. c++primer之预处理器

4. c++primer之string

5. c++primer之vector

6. c++primer之多维数组

7. c++primer之范围for循环

8. c++primer之运算符优先级表

9. c++primer之try语句块和异常处理

10. c++primer之函数(函数基础和参数传递)

11. c++primer之函数(返回类型和return语句)

12. c++primer之函数重载

13. c++重写卷积网络的前向计算过程，完美复现theano的测试结果

14. c++ primer之类

15. c++primer之类（构造函数再探）

16. c++primer之类（类的静态成员）

17. c++primer之顺序容器（容器库概览）

18. c++primer之顺序容器（添加元素）

19. c++primer之顺序容器（访问元素）

OpenCV系列：

1. 自己训练SVM分类器，进行HOG行人检测。

2. opencv-haar-classifier-training

3. vehicleDectection with Haar Cascades

4. LaneDetection

5. OpenCV学习笔记大集锦

6. Why always OpenCV Error: Assertion failed (elements_read == 1) in unknown function ?

7. 目标检测之训练opencv自带的分类器（opencv_haartraining 或 opencv_traincascade）

8. 车牌识别 之 字符分割

9. 仿射变换，透视变换：二维坐标到二维坐标之间的线性变换，可用于landmark人脸矫正。

10. opencv实现抠图（单一背景），替换背景图

python系列（web开发、多线程等）：

1. flask的web开发，用于机器学习（主要还是DL）模型的简单演示。

2. python多线程，获取多线程的返回值

3. 文件中字的统计及创建字典

其他:

1. MAC平台下Xcode配置使用OpenCV的具体方法 (2016最新)

2. python下如何安装.whl包？

3. 给**学生的第三封信：成功、自信、快乐

4. 自己-社会-机器学习

5. 不执著才叫看破，不完美才叫人生。

6. PCANet的C++代码——详细注释版

7. 责任与担当

8. 好走的都是下坡路

9. 一些零碎的语言，却触动到内心深处。

10. 用一个脚本学习 python

11. 一个有趣的周报