qhren/deeplearning_test

DeepLearning_Test

---

Fully Connected Network in Mnist

---

Pure Python with Numpy

• 实现了全连接网络中的BP算法，并结合Mnist数据集，进行了仿真
• 修改了网络结构的超参数，比较不同的epochs，mini_batch_size，learning_rate对训练的影响
• 重点比较了交叉熵和平方误差作为Cost Function时，对训练的影响，对双变量时的二者的误差Surf进行了仿真

Build A Simple Net in TensorFlow

• 在TensorFlow框架的支持下，编写了一个简单的全连接网络
• 了解了Tensorboard可视化Compute Graph和对Train时的Cost的监控，以及对网络中的Paras进行监控的方法
• To be Continued:TensorFlow中的调试器

---

Convolution NetWork in Mnist

---

Pure Python with Numpy

• 参考网络上的相关博客以及教程，对CNN的基本结构特点有了基本的了解，了解了它被提出的Motivation
• 对照全连接网络，比较反向传播的不同点，推导了反向传播的Mathmatical Form
• 对CNN中的Backprop算法进行实现，测试在Mnist DataSheet上的影响

To be Continued:

• 仿真时程序串行运行的效率太低，跑完大样本需要的时间太长，需要考虑能否使用多进程进行优化，经在对模型的评估过程中进行简单的Parallel后，时间的提升还并不明显，需要考虑对整个的代码结构进行优化：基本思路是采用多个进程同时对训练集进行训练，参数需要共享
• 通过对CNN学习到的Feature Map进行Deconv，严格意义上来说，论文中使用的是Transpose Conv，可类比于卷积层的误差测度的反向传播，作特征的上采样，考虑到自编的CNN模型比较简单，无法进行多层的观测，这一部分打算用框架完成

Build A CNN Net in TensorFlow

• 搭建了三层的简单卷积神经网络，采用Adam的优化随机梯度下降算法，实现了Mnist数据集的98%的准确率
• 计算图的结构和Train过程中参数的变化可通过TensorBoard进行可视化