- 实现了全连接网络中的BP算法,并结合Mnist数据集,进行了仿真
- 修改了网络结构的超参数,比较不同的epochs,mini_batch_size,learning_rate对训练的影响
- 重点比较了交叉熵和平方误差作为Cost Function时,对训练的影响,对双变量时的二者的误差Surf进行了仿真
- 在TensorFlow框架的支持下,编写了一个简单的全连接网络
- 了解了Tensorboard可视化Compute Graph和对Train时的Cost的监控,以及对网络中的Paras进行监控的方法
- To be Continued:TensorFlow中的调试器
- 参考网络上的相关博客以及教程,对CNN的基本结构特点有了基本的了解,了解了它被提出的Motivation
- 对照全连接网络,比较反向传播的不同点,推导了反向传播的Mathmatical Form
- 对CNN中的Backprop算法进行实现,测试在Mnist DataSheet上的影响
- 仿真时程序串行运行的效率太低,跑完大样本需要的时间太长,
需要考虑能否使用多进程进行优化,经在对模型的评估过程中进行简单的Parallel后,时间的提升还并不明显,需要考虑对整个的代码结构进行优化:基本思路是采用多个进程同时对训练集进行训练,参数需要共享 - 通过对CNN学习到的Feature Map进行Deconv,严格意义上来说,论文中使用的是Transpose Conv,可类比于卷积层的误差测度的反向传播,作特征的上采样,考虑到自编的CNN模型比较简单,无法进行多层的观测,这一部分打算用框架完成
- 搭建了三层的简单卷积神经网络,采用Adam的优化随机梯度下降算法,实现了Mnist数据集的98%的准确率
- 计算图的结构和Train过程中参数的变化可通过TensorBoard进行可视化