piscesxq/lbp-dbn-face-recognition

使用LBP特征提取算法提取人脸特征，DBN网络来实现人脸识别，测试数据库ORL数据库，识别率可达90%以上

LBP-DBN-face-recognition

使用LBP特征提取算法提取人脸特征，DBN网络来实现人脸识别，测试数据库-ORL数据库，识别率可达90%以上
###工程使用方法：
clone下工程，要根据实际情况修改test_example_DBN.m中的文件路径
我们在该文件中，a=imread(strcat('E:\My RBM-DBN matlab\ORL\ORL\s',num2str(i),'_',num2str(j),'.bmp'));
###工程说明：
####英文简称注释：
DBN-深度信念网络、RBM-受限的玻尔兹曼机 、LBP-局部二值模式
####几点说明：
0-这个程序的功能，使用DBN算法来实现人脸识别，数据库使用ORL数据库，在迭代次数达到3000时，识别准确率98%左右
2-此程序还附带了画学习曲线的功能，画正则参数，隐层结点数，训练样本数的学习曲线
3-DBN是有几层RBM构成，我这个程序实现的是4层网络，输入层-隐层1-隐层2-输出层
4-DBN的训练基本上分为两步，先用RBM的训练方法训练网络得到初始值，来初始化整个网络，然后用BP反向传播算法来微调整个网络
5-神经网络参数的更新，使用matlab提供的fmincg函数，前提是我们要先得到网络的代价函数nnCostFunction

####各文件的功能说明：
test_example_DBN：主函数
dbnsetup：初始化DBN网络
dbntrain:训练DBN网络，DBN是由多层RBM组成，训练方法是逐层训练，先训练第一层网络，然后固定第一层网络的参数，将第一层网络的输出作为下一层网络的输入
dbnunfoldtonn：DBN训练得到的参数来初始化神经网络
fmincg：最优化函数，只要我们得到网络的代价函数，和反向传播算法，就可以用此函数求最优解
getmapping，lbp,lbptest:完成lbp算法
hidden_node_learn_curve:关于隐层结点的学习曲线
learningCurve：关于训练样本数目的学习曲线
nnCostFunction：求神经网络的代价函数，和BP反向传播算法
predict：利用网络进行预测
randInitializeWeights：随机初始化网络参数
rbmdown，rbmup，sigm，sigmoid，sigmoidGradient，sigmrnd：训练过程中使用到的计算函数
train_nn：训练神经网络
rbmtrain：训练一个RBM网络
validationCurve：关于正则参数的学习曲线

整个框架就是：
先用LBP算子对人脸图像进行特征提取，然后用RBM算法逐层训练RBM，训练得到的RBM参数来初始化化DBN网络，然后计算出整个网络的代价函数，并使用BP反向传播算法，谨记反向传播算法也是梯度下降算法，并且可以用梯度校验来验证。梯度下降算法，学习率是一个比较关键的参数，但是，在我的程序中，自己不设学习率，只要我们实现了反向传播算法和代价函数，我们使用fmincg函数去得到最优解。
###优点：
神经网络采用的是随机初始化，但容易收敛到局部最小值，用DBN训练得到网络的初始化参数，而不是随机初始化。DBN随机初始化之后，网络的训练方式就跟训练神经网络一样。

###想弄明白这个程序：需要了解LBP,RBM,DBN,BP神经网络的知识
现在，把我实现这个工程，用到的各种资源贴上来，方便学习
我的工程是在别人的代码上改进的，代码见此博客
http://blog.csdn.net/dark_scope/article/details/9447967

####LBP方向：
LBP算法的研究及其在人脸识别中的应用
matlab学习：人脸识别之LBP (Local Binary Pattern)
LBP算法的Matlab代码
opencv学习之（三）-LBP算法的研究及其实现
LBP原理加源码解析
LBP特征学习及实现
目标检测的图像特征提取之（一）HOG特征
目标检测的图像特征提取之（二）LBP特征

####RBM，DBN相关的资料：
rbm C++代码理解
【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)
DeepLearning（深度学习）原理与实现（三）
Deep Belief Network(DBN)的实现(c++)
yusugomori/DeepLearning
DeepLearnToolbox DBN源码解析

####BP神经网络：
神经网络-UFLDL

####视频资源，强烈推荐看一下couresa上吴恩达的视频machine learing ，可以看一下这几节课
1、 IX: Neural Networks: Learning (Week 5)
介绍反向传播算法，梯度校验（梯度校验可以检查我们的梯度下降法是否正确，也可以校验我们的反向传播算法是否正确）
2、 VII：正则化，我的程序中使用了正则参数
3、 X：Advice for Applying Machine Learning (Week 6)：讲述过拟合，欠拟合之类的,并教授描绘学习曲线的方法。