自编码器不能收敛？

[morvanzhou]

自编码器不能收敛？

[bigben-plusplus]

自编码器一般是基于重构误差最小化进行训练的，一般loss函数选用平方误差函数或者交叉熵误差函数。由于解码器输出端一般采用sigmoid激活，其输出范围在[0,1]，所以为了能够获得较小的重构误差，输入数据最好也归一化到[0,1]

训练发散的原因一般是损失函数选择不对或者训练参数设置不合理吧，建议选择交叉熵损失函数和一个较小的学习率训练试试

[liuguiyangnwpu]

ok, the problem is fixed, I normalize the input into [-1,1].
Thank for your answer.
(PS: My Ubuntu doesn't input chinese .)

[DerekGrant]

@liuguiyangnwpu 麻烦问下你除了归一化外还做了其他的处理吗？我把输入除以255再减0.5以后归一化到了-0.5到0.5. 然后再用binary_crossentropy来训练发现loss为负，不知道你有没有遇到这样的问题，谢谢！