yizt/numpy_neural_network

仅使用numpy从头开始实现神经网络,包括反向传播公式推导过程; numpy构建全连接层、卷积层、池化层、Flatten层；以及图像分类案例及精调网络案例等,持续更新中... ...

numpy_neural_network's Issues

多分类损失函数 梯度那里没看懂

https://github.com/yizt/numpy_neural_network/blob/master/nn/losses.py
dy = y_probability - y_true 这个地方的推导不是很理解。大佬这个多分类的损失函数求梯度咋来的啊。

1_1_2-全连接神经网络做mnist手写数字识别.md

cross entropy的话最后一层后面还要加softmax吧

激活函数Tanh的反向传播

您好，最近阅读了您的这个仓库，受益非浅，非常感谢。
但是我对您在nn/activations.py 中的Tanh的反向传播函数有点疑惑。
def tanh_backward(next_dz):
"""
tanh激活反向过程
:param next_dz:
:return:
"""
return 1 - np.square(np.tanh(next_dz))
根据反向传播的求导，我觉得Tanh的反向函数应该是：
def tanh_backward(next_dz, z):
return next_dz*(1 - np.square(np.tanh(z)))
谢谢您的指教。

nn文件夹的layers.py中第300行函数名称有误

似乎应为 global_max_pooling_backward

sigmoid_backward函数是不是写错了

`
def sigmoid_backward(next_dz):

"""

sigmoid激活反向过程

:param next_dz:

:return:

"""

return sigmoid_forward(1-sigmoid_forward(next_dz))

`

sigmod激活函数的反向传播，应该是

dz = next_dz*z_{i+1}*z_{i+1}*W_i^{T}

有试过用tensorflow的模型跑一跑么？

如上。

Formula can't show