hiroshi30/project_nn

all in one. cnn and full connected neural network in core. cnn test application in app. full connected application in classification.

Project NN

Installing

pip install -r requirements.txt

Versions

Множество информации о версиях и источниках я не нашёл или не вспомнил, поэтому это краткие экскурс в историю создания этой нейронки.

Версии:
1.0 Создал простой перцептрон на JavaScript
1.1 Переделал нейросеть с использованием ООП
1.2 Добавил момент в алгоритм обратного распространения ошибки

2.0 Переделал нейросеть на Python
2.1 Удалил функцию инииализации весов и встроил её в __init__
2.2 Создал отдельную библиотеку (library.py), в которой подключил библиотеки
2.3 Добавил новые функции активации
2.4 Изменил способ ввода параметров нейросети
2.5 Добавил Softmax
2.6 Сделал переключаемый параметр softmax, который отвечает за использование функции активации Softmax
2.7 Добавил новые функции потерь

3.0 Создал свёрточную нейронную сеть, добавил convolution, paddiing и max_pooling
3.1 Переделал, используя ООП
3.2 Добавил Cross_Entorpy и изменил производную Soft_Max
3.3 Объединил model1 и model2 (Perceptron, Convolution_NN) в один класс NN, теперь можно использовать нейросеть и как свёрточную, и как полносвязную
3.4 Пока что приостановил работу над свёрточной нейронной сетью, переименовал некоторые переменные и функции, отредактировал согласно PEP
3.5 Ок

!!!Skip connection, dense слои в свёрточных нейронных сетях, Dropout layer Genetic algorithm Ensemble!!!

Sources

Нейронные сети для начинающих. Часть 1
Нейронные сети для начинающих. Часть 2
Common Loss functions in machine learning
Университете ИТМО Обратное распространение ошибки
Understanding RMSprop — faster neural network learning
A Step by Step Backpropagation Example
English Wikipedia Backpropagation
What is momentum in neural network?
Нейронная сеть с SoftMax слоем на c#
Алгоритм обратного распространения ошибки с регуляризацией на c#
Сверточная сеть на python. Часть 1. Определение основных параметров модели
Сверточная сеть на python. Часть 2. Вывод формул для обучения модели
Stochastic Gradient Descent with momentum
Генетический алгоритм. Просто о сложном
Loss Functions in Neural Networks
Cross entropy
Xgboost-How to use "mae" as objective function?
Обзор 7 основных функций потерь в машинном обучении (с кодом Python)
A Gentle Introduction to Dropout for Regularizing Deep Neural Networks
Convolutions and Backpropagations
What Are Channels in Convolutional Networks?
Backpropagation In Convolutional Neural Networks
The Softmax function and its derivative
Why do we rotate weights when computing the gradients in a convolution layer of a convolution network?
Convolutional Neural Networks
Convolutional Neural Networks backpropagation: from intuition to derivation
Свёрточная нейронная сеть
Backpropagation in a convolutional layer
Does bias in the convolutional layer really make a difference to the test accuracy?
Adam
Question about bias in Convolutional Networks
Стохастический градиентный спуск\