artemonigiri/simplenn

simplenn's Issues

'dots' doesn't work as expected

Посмотрел видео, скачал исходники, запустил. Но нет, приложение не работает как на видео, не разграничивает области между точками. Примите меры )

[Вопрос] Сигмоидная функция при больших значениях

Привет, тоже пишу свою нейронную сеть, и столкнулся с такой проблемой. Если использовать много нейронов, то веса, какими бы маленькими они не были, умноженные на активацию нейрона, в сумме дают большое число. Я его пытаюсь програть по сигмоидной функции и она в результате дает ровно 1.0. И если обучать, то из-за этого при вычислении производной получается примерно так 1.0 * (1.0 - 1.0), что в результате дает 0, и обучение не идет. Я не могу найти в твоем коде, как ты это решил?

Вопрос о backpropagation

https://github.com/Elco-/SimpleNN/blob/a293af6d939bf4ed2680314a24769c594b4fa087/src/NeuralNetwork.java#L62

Спасибо тебе за твой труд, использую его как шпаргалку, пока изучаю нейросети.
Такой вопрос.

            for (int i = 0; i < l1.size; i++) {
                for (int j = 0; j < l.size; j++) {
                    deltas[i][j] = gradients[i] * l.neurons[j];
                }
            }

Здесь точно должно быть умножение, а не деление? Ведь у нас есть функция x*w=y. Мы знаем, что хотим изменить y на g. x*w=y+g -> (x*w)-g=y-> x*(w - g/x)=y
Получается, должно быть deltas[i][j] = gradients[i] / l.neurons[j];?

Ошибка

Выборка данных

Функция обучения в классе Main()
int imgIndex = (int)(Math.random() * samples);
Выбираются случайные данные для обучения.
Может быть стоит сделать чтобы просто выполнялся проход по всем подряд? Ведь там и так большое разнообразие и они уже рандомизированы, достаточно будет просто идти по тем данным которые уже есть и варьировать лишь какую часть данных мы задействуем (все или первые 1000) и сколько раз будем обучать сеть этим данным.
Как думаешь?

[Вопрос] Количество слоёв и узлов

Хотел уточнить, чем именно ты руководствовался когда подбирал то или иное количество скрытых слоёв и узлов в них? Это случайный выбор, по результатам тестов или цифры взяты из какой-то статьи?

some modifications

https://mindaugasrumsa.itch.io/nn-digits

Алгоритм обратного распространения

Хочу поинтересоваться, что за алгоритм ты используешь? Дело в том, что я нашел статью на хабре про нейронные сети и обратное распространение(https://habr.com/ru/post/313216/). Там используется немного другой поиск ошибки для нейронов скрытого слоя. А еще есть ролик на ютубе (https://www.youtube.com/watch?v=HA-F6cZPvrg), там еще один способ. И все из них, включая твой, отличаются, можешь сказать почему сделал именно так?