MeanSquaredError

[skaae]

MeanSquaredError

[skaae]

Der ser ud til at være samme fejl i crossentropy?

[casperkaae]

Er det ikke mere rigtigt at skalere learningrate med batch_størrelse? Ellers vil cost jo afhænge af batch størrelse når man fx plotter den?

[skaae]

Er det ikke omvendt. Hvis man ikke skallerer med batch størrelse vil cost afhænge af batchstørrelsen.

Der er en fejl i den Mean squared jeg foreslog:

    def fprop(self, x, t):
        num_batches = x.shape[0]
        cost = 0.5 * (x-t)**2   # samples, num_outputs
        cost = cost.sum()  # sum over output and batches
        return cost / num_batches  # divide by batchsize

[casperkaae]

Begge dele er fint syntes jeg

Dit forslag giver vel "per sample cost" - Det er også det der bliver gjort i lasagne, så det er fint syntes jeg

[skaae]

Ok. Vil du copy paste det ind i dit PR? crossentropy er fin udover den er skrevet anderledes.

Du kan evt også cp de forslag som jeg har åbnet issues om? Hvis du er enig.