关于NormHead的疑问

[piekey1994]

关于NormHead的疑问

[mmmans]

You are right. creating new parameter in eval mode is just a speedup trick! You can use norm_weight = nn.functional.normalize(self.weight) for all mode, no harm except a little bit slowness.

[FrankWhh]

请问为啥重新赋值能加速？

[mmmans]

请问为啥重新赋值能加速？

Normalization is omitted in this case.

[FrankWhh]

有相关资料吗？我理解推理就是前项计算，融合算子可以加速，重新赋值为啥能加速

[jameswu2014]

有相关资料吗？我理解推理就是前项计算，融合算子可以加速，重新赋值为啥能加速

只有第一次forward会计算，后面就直接赋值了，不需要再对weight做normalize了

[jeffchy]

发现多次eval loss的时候损失很大，是否是因为当eval的时候，weight会被重新赋值，但是如果我在训练过程中连续eval，是不是会有问题？

[David-Lee-1990]

发现多次eval loss的时候损失很大，是否是因为当eval的时候，weight会被重新赋值，但是如果我在训练过程中连续eval，是不是会有问题？

训练过程中多次eval，并不会每次都重新赋值吧，只是第一次eval的时候。