关于voxceleb dino

[JINzezhong7]

关于voxceleb dino

[yfchenlucky]

rdino的训练初期eer是超过10%的，继续训练就好。

[JINzezhong7]

但是我第一轮是19%，然后到第9轮还有14%。这个正常吗

[JINzezhong7]

我用的是dino，没有用rdino

[yfchenlucky]

看趋势是正常范围，可以继续训练，一般25epochs之后，EER会降低到5%以下。

[JINzezhong7]

感谢您的回答。我还有两个问题，在mlp那里三层的fc每一层后面都加了bn，这个我没有加影响大吗。还有

这里我也没有加，请问这里是在做什么。

[yfchenlucky]

1. 前两个fc后最好加入bn，没有严格对比过缺失对训练影响。
2. 图中支持多卡batchnorm。

[JINzezhong7]

好的谢谢，我发现经过mlp之后得到的是65536dim的向量，然后放入softmax里算分布。为什么最后要选择这么大的一个向量，这是有什么实验证明吗

[yfchenlucky]

参照DINO原文中实验配置，我们实验发现如果大幅缩小dim维度，性能会大幅降低。

[JINzezhong7]

非常感谢您的回答

[yfchenlucky]

不客气，期待您进一步的研究。

[JINzezhong7]

您好，我目前训到19轮 趋势EER 是在降低，但是很慢，并且我发现loss从14 epoch开始升高，这是因为没有加batchnorm吗在head层

[yfchenlucky]

是存在可能的，或者是因为你修改代码失误，建议可以先跑完整的源码。

[JINzezhong7]

我刚刚踏入这个领域，还想问一个简单的问题，dino在保存模型的时候是保存student model还是teacher model。最后在测试的时候是用teacher model还是student model进行测试呢

[yfchenlucky]

都保存，测试使用teacher model，详情见代码哈～