nndam/adaface-partialfc

Adaface with PartialFC

Hi 👋, I'm Dam Nguyen Ngoc

A passionate AI/ML engineer

• 👀 I’m interested in Machine Learning & Artificial Intelligence
  
• 🌱 I’m currently working as AI/ML Engineer
• 😎 A big fan of NVIDIA

Connect with me:

 

adaface-partialfc's Issues

Nan Loss

Hello @NNDam

Thank you so much for the great implementation,

I'm using your repo to train webface42m with pfc+adaface, with the config files from insightface, i've noticed two issues:

• the loss keeps converging to Nan, i'm currently experimenting with lr 0.1 to see what happens
• one of the models currently training at epoch 12 and is fixed with a learning rate of 0.4, lr is not decreasing

let me know if you faced the same issue.

Thank you!

Add ViT models

1. Cảm ơn anh vì 1 repo hữu ích ạ. Em thấy trong phần Todo anh có ghi là Add Vit models. Theo em biết là backbone này có được bên InsightFace cập nhật rồi đúng không ạ?. Trước đây em đã chạy thử backbone này và kết quả khá tốt nhưng nhược điểm là model khá nặng.
2. Em có custome 1 backbone của 1 kiến trúc khác, cũng sử dụng cơ chế Attention. Link paper & code EfficientFormer. Sau khi train xong trên tập WF260, tập val lfw có độ chính xác là 0.99833. Model này chỉ nặng 46MB. Loss em sử dụng là ArcFace
3. Nếu anh muốn thử em có thể đóng góp backbone mới này.
4. Em cảm ơn.

reduce_scatter的处理是为什么呢

你好，patical_fc.py中为什么进行reduce_scatter操作呢，对训练会有影响吗