dunzeng/fedaware

Code for paper - Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization

FedAWARE

Code for paper "Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization".

Dependencies

pip install -r requirement.txt

Run

python fedaware.py -num_clients 100 \
                    -com_round 500 \
                    -sample_ratio 0.1 \
                    -batch_size 64 \
                    -epochs 3 \
                    -lr 0.01 \
                    -glr 1 \
                    -dseed 37 \
                    -seed 1998 \
                    -partition [pathological/dirichlet] \
                    -dataset [mnist\fmnist\cifar10] \
                    -alpha 0.5 \
                    -startup 1 \
                    -agnostic [0\1] \
                    -preprocess 1

Citation

Please cite our paper if you found the code useful.

@article{zeng2023tackling,
  title={Tackling Hybrid Heterogeneity on Federated Optimization via Gradient Diversity Maximization},
  author={Zeng, Dun and Xu, Zenglin and Pan, Yu and Wang, Qifan and Tang, Xiaoying},
  journal={arXiv preprint arXiv:2310.02702},
  year={2023}
}

fedaware's Issues

请教问题

曾博，您好。关于您论文中使用了动量去最大化Surrogate gradient diversity的部分，我有些疑问，希望能得到您的指导。本人很菜，想了解为啥使用动量而不是使用梯度，是要保护隐私吗，感觉如果有历史动量，隐私还是会泄露。还是说起加速收敛、减少震荡的作用啊（感觉这个在用梯度计算完梯度最大化，再动量也行啊）。期待您的回复，非常感谢

论文带读视频推荐

这里是丸一口，曾博士这篇论文写得很丝滑，我制作了带读视频：
【【算法带读】FedAWARE：通过梯度多样性最大化处理联邦优化中的混合异质性】 https://www.bilibili.com/video/BV1FZ421e7VE/