作者您好，我想请教下关于通道注意力的尺度问题

[yimiandai]

作者您好，我想请教下关于通道注意力的尺度问题

[lightersss]

不好意思，刚刚手贱回车了一下，还没来得及写完就提交了issue。
我在另一个closed的issue里看到您提到了关于通道注意力机制的尺度问题，没有太理解您的解释，还请麻烦你再解释两句，非常感谢。
此外，我想问下代码中ASKCFuse和ResGlobLocaforGlobLocaChaFuse分别是AFF模块和iAFF模块吗？我代码能力有点弱

[YimianDai]

关于第一个问题，麻烦您能进一步说一下 我的解释让您困惑的地方吗？否则我有点无头苍蝇。

第二个问题，的确如您所说，ASKCFuse 和 ResGlobLocaforGlobLocaChaFuse 分别是 AFF 模块和 iAFF 模块。这个真的很抱歉了，主要怪我一开始写代码的时候 名字乱取。结果跑了实验后，特别是 ImageNet 实验后，才发现保存的 params 里面对应层的名称就是 ASKCFuse 和 ResGlobLocaforGlobLocaChaFuse 不能改了，否则要重新跑实验，而我没有那么多 GPU 资源（本身就是蹭的别人实验室的机器），所以只好把这两个又土又挫的名字给保留下来，公开处刑了。

[lightersss]

您好，很感谢您的及时回复！！
我是看到#7 这个issue中您的这一段回答

更准确的说法应该是，在论文中，我们认为 通道注意力也应该是有 尺度 这一概念/属性的，而目前 SENet / SKNet 中所用的只是极端情况，最大的尺度 Global Scale 时候的 Channel Attention，而 AFF 论文里用的另一个分支，则是另一种情况，就是最小的尺度最最 Local 时候的 Channel Attention。

产生的疑惑。能否麻烦您可以具体解释一下channel的尺度是什么意思吗？为什么SENet/SKNet这种属于极端情况呢？
此外我还有一个疑惑是关于r(ratio)的，我不是很理解为什么要先减少通道数然后再恢复，能否麻烦您也解释一下，或者说这个问题和channel的尺度是一类问题呢？
时候不早了，如果需要的篇幅较大的话可以等您有空再回复我，非常感谢！！

[YimianDai]

在 AFF 论文里，认为 channel 的尺度就是就是 pooling size，如果用 globalavgpooling 那就是 global scale（相当于pooling 的 kernel size 是 H x W），如果不做 pooling，那就是 local scale（相当于 pooling 的 kernel size 是 1 x 1）。相对于 kernel size 是 3、5、7、9 这种 pooling， H x W 和 1 x 1 刚好是两个极端啊。

至于为什么要采用 先减少通道数然后再恢复 这种 bottleneck 结构，这个跟 AFF 论文里想要表达的 channel 的尺度没有任何关系。我只是 follow 了 SENet 的范式，SENet 就是这么做的。我觉得这么做有两个好处，一个是减少参数量和计算量，比如参数量是 2C^2 / r，r 越大越节省参数；另一个好处是降低 overfitting 的风险吧，因为后面的层 通道数很高了，C x C 这种全连接层容易过拟合。

其实也不一定非要用这种 bottleneck 结构，今年 CVPR 有篇论文天津大学的论文 ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks，里面的观点就是这种 bottleneck 结构 其实对 通道注意力机制不好，我没有跑他们的实验，但您可以看一下他们的论文。从某种程度上，ECA-Net 其实是将探索了 Channel Attention 里面 interaction 的尺度，从 bottleneck 的 global scale 变成了 ECA-Net 里面的 local，但这个 尺度 和 AFF 想要表达的那个尺度的意思不一样，别弄混了。

[lightersss]

好的好的，非常感谢大佬的耐心解答。祝您天天开心，投稿都中！

[YimianDai]

谢谢您的祝福。我是咸鱼，不是大佬。。。