关于应用于FPN

[Pluto1314]

关于应用于FPN

[YimianDai]

您好，AFF / iAFF 仅仅旨在取代 X + Y 中的加号。X, Y 这两个特征能相加的前提是两者必须是相同的大小的，所以 AFF / iAFF 对其的前提假设就是如此，这个您可以见论文4.1 小节的第一句话就假设了两者具有相同大小。具体到 FPN 中，那 X 其实是经过 PWConv 变换到跟 Y 相同通道数后的特征，Y 则是用 BilinearResize2D 到跟 X 相同尺寸后的特征，如此 X 和 Y才可以相加。 在图 3(c)中，蓝色的箭头表示通道数变换，红色的表示 Upsampling。

非常感谢您这个问题！我回去翻了一下论文，发现在我重写了一遍论文后，对红色、蓝色箭头的说明文字消失了（在初稿中是有的）。因为重写地非常匆忙，这个的确是我的疏忽，非常感谢您的指正，我在后期的修改版中会添加相应内容。

再次感谢~

[Pluto1314]

您好，非常感谢您的回答。
我明白您的意思了。我还有个疑问，如何我不使用相邻stage的特征层输入AFF（比如：下采样为32的层（Y）和下采样为16的层（X）），那么是不是意味着我需要将X使用PWConv将输出通道与Y匹配，而Y需要经过4倍上采样与X的尺度匹配。
通道以Y为标准，尺度以X为标准，是这个意思吗？
期待您的回复。

[YimianDai]

标准的 FPN 的做法应该是 通道数往维数高的看齐，空间尺寸则往大的看齐。所以具体到您的 case，我只能说照理应该如此。但实际上，如果类别数比较少的话（比如二分类的话），我觉得维数去迁就低的可能差别也不大（需要跑过实验才知道），这个问题其实是网络设计的问题了，就 AFF/iAFF 来说，只要 X 和 Y 一样大小就行了。

PS：我想问下，邮箱里问 FPN 的是您吗？如果是的话，我一并回复了。我在手机上看到了您的消息，但想转到电脑上打字，梯子不太给力，一个小时多了，gmail 页面还没打开，囧。。。

[Pluto1314]

如果是关于fpn的话，我想应该是的，因为我一开始编辑错了，所以重新编辑了一下。 我明白了，再次感谢您。

…

------------------ 原始邮件 ------------------ 发件人: Yimian Dai <[email protected]&gt; 发送时间: 2020年10月25日 22:28 收件人: YimianDai/open-aff <[email protected]&gt; 抄送: Pluto1314 <[email protected]&gt;, Author <[email protected]&gt; 主题: 回复：[YimianDai/open-aff] 关于应用于FPN (#10) 标准的 FPN 的做法应该是 通道数往维数高的看齐，空间尺寸则往大的看齐。所以具体到您的 case，我只能说照理应该如此。但实际上，如果类别数比较少的话（比如二分类的话），我觉得维数去迁就低的可能差别也不大（需要跑过实验才知道），这个问题其实是网络设计的问题了，就 AFF/iAFF 来说，只要 X 和 Y 一样大小就行了。 PS：我想问下，邮箱里问 FPN 的是您吗？如果是的话，我一并回复了。我在手机上看到了您的消息，但想转到电脑上打字，梯子不太给力，一个小时多了，gmail 页面还没打开，囧。。。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[YimianDai]

哦哦，梯子突然灵光了刚刚，我回您邮件了哈。check 了一下邮件，发现我看不到抄送信息，否则就不用问了哈。

[Pluto1314]

好的，非常感谢～

…

------------------ 原始邮件 ------------------ 发件人: Yimian Dai <[email protected]&gt; 发送时间: 2020年10月25日 22:38 收件人: YimianDai/open-aff <[email protected]&gt; 抄送: Pluto1314 <[email protected]&gt;, Author <[email protected]&gt; 主题: 回复：[YimianDai/open-aff] 关于应用于FPN (#10) 哦哦，梯子突然灵光了刚刚，我回您邮件了哈。 — You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe.

[twsha]

您好，我想请问一下AFF或者说iAFF如何应用于FPN呢，以AFF为例，X、Y分别为不同stage下的特征层，文章中说Y是高语义的，那么以resnet中下采样为32的层（Y）和下采样为16的层（X）来说，如何能使X+Y呢，这两个首先特征图的尺度不同，其次维度也不同。

很抱歉打扰您，期待您的回复，谢谢！

你好，请问你是如何把aff融合到fpn中encoder与deocder的每一层的跳跃连接中的