处理文本数据或一维序列数据

[zhengchunge]

处理文本数据或一维序列数据

[Vladimir2506]

Hello @zhengchunge,

It is a good question. We haven't tried this deformable attention mechanism on text, time series, or other 1-D data. The core concept of deformable attention, spatial/temporal dynamic modeling, could be useful in different data modalities. Adapting this mechanism to other 1-D data seems interesting. However, several design choices should be reconsidered.

这是一个很好的问题，我们没有尝试Deformable Attention在文本、时间序列或者其他1D数据上的实现。但Deformable Attention的核心概念——空间/时间上的动态建模——应该可以在不同模态的数据上奏效。把这个方法应用到其他的1D数据集看上去很有趣，但是需要重新考虑一些设计上的细节。