数据集泛化问题

[fuyuyuputao]

数据集泛化问题

[zezhishao]

没有遇到过，STEP在METR-LA、PeMS-BAY、PeMS03、PeMS04、PeMS07、PeMS08上都做过实验，看起来一切正常。

[fuyuyuputao]

您好，我根据您提供的数据预处理代码生成了训练数据，在METR-LA、PeMS-BAY都能够看到和您提供的训练日志几乎一样的结果，我换了个数据集后发现损失值很大且很难下降。数据集是下面这个电力的数据集：
https://archive.ics.uci.edu/ml/datasets/ElectricityLoadDiagrams20112014
然后由于数据集太大，我进行了降采样：
https://drive.google.com/file/d/1SAcq-cHZqhnwPL5gjm6yo6dMbW_ec2Rn/view?usp=share_link
我使用您提出的预训练tsformer模型预训练降采样后的数据集，发现训练损失很大，是我超参数设置的不合理嘛？

[fuyuyuputao]

非常感谢您的回复

[zezhishao]

抱歉，我没有在ETT上做过实验，无法给您具体的解答，只能给您一些模糊的见解。

一方面，ETT数据集的采样频率、取值范围、异常值数据等和我提到的数据集完全不同，建议您检查数据预处理是不是正确，得到的格式是否符合STEP的要求。

另一方面，ETT数据集的特点是没有明显的模式、分布飘逸特别严重、噪声较大。不太建议您在上面做研究，很难得到可靠的结论。考虑到其模式不明确、噪声大，所以模型结构越复杂，效果越差。您可以考虑使用我的另一个仓库中的STID模型，可以直接打败一众Transformer模型和Linear模型。但总的来说，个人感觉ETT数据集不太适合做科研，真想刷榜，使用一些工程化的方法（多采样、层次化、集成学习等）效果更加显著。

[fuyuyuputao]

感谢大佬。