关于pre-training结果的复现

[HamLaertes]

关于pre-training结果的复现

[zezhishao]

根据您的描述我无法确定问题出在哪里，您可以提供更多的信息，尤其是对代码的修改。

[HamLaertes]

我没有对代码做任何的修改。。。所以我担心是预训练参数的差别。如果你们也没有对预训练参数做更多的调整，那么可能是机器的差异吧？

[zezhishao]

有点奇怪，我跑的代码和结果都在这个repo里面了，你也可以在training_logs看到我的结果。晚点我再跑一次试试吧。

[zezhishao]

您复现的结果是什么？不同的机器确实会有差异，但不会差很多才对。

[HamLaertes]

在我完全复现pre-training+graph wavenet finetuning的结果中，虽然比论文中低一点，但也是SOTA。。
只是pre-training中的过程中，validation和test的指标跟github中的logs差距比较大，我可以把logs发到你在论文中留的邮箱中，因为logs太长了在这里不好post。

[zezhishao]

按理来说，预训练阶段的Train和Valid应该是一样的。Test确实会和我的log里面不一样，因为我后面修复过一个bug。See issue #18 . 预训练阶段的Test没有啥意义，可以不用关注。只要Downstream中表现正常就行。
STEP曾重构过，重构之后的结果在training_logs文件夹中，可能会和论文中的值有偏差。
METR-LA和PEMS-BAY会更好一点，PEMS04可能会差一点。但应该都还是SOTA，不会影响文章结论。您可以引用repo中的值而不用论文中的值。

[HamLaertes]

我看了引用的issue，这确实解答了我的问题。您们的开源做的很好，感谢！