XLNet 在 DRCD dev set 的表現與 DRCD test set 的表現差異甚大

[ymcui]

XLNet 在 DRCD dev set 的表現與 DRCD test set 的表現差異甚大

[ymcui]

凭直觉看应该是在预测DRCD_test.json的时候网络没有被initialize。
init_checkpoint在单独做predict的时候是不起作用的。
接下来：

1. 你需要查看一下${MODEL_DIR}/model_ckpt目录下是否有xlnet的model文件。
2. 查看log中是否包含类似Restoring parameters from这样的信息，如果没有就说明model没有被正确加载进去。

[allenyummy]

是因為這個緣故嗎?! 感謝您的回覆!

[allenyummy]

目前 ${MODEL_DIR}/model_ckpt目錄底下的文件

請問該如何解決model没有被正确加載進去的問題..

[ymcui]

上面那个Estimator的问题可以忽略。你需要再看一下log中是否包含Restoring parameters from这样的信息。

[allenyummy]

有出現這個訊息

[ymcui]

看似weights应该是读进去了，方便的话可以把log和prediction.json发给我看看， [email protected]

[allenyummy]

已寄出，十分感謝協助!!

[ymcui]

由于命名原因，dev和test生成的tf_records/features.pkl都会命名成XLNet/proc_data/spiece.model.slen-256.qlen-64.eval.features.pkl。
你能否改变一下--output_dir=到其他的目录，重新预测一遍DRCD_test.json，这样可以重新生成features和tf_records，看看会有什么样的结果。

[allenyummy]

成功了!
test set
EM: 84.42
F1: 92.85
十分感謝!!