train_entity.py 头实体表示学习模型训练精度只有63

[deep-polyu]

train_entity.py 头实体表示学习模型训练精度只有63

[Hanlard]

我没有自己训练transE，是直接下载作者链接的文件，把KGembed.zip里的文件考进去的

[yhs1450239423]

我没有自己训练transE，是直接下载作者链接的文件，把KGembed.zip里的文件考进去的

我也是直接下载的。请问，您的头实体表示学习模型有没有把源码里注释掉的attention恢复呢？我跑完代码，在没有加attention的时候，精度只有40多点，把注释的attention恢复，效果反而差了百分至零点几，而且这种情况在谓词表示学习模型的那块代码也有一样的现象，不知道您的这部分代码是否做了什么改动呢？求告知，非常感谢！ @Hanlard

[xhuang31]

Thanks for your interest. There must be some issues in your code.

I would suggest you to rerun everything from the beginning. Do not change the order of the codes unless you are familiar with them.

I didn't make any changes in the past few months. Many others could reproduce the results.

Many thanks.

[yhs1450239423]

好的，谢谢您的回复。我还想问一下，请问论文中的attention机制，是不是就是您代码在模型的网络结构中被注释的那部分呢？我的意思是，我应该是不需要另外改这部分attention的代码吧？

[xhuang31]

#2 There is an issue with the attention model. I didn't get time to fix it. Please refer to #2 for more details.

Thanks.

[yhs1450239423]

好的，谢谢您的回复，非常感谢！

[yhs1450239423]

attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？

[lxylxyoo]

attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？

实体学习部分我的准确率也是在40%左右，请问你现在能达到多少的效果了？是怎么提升的？谢谢

[yhs1450239423]

不好意思，一直没看见。40%应该是因为数据用错了。 entity2id，relation2id数据换成main.sh网址中给的KGembed中下载的数据就可以了。不要用前面代码生成的数据。

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人:&nbsp;"lxylxyoo"<[email protected]&gt;; 发送时间:&nbsp;2020年5月21日(星期四) 晚上7:32 收件人:&nbsp;"xhuang31/KEQA_WSDM19"<[email protected]&gt;; 抄送:&nbsp;"那个人影竟然不是我"<[email protected]&gt;;"Comment"<[email protected]&gt;; 主题:&nbsp;Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？ 实体学习部分我的准确率也是在40%左右，请问你现在能达到多少的效果了？是怎么提升的？谢谢 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[slliao445]

attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？

你好，我想问下，代码里被注释的attention部分加上后，代码会报错。想问下attention部分具体需要做些什么改动呢？

[yhs1450239423]

不好意思，当时我并没有在这个方面做太多的深入，我的相关源码也没有保存，我觉得您可以把在现在改动的情况下，，报的错误发出来看。

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "slliao445"<[email protected]&gt;; 发送时间: 2020年8月13日(星期四) 晚上8:14 收件人: "xhuang31/KEQA_WSDM19"<[email protected]&gt;; 抄送: "那个人影竟然不是我"<[email protected]&gt;; "Comment"<[email protected]&gt;; 主题: Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？ 你好，我想问下，代码里被注释的attention部分加上后，代码会报错。想问下attention部分具体需要做些什么改动呢？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[slliao445]

不好意思，当时我并没有在这个方面做太多的深入，我的相关源码也没有保存，我觉得您可以把在现在改动的情况下，，报的错误发出来看。
…
------------------ 原始邮件 ------------------ 发件人: "slliao445"<[email protected]>; 发送时间: 2020年8月13日(星期四) 晚上8:14 收件人: "xhuang31/KEQA_WSDM19"<[email protected]>; 抄送: "那个人影竟然不是我"<[email protected]>; "Comment"<[email protected]>; 主题: Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？ 你好，我想问下，代码里被注释的attention部分加上后，代码会报错。想问下attention部分具体需要做些什么改动呢？ — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

谢谢哈，attention部分加上后，矩阵维度上需要修改一下才能匹配。我已经改好了，谢谢。 另外，我这边训练结果和您的类似，头实体预测在val集上只有62的准确率。 不过最后测试的结果倒是和paper中差不多， 感觉开发集和测试集的结果相差比较大啊？

[zhangzy6]

你好，train_entity.py 头实体表示学习模型训练精度63%，train_pre.py 关系表示学习模型训练精度81%，最后的结果为72%左右，和paper差3%，您遇到过这个情况吗

[yhs1450239423]

时间有点久，我记得不是很清楚了。我记得头实体那个我当时确实60多，最后得结果，不知道你是否加了注意力机制，我当时记得没有注意力的时候反而更高，你可以试试。另外我现在不做机器学习了，太深入的原因我也不太清楚了，，不好意思，比较菜，哈哈哈哈。

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "zhangzy6"<[email protected]&gt;; 发送时间: 2021年1月28日(星期四) 晚上7:29 收件人: "xhuang31/KEQA_WSDM19"<[email protected]&gt;; 抄送: "那个人影竟然不是我"<[email protected]&gt;; "Comment"<[email protected]&gt;; 主题: Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) 你好，train_entity.py 头实体表示学习模型训练精度63%，train_pre.py 关系表示学习模型训练精度81%，最后的结果为72%左右，和paper差3%，您遇到过这个情况吗 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[zhangzy6]

好的谢谢，我就是按程序跑的，没有加入注意力机制，不知道怎么会比paper中低3%左右

[yhs1450239423]

不是啊，论文是有注意力的，然后我记得其中一段模型那是注释掉的，但是按照论文应该是得把那段加入？确实记不得了。你可以看看模型那块代码是否有注释部分。

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "xhuang31/KEQA_WSDM19" <[email protected]&gt;; 发送时间:&nbsp;2021年1月28日(星期四) 晚上7:37 收件人:&nbsp;"xhuang31/KEQA_WSDM19"<[email protected]&gt;; 抄送:&nbsp;"那个人影竟然不是我"<[email protected]&gt;;"Comment"<[email protected]&gt;; 主题:&nbsp;Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) 好的谢谢，我就是按程序跑的，没有加入注意力机制，不知道怎么会比paper中低3%左右 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

[zhangzy6]

好的，我再看看，谢谢了

[ZuoZicheng]

attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？

您好，我把注意力机制加上之后发现：对于谓词学习部分的准确率由0.816下降到0.815，实体学习部分由0.642提高到了0.644，测试集上准确率依然是0.75

[ZuoZicheng]

你好，train_entity.py 头实体表示学习模型训练精度63%，train_pre.py 关系表示学习模型训练精度81%，最后的结果为72%左右，和paper差3%，您遇到过这个情况吗

这个结果你是在FB2M数据集上跑的还是FB5M？

[azhe1234]

不好意思，一直没看见。40%应该是因为数据用错了。 entity2id，relation2id数据换成main.sh网址中给的KGembed中下载的数据就可以了。不要用前面代码生成的数据。
…
------------------ 原始邮件 ------------------ 发件人: "lxylxyoo"<[email protected]>; 发送时间: 2020年5月21日(星期四) 晚上7:32 收件人: "xhuang31/KEQA_WSDM19"<[email protected]>; 抄送: "那个人影竟然不是我"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？ 实体学习部分我的准确率也是在40%左右，请问你现在能达到多少的效果了？是怎么提升的？谢谢 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.
请问为什么不能用前面代码生成的数据呢，我用前面的跑attention的结果比较差，好奇的是前面代码生成的数据不是数据预处理部分吗？为什么用直接下载的Kgemb里面的entity2id.txt和relation.txt文件呢，不太懂这个地方，可以告诉一下吗？谢谢

[azhe1234]

你好，train_entity.py 头实体表示学习模型训练精度63%，train_pre.py 关系表示学习模型训练精度81%，最后的结果为72%左右，和paper差3%，您遇到过这个情况吗

这个结果你是在FB2M数据集上跑的还是FB5M？

这个感觉应该是FB2M，代码中默认是FB2M

[azhe1234]

请问还有人研究这篇论文吗？如果有的话可以联系下我吗？有些问题想探讨下谢谢

[azhe1234]

attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？

实体学习部分我的准确率也是在40%左右，请问你现在能达到多少的效果了？是怎么提升的？谢谢
你好，请问你现在还研究这个论文吗？我有些问题可以和你交流下吗？如果方便的话

[azhe1234]

我没有自己训练transE，是直接下载作者链接的文件，把KGembed.zip里的文件考进去的

您好，请问你现在还研究这个论文吗？我有些问题可以和你交流下吗？如果方便的话

[Baekhyun-56]

菜鸟诚心发问555，请问一下要怎么替换成自己的数据集呢？

我没有自己训练transE，是直接下载作者链接的文件，把KGembed.zip里的文件考进去的

您好，请问你现在还研究这个论文吗？我有些问题可以和你交流下吗？如果方便的话

[ZuoZicheng]

可以，加我QQ就好

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "Wenjing ***@***.***&gt;; 发送时间: 2022年4月20日(星期三) 晚上11:50 收件人: ***@***.***&gt;; 抄送: ***@***.***&gt;; ***@***.***&gt;; 主题: Re: [xhuang31/KEQA_WSDM19] train_entity.py 头实体表示学习模型训练精度只有63 (#11) 菜鸟诚心发问555，请问一下要怎么替换成自己的数据集呢？ 我没有自己训练transE，是直接下载作者链接的文件，把KGembed.zip里的文件考进去的 您好，请问你现在还研究这个论文吗？我有些问题可以和你交流下吗？如果方便的话 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***&gt;