训练PTPCG时输出的评估json文件里有几个命名不确定具体的意思

[Rover912]

训练PTPCG时输出的评估json文件里有几个命名不确定具体的意思

[Spico197]

嗨您好，抱歉回复晚了。

• instance是指事件实例级的评价，即最终结果中必须所有事件元素全对才算一个TP
• adj_mat是指邻接矩阵
• connection是指剪枝完全图中连接边的评价情况
• trigger是指伪触发词的识别情况
• rawCombination是指PTPCG中在经过角色分类前使用BK算法抽出组合的评价情况
• combination是指PTPCG中经过角色分类后新的组合评价结果（一部分论元在分类时会被筛选掉，所以combination的结果会比rawCombination的结果高）

[Rover912]

感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看，是不是存在这样的现象：模型目前还是难以直接准确学习到实体之间connection的关系，从而会导致邻接矩阵整体的预测不是很理想，进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。

[Spico197]

感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看，是不是存在这样的现象：模型目前还是难以直接准确学习到实体之间connection的关系，从而会导致邻接矩阵整体的预测不是很理想，进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。

是的，您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1（自动确定伪触发词数量），那么可以看到一个明显的trade-off现象，｜R｜在为3时结果最好，或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下｜R｜=1的水平。
我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上，以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好，但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右，可以让更多的研究者参与进来，大家可以在现在框架的基础上进行改进，从而让篇章事件抽取这个小社区整体受益。

[Rover912]

感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看，是不是存在这样的现象：模型目前还是难以直接准确学习到实体之间connection的关系，从而会导致邻接矩阵整体的预测不是很理想，进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。

是的，您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1（自动确定伪触发词数量），那么可以看到一个明显的trade-off现象，｜R｜在为3时结果最好，或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下｜R｜=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上，以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好，但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右，可以让更多的研究者参与进来，大家可以在现在框架的基础上进行改进，从而让篇章事件抽取这个小社区整体受益。

以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。强人工定义的关系图有点没理解，是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗？

[Spico197]

感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看，是不是存在这样的现象：模型目前还是难以直接准确学习到实体之间connection的关系，从而会导致邻接矩阵整体的预测不是很理想，进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。

是的，您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1（自动确定伪触发词数量），那么可以看到一个明显的trade-off现象，｜R｜在为3时结果最好，或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下｜R｜=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上，以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好，但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右，可以让更多的研究者参与进来，大家可以在现在框架的基础上进行改进，从而让篇章事件抽取这个小社区整体受益。

以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。强人工定义的关系图有点没理解，是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗？

嗯是的，就是他们论文中对EDAG的定义。也可以看Doc2EDAG中论文的例子或PTPCG附录的图V.1

[Rover912]

感谢解答。我截图中是选择了一次比较好的评估结果。从以上数据来看，是不是存在这样的现象：模型目前还是难以直接准确学习到实体之间connection的关系，从而会导致邻接矩阵整体的预测不是很理想，进而会对后续combination抽取以及最终产生instance的过程产生较大的负面影响。

是的，您的判断没错。我们在论文的future discussion一节中专门讨论了这个问题。这也是为什么|R|的取值高时结果反而降低的原因。如果把解码时的伪触发词数量设置为-1（自动确定伪触发词数量），那么可以看到一个明显的trade-off现象，｜R｜在为3时结果最好，或高或低结果都会变低。不过这一结果仍然没超过当前这种设置下｜R｜=1的水平。 我们认为建模这种实体间关系是未来重要的工作方向之一。 事实上，以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。虽然现在这种简单的模型性能并不算特别好，但我们相信它还有很大的改进空间。GIT的提出也让我们看到表示增强对结果的正面作用。特别是训练的速度控制在了单卡1天左右，可以让更多的研究者参与进来，大家可以在现在框架的基础上进行改进，从而让篇章事件抽取这个小社区整体受益。

以Doc2EDAG为代表的方法也是在建立一种强人工定义的关系图，且不一定符合直觉。强人工定义的关系图有点没理解，是给定之前t-1时刻的角色类型所选定的实体与当前t时刻的角色类型需要选定的实体之间的关系吗？

嗯是的，就是他们论文中对EDAG的定义。也可以看Doc2EDAG中论文的例子或PTPCG附录的图V.1

懂了，感谢～

[160610101]

您好，我十分认可您对于instance评价指标的说明，但是和程序似乎有些出入。
具体的代码是在这里，代码中把事件记录转成了出现论元的集合，然后使用集合操作计算这些论元的共现情况来得到TP/FP/FN值。这样做还是使用了论元粒度而非事件记录实例的粒度，并且在论元为空的情况没有作比较。
当然，这对最终的影响似乎不大哈哈~

[Spico197]

您好，我十分认可您对于instance评价指标的说明，但是和程序似乎有些出入。 具体的代码是在这里，代码中把事件记录转成了出现论元的集合，然后使用集合操作计算这些论元的共现情况来得到TP/FP/FN值。这样做还是使用了论元粒度而非事件记录实例的粒度，并且在论元为空的情况没有作比较。 当然，这对最终的影响似乎不大哈哈~

嗯嗯，您说的没错。完全事件记录实例的指标要考虑类别。可以把这个函数稍微变化一下，加一个事件类别。具体需要修改 这里 的这个函数。