Comments (14)
嗨您好,感谢对本项目的关注。您需要先在dee/event_types
里准备自己的event template,然后再参考readme中的方法跑实验:https://github.com/Spico197/DocEE?tab=readme-ov-file#to-reproduce-results-in-paper
from docee.
感谢老师回复!我已经仿照event_types中的template构建了类似的代码,但是论元角色的importance得分这部分需要怎么获得呢?以及我的数据集只有一种事件类型,这会影响PTPCG的效果吗?
from docee.
- importance 和伪trigger需要通过 https://github.com/Spico197/DocEE/blob/main/Data/trigger.py 来搞定。
- 需要实验看看。事件类型越少,对于模型来说越简单。
from docee.
老师您好,我根据伪trigger的importance 得分构建了我数据集的template模板,成功运行了代码。但是经过100个epoch之后模型最终的F1指标很低,只有19.36 如图所示
相比之下,我是用DE-PPN的模型跑同样的数据集,最后的F1得分为40.1
请问老师在PTPCG这个模型中可能哪里需要调整一下呢?感谢老师!
from docee.
看起来比较奇怪,cls和ent都是100%正确,但是combination差了好多。
试试ProcNet吧:https://github.com/xnyuwg/procnet
from docee.
感谢老师分享。cls是100的原因可能是我最后一个事件类型,所以分类的准确率很高。我也观察了模型输出的json文件,无论是单事件还是多事件的combination的F1得分都很低。由于我的数据集是篇章级别的,所以句子数比较多,但是实体数相对较少,可能会出现连续好几个句子没有实体的情况。并且虽然句子数量很多但是事件数量很少。请问老师这可能会是combination很低的一个原因吗?
from docee.
老师您好,现在模型在训练到第2个epoch的时候就达到了最佳的F1(60),从第三个epoch开始F1骤降到15,并且之后也一直在15-25徘徊。请问老师可能是什么原因呢?
from docee.
可能数据量太少过拟合了。最佳F1指的是dev上的结果吗?
from docee.
感谢老师分享。cls是100的原因可能是我最后一个事件类型,所以分类的准确率很高。我也观察了模型输出的json文件,无论是单事件还是多事件的combination的F1得分都很低。由于我的数据集是篇章级别的,所以句子数比较多,但是实体数相对较少,可能会出现连续好几个句子没有实体的情况。并且虽然句子数量很多但是事件数量很少。请问老师这可能会是combination很低的一个原因吗?
之前邮件发送的回复,在github页面上没显示,这里补个档:
- 嗷嗷了解。如果没有负例的话分类100%正确挺正常的
- 组合的部分,计算邻接矩阵时是只有实体参与计算的。如果实体也能100%正确,这个结果还挺奇怪的。你是划分了训练开发测试集的吗,可以比较下训练过程中dev和test结果的变化,看看是不是过拟合了
from docee.
可能数据量太少过拟合了。最佳F1指的是dev上的结果吗?
是的老师,是在DEV上的最佳结果。我们的数据集相比ChFinAnn确实小了很多,总计只有1000篇文章,还要划分train,dev,test。
from docee.
感谢老师分享。cls是100的原因可能是我最后一个事件类型,所以分类的准确率很高。我也观察了模型输出的json文件,无论是单事件还是多事件的combination的F1得分都很低。由于我的数据集是篇章级别的,所以句子数比较多,但是实体数相对较少,可能会出现连续好几个句子没有实体的情况。并且虽然句子数量很多但是事件数量很少。请问老师这可能会是combination很低的一个原因吗?
之前邮件发送的回复,在github页面上没显示,这里补个档:
- 嗷嗷了解。如果没有负例的话分类100%正确挺正常的
- 组合的部分,计算邻接矩阵时是只有实体参与计算的。如果实体也能100%正确,这个结果还挺奇怪的。你是划分了训练开发测试集的吗,可以比较下训练过程中dev和test结果的变化,看看是不是过拟合了
是的,我划分了训练开发测试集,接下来我去比较一下训练中dev和test的结果变化,观测是否有过拟合的存在。感谢老师回复,祝您生活愉快!
from docee.
老师,对于《Joint Document-Level Event Extraction via Token-Token Bidirectional Event Completed Graph》这篇论文,论文在ChFinAnn上和Duee-Fin上的F1都出其的好。我也在原作者的github上看到了老师您的评论,请问老师这篇论文的F1与Doc2EDAG中定义的F1是不是不同?
from docee.
老师,对于《Joint Document-Level Event Extraction via Token-Token Bidirectional Event Completed Graph》这篇论文,论文在ChFinAnn上和Duee-Fin上的F1都出其的好。我也在原作者的github上看到了老师您的评论,请问老师这篇论文的F1与Doc2EDAG中定义的F1是不是不同?
嗯啊,根据作者在issue区的回复和论文中的说明,两个metrics不相同。
from docee.
老师您好,请问目前对于文档级别的DEE,在ChFinAnn数据集上表现为SOTA的模型有哪些呢?
from docee.
Related Issues (20)
- 实验结果 HOT 4
- 相似度的一些问题 HOT 8
- 分布式训练 HOT 3
- importance分数 HOT 15
- deppn模型F1只有33 HOT 2
- "pred_results"中的classification得分 HOT 25
- 分句 (uncommon sentence cutoff in DuEE-fin) HOT 14
- Duee_Fin预测结果 HOT 2
- 测试集结果 HOT 2
- 单事件&多事件 HOT 3
- Greedy-Dec模型如何运行? HOT 6
- Evaluation Metric HOT 11
- similarity calculation HOT 1
- pretrained model weight HOT 1
- 多事件 HOT 1
- 使用o2m格式的数据时,需要修改那些代码呢 HOT 1
- Potential performance issue: plotting slow in matplotlib == 3.3.0 HOT 1
- 关于ptpcg论文的一些问题 HOT 4
- 论文中的一个问题 HOT 3
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from docee.