bojone/exposure_bias

some strategies for exposure bias in seq2seq

exposure_bias

some strategies for exposure bias in seq2seq

dependency

pip install bert4keras==0.5.8
pip install rouge==1.0.0
pip install nltk==3.2.5

contact

QQ Group: 67729435, Wechat Robot: spaces_ac_cn

exposure_bias's Issues

o_token_ids = token_ids

随机替换的源代码中 o_token_ids = token_ids 这一行，为什么是这样的？感觉token已经随机替换成负样本了，模型需要根据负样本尽力生成正确的，然后跟没有替换的做损失，所以应该用copy.deepcopy()，源代码中的这个意思是模型生成的应该跟替换后的负样本做交叉熵损失，有点不懂？