NSP任务的代码应该是有问题的，是不是该修复一下了

[paddlepaddle]

NSP任务的代码应该是有问题的，是不是该修复一下了

[sserdoubleh]

这部分代码是没问题的，checkpoints是可选参数，这个checkpoints设置实际上是不必要的，显存优化效果不明显
至于NSP训练，想问您是使用提供的NSP model进行finetune吗？
这个模型checkpoint的参数，由于在不同版本的paddle的迭代过程中出了些问题，尽量避免再对其finetune；如果需要finetune的话，可以尝试在config中加上一行use_amp="False"，之前测试可以正常训练，可以尝试一下，速度就会慢一倍

[onewaymyway]

这部分代码是没问题的，checkpoints是可选参数，这个checkpoints设置实际上是不必要的，显存优化效果不明显
至于NSP训练，想问您是使用提供的NSP model进行finetune吗？
这个模型checkpoint的参数，由于在不同版本的paddle的迭代过程中出了些问题，尽量避免再对其finetune；如果需要finetune的话，可以尝试在config中加上一行use_amp="False"，之前测试可以正常训练，可以尝试一下，速度就会慢一倍

_calc_logits的定义是这样的
def _calc_logits(self, enc_out, checkpoints=None, seq_pos=None):

代码调用fc_out = self._calc_logits(outputs["enc_out"], inputs["tgt_pos"])这个会把inputs["tgt_pos"]传给checkpoints,这样参数就错位了，得改成fc_out = self._calc_logits(outputs["enc_out"], seq_pos=inputs["tgt_pos"])或者fc_out = self._calc_logits(outputs["enc_out"],None, inputs["tgt_pos"])

我训练NSP是为了做模型融合，就是多技能对话那个比赛，上面这个错就是尝试训练NSP任务的时候出现的，后来我按我说的那样改了就能正常训练了。

非常感谢耐心回答： ）

[sserdoubleh]

嗯，这个没有查看参数对位的问题，现在把这个不必要的checkpoint去掉了
在#31 已经修复了