关于多轮对话微调的loss计算

[RyanOvO]

关于多轮对话微调的loss计算

[zRzRzRzRzRzRzR]

是，所有的output都是计算loss的，但是关于对话排列中，您的图好像不对
例如，对于输入 ，模型生成 ，计算生成的 与实际的 的损失。
再比如，输入 ... ，模型生成新的 ，计算生成的新的 与实际新的 的损失。而之前所有的内容都是input

[RyanOvO]

是，所有的output都是计算loss的，但是关于对话排列中，您的图好像不对 例如，对于输入 ，模型生成 ，计算生成的 与实际的 的损失。 再比如，输入 ... ，模型生成新的 ，计算生成的新的 与实际新的 的损失。而之前所有的内容都是input

是这样的么？第一种：

还是这样的？第二种：

看代码真没看出来，前面的Input+output，怎么又变成了新的Input；即你说的之前所有的内容都是Input。
@zRzRzRzRzRzRzR

[zRzRzRzRzRzRzR]

是第一种，第二种是没办法训练多轮对话的呀

[RyanOvO]

好的，清楚了。第一种的弊端就是比较冗余且性能低一些。
不过对于第二张Loss计算方式是可以的。在Firefly与Xtuner两个微调框架中都支持了。可参考文档：
https://github.com/InternLM/xtuner/blob/main/docs/zh_cn/user_guides/dataset_format.md
@zRzRzRzRzRzRzR