多卡并行训练报错

[yuanzhoulvpi2017]

多卡并行训练报错

[yuanzhoulvpi2017]

1. 在老版本中，模型可以多卡，但是我用了新版本代码，就不能并行了。我还在调试bug，

[cywjava]

1. 在老版本中，模型可以多卡，但是我用了新版本代码，就不能并行了。我还在调试bug，

哟西，我就说怎么你之前的可以，现在的不可以了呢。 另外之前的是可以多卡，但是除了第一个卡满载运行，其它感觉 都是闲着的啊

[yuanzhoulvpi2017]

是的，我还在优化，第一版的并行也不优雅，我继续修改！ 发自我的 iPhone 在 2023年3月31日，11:23，chenyiwan ***@***.***> 写道：  1. 在老版本中，模型可以多卡，但是我用了新版本代码，就不能并行了。我还在调试bug， 哟西，我就说怎么你之前的可以，现在的不可以了呢。 另外之前的是可以多卡，但是除了第一个卡满载运行，其它感觉 都是闲着的啊 — Reply to this email directly, view it on GitHub<#44 (comment)>, or unsubscribe<https://github.com/notifications/unsubscribe-auth/AHJRI6IIGXSIFVLKGA3EE3LW6ZE2XANCNFSM6AAAAAAWNMRE2I>. You are receiving this because you commented.Message ID: ***@***.***>

[Chenzongchao]

okok

[yuanzhoulvpi2017]

添加了单机多卡训练代码，链接放在这里，https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/Chatglm6b_ModelParallel

单机多卡、模型并行方式训练chatglm6b模型代码。
同时，结合lora算法、fp16精度、使用checkpoint等方法，可以在文本长度为1024、batchsize=4的情况下，在两个T4显卡上跑的很快乐（显卡的显存最大为16G，但是实际上卡1用了8G，卡2用了11G），甚至batchsize还可以提高。