增量预训练出错

[lwj2001]

增量预训练出错

[jubgjf]

可以参考这里：https://stackoverflow.com/questions/78211526/pytorch-attributeerror-torch-dtype-object-has-no-attribute-itemsize 检查一下torch版本

[lwj2001]

还是没能解决，torch版本就是您推荐的2.0.1 + cu117，我是直接通过以下命令安装的torch：
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu117
其他的环境依赖和您的一致

[jubgjf]

试试不加--index-url呢，我安装的时候没加

[lwj2001]

很抱歉，还是相同的错误
我的安装环境脚本如下：
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install transformers==4.36.2 datasets evaluate peft accelerate gradio optimum sentencepiece trl
pip install jupyterlab scikit-learn pandas matplotlib tensorboard nltk rouge bitsandbytes fire
pip3 install deepspeed
pip install flash-attn --no-build-isolation
因为环境中cuda11.7的toolkit，并且.bashrc文件已经明确指向了cuda11.7
您可以复现一下吗

[jubgjf]

要不试试升级torch版本吧，我们的代码对torch的版本要求没那么严格

[dkasa]

问题解决了吗？ 能提供下 requirements.txt 吗？或者你们在哪里查到的？

[lwj2001]

是的，问题已经解决了。
requirements.txt

[dkasa]

收到，感谢，我来对比下。