1.5-72B-Chat 显存占用270GB，推理速度只有3 Tokens/s

[qwenlm]

1.5-72B-Chat 显存占用270GB，推理速度只有3 Tokens/s

[enbacoo]

模型训练完是不是参数就固定下来了，加载的时候能通过dtype修改参数吗，另外https://huggingface.co/docs/transformers/en/model_doc/qwen2 也没有找到相关的参数

model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype=torch.bfloat16, device_map="auto")

[kk19990709]

same question

[enbacoo]

对，模型load的时候需要手动设置下dtype才行，config里的没有生效

[tianshiyisi]

模型训练完是不是参数就固定下来了，加载的时候能通过dtype修改参数吗，另外https://huggingface.co/docs/transformers/en/model_doc/qwen2 也没有找到相关的参数

[tianshiyisi]

可以了，谢谢，麻烦问一下，模型训练完用的数据类型是不是就是bf16，用float32加载对于模型的能力也不会有提升吧

[jklj077]

transformers only uses the torch_dtype in config.json when torch_dtype in from_pretrained is set to auto.

The models are indeed trained using mixed precision with bfloat16. Computation in float32 does not fundamentally elevate the model performance.