AttributeError: 'Qwen2ForCausalLM' object has no attribute 'chat_stream'

[qwenlm]

AttributeError: 'Qwen2ForCausalLM' object has no attribute 'chat_stream'

[jklj077]

Do not interchange Qwen(1.0) and Qwen1.5 codes or model weights, as they are fundamentally incompatible. For implementing streaming responses with transformers, consult the official documentation at: https://qwen.readthedocs.io/en/latest/inference/chat.html#streaming-mode.

请勿混用Qwen(1.0)与Qwen1.5的代码或模型权重，因为它们之间根本不兼容。若需使用transformers实现流式响应，请参阅官方文档：https://qwen.readthedocs.io/zh-cn/latest/inference/chat.html#streaming-mode。

[connermo]

+1

[hffei]

+1

[seamoon224]

+1

[seamoon224]

问题应该是在于chat_stream方法做了改动，在原来第一版的qwen的modeling_qwen.py的QWenLMHeadModel类中，有chat_stream方法，但qwen-1.5B还没有开放modeling_qwen.py文件...

[Panda-ka]

问题应该是在于chat_stream方法做了改动，在原来第一版的qwen的modeling_qwen.py的QWenLMHeadModel类中，有chat_stream方法，但qwen-1.5B还没有开放modeling_qwen.py文件...

请问目前有什么解决方案吗？

[dliting]

+1

[zhangfan-algo]

我也遇到 怎么办呢

[dliting]

+1