owenliang/qwen-vllm

通义千问VLLM推理部署DEMO

qwen-vllm's Issues

lora加载如何实现

热插拔的lora加载如何实现，我看VLLM在加载lora时会有词表大小限制？

流式处理如何实现批量推理？

当前无法进行流式的批量推理，是否有可参考方案？

请问本仓库的vllm是哪一个版本的？

目前我的transformers版本是4.32.0

vllm >= 0.3.0都需要升级transformers版本，但是我升级transformers版本后会有其他问题。

后续是否会支持多个prompts一起送入model.generate()?

请问后续是否会实现多个prompts送入model.generate()？ 以及如何进行padding？

运行vllm_offline.py报错

版本cuda12.1 torch 2.1.0 vllm0.2.2,根据你的版本步骤，就报错， self.stop_words_ids=[self.tokenizer.im_start_id,self.tokenizer.im_end_id,self.tokenizer.eos_token_id]
AttributeError: 'Qwen2TokenizerFast' object has no attribute 'im_start_id'，请问是我哪错了

vllm推理提速不明显，如何解决？

history=None
for i in range(len(raw_prompts)):
    # len(raw_prompts) = 100
    q = raw_prompts[i]
    response, history = vllm_model.chat(query=q, history=history)
    print(response)
    history = history[:10]

之前没有用vllm，100个prompts大约是52s，使用vllm之后仍然是52s左右，似乎没有提速？
请问有人能帮忙看一下吗？

请问是否支持Qwen1.5系列模型（不同量化方式 / 非量化）