qwen1.5 chat 14b 上下文没有 32k，差不多超过 8k 就不输出了是什么情况?

[LucisBaoshg]

qwen1.5 chat 14b 上下文没有 32k，差不多超过 8k 就不输出了是什么情况?

[YYLCyylc]

默认的max_model_len是4096，启动的时候加个参数--max_model_len 32000就行了

[YYLCyylc]

我现在是0.9.0

参数传递好像是0.9.1加的
#1048

[Valdanitooooo]

Same here, 在web中启动时加个参数可以解决

[ybsbbw]

默认的max_model_len是4096，启动的时候加个参数--max_model_len 32000就行了
我shell下输入命令xinference launch -u Qwen1.5-72B-chat -n Qwen1.5-72B-chat -s 72 -f pytorch --max_model_len 32000，
结果反馈没有--max_model_len这个option

[ybsbbw]

另外按照官网的python启动方式启动的时候，输入命令：
from xinference.client import RESTfulClient
client = RESTfulClient("http://127.0.0.1:9997")
model_uid = client.launch_model(
model_uid="my-llama-2",
model_name="llama-2-chat",
model_format="pytorch",
size_in_billions=13
)
print('Model uid: ' + model_uid)
提示没有size_in_billions这个参数

[YYLCyylc]

默认的max_model_len是4096，启动的时候加个参数--max_model_len 32000就行了
我shell下输入命令xinference launch -u Qwen1.5-72B-chat -n Qwen1.5-72B-chat -s 72 -f pytorch --max_model_len 32000，
结果反馈没有--max_model_len这个option

更新下xinference的版本试试？

现在应该是model_size_in_billions这个参数

[ybsbbw]

我现在是0.9.0

[ybsbbw]

我现在是0.9.0

参数传递好像是0.9.1加的 #1048

简直了

[Air-duct]

docker 启动的怎么传递这个参数呢？

[github-actions]

This issue is stale because it has been open for 7 days with no activity.

[github-actions]

This issue was closed because it has been inactive for 5 days since being marked as stale.