QUESTION: No available slot found for the model

[yxybyq]

QUESTION: No available slot found for the model

[aresnow1]

It means GPU has been used by other launched models, there's no slot left.

[SwarmKit]

使用以下方式运行，此问题依然存在：
docker run -dit -p 8080:9997 -v /data/ModelFiles:/workspace --gpus all xprobe/xinference:v0.8.2 xinference-local -H 0.0.0.0

[aresnow1]

使用以下方式运行，此问题依然存在： docker run -dit -p 8080:9997 -v /data/ModelFiles:/workspace --gpus all xprobe/xinference:v0.8.2 xinference-local -H 0.0.0.0

Have you launched any models before?

[SwarmKit]

是的，我已经加载一个模型ChatGLM3-6B-32k，再次加载其他的模型时就会出现这个错误提示！！！

[xiandan-erizo]

意思是一块GPU只能运行一个模型？这有点浪费资源了吧

[SwarmKit]

目前就是这样的……

[jackleeforce]

意思是一块GPU只能运行一个模型？这有点浪费资源了吧

目前就是这样的……

This is incredible, if a GPU can only run one model

[jony4]

确实有些浪费