显存占用双倍异常

[ybsbbw]

显存占用双倍异常

[qinxuye]

replica 是 1 吗？

[ybsbbw]

replica 是 1 吗？

是1，更新了一下问题描述，有截图

[qinxuye]

vLLM 是会尝试去占用内存的，有可能是这个原因吗

[ybsbbw]

vLLM 是会尝试去占用内存的，有可能是这个原因吗

相比直接加载模型，会直接double吗？

[qinxuye]

vLLM 是会尝试去占用内存的，有可能是这个原因吗

相比直接加载模型，会直接double吗？

vLLM 会直接占用一定比例的显存，用来放 kvcache。是很有可能 double 的。

[ybsbbw]

vLLM 是会尝试去占用内存的，有可能是这个原因吗

相比直接加载模型，会直接double吗？

vLLM 会直接占用一定比例的显存，用来放 kvcache。是很有可能 double 的。

原来是这样，了解了，那我把问题关了，另外还有一个max_token的问题一会我新建一个issue，有时间烦请看下：）

[qinxuye]

vLLM 是会尝试去占用内存的，有可能是这个原因吗

相比直接加载模型，会直接double吗？

vLLM 会直接占用一定比例的显存，用来放 kvcache。是很有可能 double 的。

原来是这样，了解了，那我把问题关了，另外还有一个max_token的问题一会我新建一个issue，有时间烦请看下：）

没问题