运行7B模型32G的T4不够嘛，每次都被kill了

[cvi-szu]

运行7B模型32G的T4不够嘛，每次都被kill了

[fengyh3]

@wujianming1996 尝试注释掉llama_server.py的第13行

[fengyh3]

可以尝试一下：https://github.com/fengyh3/llama_inference
上述脚本是针对tencentpretrain的llama做inference的～

至于你提到的问题，我之前也试过，大概率是运行内存不够的问题。我运行内存是14G，然后加了24G的swap内存，没问题。

[ruterfu]

啊。。我那台GPU是32G的内存。。。GenerateLm运行完毕后直接吃掉95%，然load_model，我分配了20G的虚拟内存，全部吃光然后被kill。。。分配30G虚拟内存还没试。。。腾讯云T4 GPU

[wujianming1996]

RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx
请问在部署微服务的时候如果没有GPU可以用CPU吗？

[wujianming1996]

@fengyh3 谢谢，我试试。