使用Window GPU， ocr后显存不释放导致错误？

[sdcb]

使用Window GPU， ocr后显存不释放导致错误？

[DimWalker]

结束调试后会报CUDNN错误，at ..\paddle/fluid/platform/device_context.h:429

两个问题，不同线程和cudnn错误的问题：

1、线程的话，自己新建一个线程实例，执行方法内先初始化Ocr Gpu实例，然后死循环轮询。优雅点可以找找线程池的源代码，模仿它是怎么实现的。
不爆显存的情况下可以多个实例共用同一块GPU，但效果提升并不明显，不推荐。

2、cudnn错误，没解决，但是不太严重。做成web api的话，这个不影响。这个有可能是paddle的问题，参考https://blog.csdn.net/u011622208/article/details/109186153

[DimWalker]

问题补充：
上面是在MVC项目里执行。
在Console里测试，for循环多次执行不会报错，但是Console结束时报错CUDA error(4), driver shutting down.

Cuda 11.1
cuDNN 8.2.1
TensorRT-7.2.3.4
显卡 GTX1650 4g（笔记本）

[sdcb]

会不会是因为调用OcrAll是不同的线程导致的？

[DingShawn]

我也遇到这个问题了，读取模型和预测不在同一个线程GPU预测会报错，Cpu没问题（也有极小概率出现问题），请问有没有解决的思路能指导一下

[DingShawn]

结束调试后会报CUDNN错误，at ..\paddle/fluid/platform/device_context.h:429

[sdcb]

我觉得应该如 @DimWalker 所说，做一个内部消息队列+轮询的方式，解决这个问题可能最合适，当然我觉得paddle推理库那边本质也应该有能力解决这个问题。