nagatoyuki0943/anomalib-tensorrt-cpp

anomalib-tensorrt-cpp's Issues

getshape() 报错，自己训练的模型

        auto output_shape_info = this->session.GetOutputTypeInfo(i).GetTensorTypeAndShapeInfo();
        this->output_dims.push_back(output_shape_info.GetShape());

大佬请问我导出的onnx在转engine的时候报reshape的错误，请问有遇到过么

context 多线程部署

作者你好，我在本地尝试修改你的推理类，通过 engine 创建多个 context 进行多线程推理，但是运行过程中发现速度并没有明显提升，随着线程数量的增加，单个推理的速度有很显著的下降。请问这个问题有什么解决方法呢？目前我在 2080 和 4090 显卡都尝试过部署，之前尝试多线程加载多个 ONNX 模型，但是由于显存问题，也无法同时配置多个推理类。我想请教一下这个推理库有什么办法能提高显卡的利用率呢，现在占用率维持在 10% 一下，我的模型训练大小是 72*3700 的尺寸，推理单张耗时大概在 170ms。

patcore 模型结果异常

原模型结果正常，onnx可视化看了下也是正常的，大佬看下可能是什么问题呢

请问要是推理单通道的灰度图要怎么改？

大佬，我想再问一下推理单通道的灰度图要怎么改？因为从单通道转成三通道的耗时大约3ms，想直接推理单通道的图像

创建context报错

请问一下这个问题可以解决吗，在通过engine创建context的时候报错了

请问使用动态batch该怎么修改代码呀？

感谢博主的贡献！！
我想一次推理多张图，该怎么修改Inference？

请问efficient_ad模型推理速度为什么那么慢呢

3070卡
size:1280*1280
平均一张图200ms左右，为什么这么慢呢

vs2022 加载model.engine模型，出现溢出

将你的工程改为VS2022 加载model.engine模型，出现溢出，
Expression: vector subscript out of range for information on how your program can cause an asserti。

“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\windows.storage.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\SogouPY.ime”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\oleacc.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\winhttp.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\ntmarta.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\profapi.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Program Files (x86)\SogouInput\14.2.0.8968\Resource.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Program Files (x86)\SogouInput\Components\PicFace\1.1.0.2129\PicFace64.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\psapi.dll”。
“anomalib-tensorrt-cpp.exe”(Win32): 已加载“C:\Windows\System32\dwmapi.dll”。
线程 13220 已退出，返回值为 0 (0x0)。
“anomalib-tensorrt-cpp.exe”(Win32): 已卸载“C:\Windows\System32\SogouTSF.ime”
0x00007FF818C8829C (ucrtbased.dll) (anomalib-tensorrt-cpp.exe 中)处有未经处理的异常: 将一个无效参数传递给了将无效参数视为严重错误的函数。

请教如何处理？

谢谢！
molyswu