Comments (7)
网络输出的尺度误差较大
(1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift
(2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale
from metric3d.
delta1, 2, 3 是相对误差指标,详见代码
from metric3d.
网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale
无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT
(1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗?
(2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样?
总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题
from metric3d.
网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale
无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT (1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗? (2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样? 总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题
从落地角度讲,不应该这么做。
论文中有些地方是为了和前人工作做对比,按照惯例。
另外,现在的深度模型仍有提升空间,不能保证在所有数据集上尺度准确。然而,在某个数据集上可能存在较为固定的尺度偏差,可以在简单对齐后再行部署。
from metric3d.
网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale
无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT (1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗? (2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样? 总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题
第(2)件事我们将会尝试,看看能不能加强尺度稳定性。
from metric3d.
pred * scale + shift 中scale 和shift 是怎么计算出来的?下面这样吗?
scale = median(GT_values) / median(estimated_depth_values)
shift = mean(GT_values) - mean(estimated_depth_values) * scale
from metric3d.
pred * scale + shift 中scale 和shift 是怎么计算出来的?下面这样吗? scale = median(GT_values) / median(estimated_depth_values) shift = mean(GT_values) - mean(estimated_depth_values) * scale
不是的。直接做最小二乘拟合得到 scale和shift。 可以参照 https://github.com/aim-uofa/AdelaiDepth/blob/d85181982bd2a42c912fd8a48c40cdc7ec71d553/LeReS/Minist_Test/lib/test_utils.py#L230 这个函数。
from metric3d.
Related Issues (20)
- Pixel represented focal length or real world scale focal length(mm) HOT 3
- Some problems in Training HOT 1
- Supporting old GPUs? HOT 3
- metric_scale in nyu.py HOT 1
- Speed Up Inference HOT 2
- NYU dataset and json HOT 1
- Inference Speed data
- normals not normal HOT 2
- Unable to adjust scale of depth correctly in the wild-mode HOT 1
- How to convert the DINO2reg-ViT model to an ONNX model HOT 2
- torch.hub.load error HOT 4
- Failed to find function: mono.model.backbones.convnext_large HOT 1
- Fine tune on custom dataset HOT 5
- Sparse GT depth from LiDAR for supervision? HOT 1
- Question regarding losses HOT 1
- Depth scale vs Metric scale HOT 5
- What does the pkl file contain in training with Matterport3D?
- generate only a depth matrix without generating a 3D point cloud HOT 2
- Is there any reference code to generate kitti dataset annotation?
- Camera parameters of taskonomy HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from metric3d.