Giter Site home page Giter Site logo

请问一下关于test结果的问题:w/o match、median match、global match这三者是什么意思?以及delta代表的含义是什么? about metric3d HOT 7 CLOSED

yvanyin avatar yvanyin commented on June 13, 2024
请问一下关于test结果的问题:w/o match、median match、global match这三者是什么意思?以及delta代表的含义是什么?

from metric3d.

Comments (7)

JUGGHM avatar JUGGHM commented on June 13, 2024

网络输出的尺度误差较大
(1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift
(2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale

from metric3d.

JUGGHM avatar JUGGHM commented on June 13, 2024

361eff3be0d834862aa1fa10da0598a 为什么出现部分delta为0的情况

delta1, 2, 3 是相对误差指标,详见代码

from metric3d.

wenjie-yuan avatar wenjie-yuan commented on June 13, 2024

网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale

无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT
(1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗?
(2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样?
总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题

from metric3d.

JUGGHM avatar JUGGHM commented on June 13, 2024

网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale

无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT (1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗? (2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样? 总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题

从落地角度讲,不应该这么做。
论文中有些地方是为了和前人工作做对比,按照惯例。

另外,现在的深度模型仍有提升空间,不能保证在所有数据集上尺度准确。然而,在某个数据集上可能存在较为固定的尺度偏差,可以在简单对齐后再行部署。

from metric3d.

JUGGHM avatar JUGGHM commented on June 13, 2024

网络输出的尺度误差较大 (1)Global,根据GT,全局拟合一个scale和一个shift因子,将尺度align到gt上。最终输出 pred_hat = pred * scale + shift (2)Median,根据GT和pred的median仅仅拟合一个scale因子,最终输出 最终输出 pred_hat = pred * scale

无监督里面median match、global match还是蛮常见的,毕竟训练时没有实际的距离参考,评估时增加这两项指标还是方便和有监督对比;但是作为有监督,或者实际落地的情况考虑,用到验证/测试集的GT值来算scale和一个shift是不是不太合理,因为推理时没有GT (1)这方面怎么解释?SLAM或者什么下游任务可以用测试集GT吗? (2)有尝试用训练集来拟合scale和shift因子吗?训练集GT可以用的,有的话指标怎么样? 总感觉w/o match精度低,如果是有监督,还是没有解决Domain的问题

第(2)件事我们将会尝试,看看能不能加强尺度稳定性。

from metric3d.

Ghul-huan avatar Ghul-huan commented on June 13, 2024

pred * scale + shift 中scale 和shift 是怎么计算出来的?下面这样吗?
scale = median(GT_values) / median(estimated_depth_values)
shift = mean(GT_values) - mean(estimated_depth_values) * scale

from metric3d.

YvanYin avatar YvanYin commented on June 13, 2024

pred * scale + shift 中scale 和shift 是怎么计算出来的?下面这样吗? scale = median(GT_values) / median(estimated_depth_values) shift = mean(GT_values) - mean(estimated_depth_values) * scale

不是的。直接做最小二乘拟合得到 scale和shift。 可以参照 https://github.com/aim-uofa/AdelaiDepth/blob/d85181982bd2a42c912fd8a48c40cdc7ec71d553/LeReS/Minist_Test/lib/test_utils.py#L230 这个函数。

from metric3d.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.