想知道去重的具体步骤

[paddlepaddle]

想知道去重的具体步骤

[littletomatodonkey]

您好，感谢您对PaddleClas的认可，数据去重这个过程，我们使用的是SIFT匹配去重的思路。具体地，主要有以下几个步骤

1. 基于SIFT提取特征点
2. 基于特征点，获取具有尺度和旋转不变性的特征向量
3. 计算并比较22k数据集与imagenet1k 验证集中所有图片的特征向量相似度，设置合适的阈值，当相似度大于阈值时，说明图像相似，需要进行去重。

[NextGuido]

@littletomatodonkey 感谢回复, 我从网上找了一下相关的方法, 能帮我看一下这样处理的结果可以算作相似度吗?

`import cv2

class SiftMatch(object):

def __init__(self, thresh=.75):
    """
    :param thresh: 图片距离统计的阈值, 小于改阈值的才会被视为成功的匹配点
    """
    self.thresh = thresh
    self.sift = cv2.xfeatures2d.SIFT_create()
    # BFMatcher with default params
    self.bf = cv2.BFMatcher()

def calc_similarity(self, img1, img2):
    """
    计算相似度
    :param img1: 图片1, 灰度图
    :param img2: 图片2, 灰度图
    :return: 相似度
    """
    assert len(img1.shape) == len(img2.shape) == 2
    kp1, des1 = self.sift.detectAndCompute(img1, None)
    kp2, des2 = self.sift.detectAndCompute(img2, None)
    matches = self.bf.knnMatch(des1, des2, k=2)
    good = []
    for m, n in matches:
        if m.distance < self.thresh * n.distance:
            good.append([m])
    return len(good) / len(matches)

if name == 'main':
img1 = cv2.imread('./demo01.jpg', 0)
img2 = cv2.imread('./demo02.jpg', 0)

sift = SiftMatch()
sim = sift.calc_similarity(img1, img2)
print(sim)

`

[littletomatodonkey]

您好，可以的，这个distance指的是两个特征向量之间的欧式距离，距离越小，表示越相似，也可以可以作为相似度的评估指标的

[NextGuido]

多谢答疑, 非常期待你们可以开源自己的去重方法, 也希望paddle的生态越来越完美

[pawopawo]

您好，感谢您对PaddleClas的认可，数据去重这个过程，我们使用的是SIFT匹配去重的思路。具体地，主要有以下几个步骤

1. 基于SIFT提取特征点
2. 基于特征点，获取具有尺度和旋转不变性的特征向量
3. 计算并比较22k数据集与imagenet1k 验证集中所有图片的特征向量相似度，设置合适的阈值，当相似度大于阈值时，说明图像相似，需要进行去重。

请问设置合适的阈值，具体是设置为多少啊？