Python中的SIFT物体匹配

Question

我正在尝试按照此教程使用自己的图像。然而，我得到的结果并不完全是我期望的。我是否漏掉了什么，或者在这种情况下SIFT不是一个足够好的解决方案？ 非常感谢。

import numpy as np
import cv2
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10

img1 = cv2.imread('Q/IMG_1192.JPG', 0)          # queryImage
img2 = cv2.imread('DB/IMG_1208-1000.jpg', 0) # trainImage

# Initiate SIFT detector
sift = cv2.xfeatures2d.SIFT_create()

# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)



FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks = 50)

flann = cv2.FlannBasedMatcher(index_params, search_params)

matches = flann.knnMatch(des1, des2, k=2)

# store all the good matches as per Lowe's ratio test.
good = []
for m,n in matches:
    if m.distance < 0.7*n.distance:
        good.append(m)


if len(good)>MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)

    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0)
    matchesMask = mask.ravel().tolist()

    h,w, = img1.shape
    pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
    dst = cv2.perspectiveTransform(pts,M)

    img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)

else:
    print ("Not enough matches are found - %d/%d" % (len(good),MIN_MATCH_COUNT))
    matchesMask = None

draw_params = dict(matchColor = (0,255,0), # draw matches in green color
                   singlePointColor = None,
                   matchesMask = matchesMask, # draw only inliers
                   flags = 2)

img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)

plt.imshow(img3, 'gray'),plt.show()

原始图片：

处理后的结果：

这是有关IT技术的图片处理。原始图片是两个，而处理后的结果是另外两个。

- Alex

Answer 1

从提供的图像中，我发现SIFT无法为非常大的图像找到关键特征。考虑单个汽车图像，它的宽度为1728像素，高度为2304像素，这太大了。另一张图片的大小相当正常，汽车占据较小的区域。

预计匹配的某些特征将是车轮上的轮辋、窗户四角、引擎盖周围的角等。但在像所提供的放大图像中，没有明显的角落，而是存在更多的边缘。 SIFT寻找具有独特性质（尤其是拐角）的特征点。

将汽车图像调整为尺寸（605 x 806），将其他图像调整为尺寸（262 x 350）后，在以下图像中找到了一个正确的匹配项（请注意轮子附近的匹配项）：

我尝试对另一组包含字母和图画的图片使用相同的代码。以下是那个结果：

- Jeru Luke

---

嗨，感谢您的回答，您认为SIFT在这里不是正确的选择吗？我已经尝试缩小图像，但正确匹配的数量以及“假阳性”的数量对于我的目的来说并不足够。 - Alex

SIFT是迄今为止最好的特征描述符，因为它对几何和仿射变换具有不变性。我认为问题在于图像中没有足够的特征，比如角落、边缘等等。我提供的图像有许多字母和包含这些角落的图像，因此SIFT能够表现出色。 - Jeru Luke

更近期的描述符比SIFT给出了更好的结果。许多描述符已经在OpenCV的feature2d和xfeature2d模块中实现。 - John_Sharp1318

尝试其他描述符并不是一个选项，因为我必须使用SIFT，但是我尝试了一些sift_create()参数的变化，并且在缩小图像后，某些变化给了我更好的结果。 - Alex

@JeruLukecv2.xfeatures2d.SIFT_create(sigma = 1.2, contrastThreshold = 0.01, edgeThreshold = 20) 让我对玩具车的轮子有了良好的识别效果。 - Alex

Answer 2

为了评估问题是否来自SIFT描述符，我建议您使用另一个描述符，例如cv2.xfeatures2d.VGG_create()或cv2.BRISK_create()。 还可以查看cv2.xfeatures2d.matchGMS，即使使用SIFT描述符也可能得到更好的结果。

根据我的个人经验，在您应用SIFT算法的上下文中，可以证明缺乏准确性的可能原因之一是对梯度反转的敏感度。 SIFT描述符确实包含围绕关键点的归一化梯度方向的量化直方图。 问题在于，如果区域中的强度从较亮像素移动到较暗像素（例如255-> 127），则梯度方向将与从较暗像素移动到较亮像素（例如127-> 255）时不同。

- John_Sharp1318

---

那么问题可能是阴影的位置取决于照片的角度？ - Alex

除了其他原因之外，如果您的应用程序不需要实时处理，我仍然建议尝试更近期的图像描述符，它们大多数时间更准确。 - John_Sharp1318