Python: 特征匹配 + 单应性矩阵寻找多个物体

Question

我正在尝试使用Python通过OpenCV在火车图像中找到多个物体，并将其与从查询图像检测到的关键点匹配。对于我的情况，我正在尝试在下面提供的图像中检测网球场。我查看了在线教程，并且只发现它只能检测一个对象。我考虑插入一个循环来寻找多个对象，但我没有成功。有什么想法吗？ * 我使用SIFT，因为ORB在我的情况下效果不是很好。

以下是代码和一组示例图像。

import numpy as np
import cv2
from matplotlib import pyplot as plt

MIN_MATCH_COUNT = 10
img1 = cv2.imread('Image 11.jpg',0)          # queryImage
img2 = cv2.imread('Image 5.jpg',0) # trainImage

# Initiate SIFT detector
sift = cv2.xfeatures2d.SIFT_create()

# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks = 50)
flann = cv2.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1,des2,k=2)

# store all the good matches as per Lowe's ratio test.
good = []
for m,n in matches:
    if m.distance < 0.7*n.distance:
        good.append(m)
if len(good)>MIN_MATCH_COUNT:
    src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
    dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
    M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC,5.0)
    matchesMask = mask.ravel().tolist()
    h,w = img1.shape
    pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
    dst = cv2.perspectiveTransform(pts,M)
    img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)
else:
    print( "Not enough matches are found - {}/{}".format(len(good), MIN_MATCH_COUNT) )
    matchesMask = None
draw_params = dict(matchColor = (0,255,0), # draw matches in green color
                   singlePointColor = None,
                   matchesMask = matchesMask, # draw only inliers
                   flags = 2)
img3 = cv2.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)
plt.imshow(img3, 'gray'),plt.show()

训练图片

查询图片

提前感谢！

- Reward

---

这对我来说更像是一个数据科学问题。你尝试过在那里发布吗？ - sophros

不，我还没有尝试在那里发布。 - Reward

Answer 1

如果您有多张相同的图片，则找到单应性可能会遇到一些问题。即使使用循环，您的关键点描述也可能会混合在不同的相同图像中。您可以进行预处理并重新分组关键点以进行多次匹配，但对于大小不同的不同图像可能会很复杂。我建议使用模板匹配，但难点在于尺度和旋转不变性。您可以阅读此文章来获取帮助 https://www.pyimagesearch.com/2015/01/26/multi-scale-template-matching-using-python-opencv/ 希望能对您有所帮助！

- Francis Cote

---

我以前尝试过模板匹配，但正如你所提到的，即使使用了你提供的文章，我仍然在缩放和旋转方面遇到了困难。无论如何还是谢谢！ - Reward