OpenCV：从用户定义的关键点中提取SURF特征

Question

我希望能够从我指定的关键点计算SURF特征。我正在使用OpenCV的Python包装器。以下是我尝试使用的代码，但我无法在任何地方找到有效的示例。

surf = cv2.SURF()
keypoints, descriptors = surf.detect(np.asarray(image[:,:]),None,useProvidedKeypoints = True)

我该如何指定此函数使用的关键点？

类似但未得到解答的问题: cvExtractSURF don't work when useProvidedKeypoints = true 文档: Documentation

- hjweide

---

你最终成功让它工作了吗？ - OddNorg

我已经回答并在这里发布了答案，但我刚刚注意到它因某种原因被删除了。很奇怪。无论如何，您可以使用Mahotas来完成此操作，或者查看一些其他已发布的答案。 - hjweide

Answer 1

尝试使用cv2.DescriptorMatcher_create进行匹配。例如，在以下代码中，我正在使用pylab，但您可以得到消息 ;) 它使用GFTT计算关键点，然后使用SURF描述符和Brute force匹配。每个代码部分的输出显示为标题。

%pylab inline
import cv2
import numpy as np

img = cv2.imread('./img/nail.jpg')
gray= cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
imshow(gray,  cmap=cm.gray)

输出结果大致如下：http://i.stack.imgur.com/8eOTe.png （对于此示例，我将作弊并使用相同的图像来获取关键点和描述符）。

img1 = gray
img2 = gray
detector = cv2.FeatureDetector_create("GFTT")
descriptor = cv2.DescriptorExtractor_create("SURF")
matcher = pt1=(int(k1[m.queryIdx].pt[0]),int(k1[m.queryIdx].pt[1]))("FlannBased")

# detect keypoints
kp1 = detector.detect(img1)
kp2 = detector.detect(img2)

print '#keypoints in image1: %d, image2: %d' % (len(kp1), len(kp2))

图像1的关键点为1000个，图像2的关键点为1000个

# descriptors
k1, d1 = descriptor.compute(img1, kp1)
k2, d2 = descriptor.compute(img2, kp2)

print '#Descriptors size in image1: %s, image2: %s' % ((d1.shape), (d2.shape))

图像1中的描述符大小为：（1000，64），图像2中的描述符大小为：（1000，64）

# match the keypoints
matches = matcher.match(d1,d2)

# visualize the matches
print '#matches:', len(matches)
dist = [m.distance for m in matches]

print 'distance: min: %.3f' % min(dist)
print 'distance: mean: %.3f' % (sum(dist) / len(dist))
print 'distance: max: %.3f' % max(dist)

匹配数: 1000

距离: 最小值: 0.000

距离: 平均值: 0.000

距离: 最大值: 0.000

# threshold: half the mean
thres_dist = (sum(dist) / len(dist)) * 0.5 + 0.5

# keep only the reasonable matches
sel_matches = [m for m in matches if m.distance < thres_dist]

print '#selected matches:', len(sel_matches)

已选中的匹配项：1000

#Plot
h1, w1 = img1.shape[:2]
h2, w2 = img2.shape[:2]
view = zeros((max(h1, h2), w1 + w2, 3), uint8)
view[:h1, :w1, 0] = img1
view[:h2, w1:, 0] = img2
view[:, :, 1] = view[:, :, 0]
view[:, :, 2] = view[:, :, 0]

for m in sel_matches:
    # draw the keypoints
    # print m.queryIdx, m.trainIdx, m.distance
    color = tuple([random.randint(0, 255) for _ in xrange(3)])
    pt1=(int(k1[m.queryIdx].pt[0]),int(k1[m.queryIdx].pt[1]))
    pt2=(int(k2[m.queryIdx].pt[0]+w1),int(k2[m.queryIdx].pt[1]))
    cv2.line(view,pt1,pt2,color)

输出的结果类似于这个 http://i.stack.imgur.com/8CqrJ.png

- OddNorg

Answer 2

如果我正确理解Python绑定的源代码，那么在Python绑定中从未使用过C++接口中存在的“keypoints”参数。因此，我猜测使用当前的绑定无法完成您正在尝试做的事情。可能的解决方案是编写自己的绑定。我知道这不是你想要的答案...

- Régis B.

---

我其实也开始怀疑了... 我已经开始研究使用Python库进行SURF，例如Python Mahotas。 - hjweide

写自己的绑定到自定义函数应该不难。 - Régis B.

mahotas 的作者在此：mahotas 可以实现你想要的功能。 - luispedro

Answer 3

下面是使用前面提到的 Mahotas 的示例：

import mahotas
from mahotas.features import surf
import numpy as np


def process_image(imagename):
    '''Process an image and returns descriptors and keypoints location'''
    # Load the images
    f = mahotas.imread(imagename, as_grey=True)
    f = f.astype(np.uint8)

    spoints = surf.dense(f, spacing=12, include_interest_point=True)
    # spoints includes both the detection information (such as the position
    # and the scale) as well as the descriptor (i.e., what the area around
    # the point looks like). We only want to use the descriptor for
    # clustering. The descriptor starts at position 5:
    desc = spoints[:, 5:]
    kp = spoints[:, :2]

    return kp, desc

- Iulius Curt