在单个图像中复制SIFT关键点

Question

我正在使用OpenCV2.3.1来检测图像中的SIFT关键点。但是我发现在检测结果中，存在重复的点，即有两个关键点具有相同的坐标（以像素为单位），但它们对应的描述符非常不同。以下代码显示了SIFT提取过程。我认为人们应该熟悉使用的“box.png”文件。因此，任何感兴趣的人都可以尝试下面的代码，看看是否与我遇到了同样的问题。

#include "opencv2/highgui/highgui.hpp"
#include "opencv2/features2d/features2d.hpp"
#include <iostream>
int main( )
{
cv::Ptr<cv::FeatureDetector> detector = cv::FeatureDetector::create( "SIFT" );
cv::Ptr<cv::DescriptorExtractor> extractor = cv::DescriptorExtractor::create("SIFT" );
cv::Mat im = cv::imread("box.png", CV_LOAD_IMAGE_COLOR );
std::vector<cv::KeyPoint> keypoints;
cv::Mat descriptors;
detector->detect( im, keypoints);
extractor->compute( im,keypoints,descriptors);
int duplicateNum = 0;
for (int i=0;i<keypoints.size();i++)
{
    for (int j=i+1;j<keypoints.size();j++)
    {
        float dist = abs((keypoints[i].pt.x-keypoints[j].pt.x))+abs((keypoints[i].pt.y-keypoints[j].pt.y));
        if (dist == 0)
        {
            cv::Mat descriptorDiff = descriptors.row(i)-descriptors.row(j);
            double diffNorm = cv::norm(descriptorDiff);
            std::cout<<"keypoint "<<i<<" equal to keypoint "<<j<<" descriptor distance "<<diffNorm<<std::endl;
            duplicateNum++;
        }
    }
}
std::cout<<"Total keypoint: "<<keypoints.size()<<", duplicateNum: "<<duplicateNum<<std::endl;

return 1;

}

- user1427630

Answer 1

希望能帮助您理解为什么。

对于关键点周围的所有像素计算幅度和方向。然后，为此创建一个直方图。在该直方图中，将360度的方向分成36个区间（每个区间10度）。假设某一点（在“方向集合区域”中）的梯度方向为18.759度，则会进入10-19度区间。添加到该区间的“量”与该点处梯度的大小成比例。完成关键点周围所有像素的操作后，直方图将在某一点具有峰值。

例如，您看到直方图峰值在20-29度之间。因此，将为关键点分配方向3（第三个区间）。

此外，任何高于最高峰值80％的峰值都会转换为新的关键点。该新关键点具有与原始关键点相同的位置和比例，但其方向等于另一个峰值。

因此，方向可以将一个关键点分成多个关键点。

这是一个关于SIFT的好参考资料：http://aishack.in/tutorials/sift-scale-invariant-feature-transform-introduction/

- vancexu

---

是的，那是正确的；但是这不会导致在连续的图像/帧中找到匹配有问题吗？ - farzin parsa

@farzin 是的，为了提高SIFT点的鲁棒性，作者进行了这个改进。 - vancexu

为什么在重复指向同一位置时，它应该被视为鲁棒性？ - farzin parsa

正如您所看到的，当计算描述符时，关键点的方向被使用以保持旋转不变性。由于用于生成关键点方向的方法相对粗糙，复制点（更准确地说，保持更多点在同一位置）可以缓解问题，因为您有更多的点并且有更多的机会获得正确的匹配而不会因旋转而错过关键点。 - vancexu

Answer 2

是的，这是真的——SIFT描述符的openCV实现会为一些关键点产生多个描述符，它们在方向上有所不同（SIFT描述符估计关键点的主导方向）。

- morph

Answer 3

我在.NET中实现SIFT时遇到了同样的问题：

如下所示，具有相同关键点但不同描述符：

- farzin parsa

---

这背后的理由是什么？ - farzin parsa

@vancexu：正如你所说，“由于旋转而导致关键点丢失的正确匹配机会更大”。这很好，但是当涉及到帧之间的匹配时，可能存在误导的潜在风险。例如，在某些匹配算法中，我们需要至少5个点。如果我们有（假设）2个重复的点会发生什么？我担心这可能对这种匹配算法是有利的。 - farzin parsa