如何优化多图拼接？

Question

我正在使用Visual Studio 2012，C++进行多图像拼接。我已根据我的要求修改了stitching_detailed.cpp，并且它可以产生高质量的结果。问题在于，执行时间太长了。对于10张图像，需要大约110秒。

这里是耗时最长的地方：

1）成对匹配 - 对于10张图像，需要55秒！我使用ORB来查找特征点。以下是代码：

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);
matcher(features, pairwise_matches);
matcher.collectGarbage();

我尝试使用这段代码，因为我已经知道了图片的顺序：

vector<MatchesInfo> pairwise_matches;
BestOf2NearestMatcher matcher(false, 0.35);

Mat matchMask(features.size(),features.size(),CV_8U,Scalar(0));
for (int i = 0; i < num_images -1; ++i)                                                 
    matchMask.at<char>(i,i+1) =1;                                                       
matcher(features, pairwise_matches, matchMask);                                         

matcher.collectGarbage();

它确实减少了时间（18秒），但没有产生所需的结果。仅有6张图像被拼接在一起（最后4张被留下，因为第6张和第7张图像的特征点不匹配。因此循环中断。）

2) 合成 - 对于10张图片需要38秒！代码如下：

for (int img_idx = 0; img_idx < num_images; ++img_idx)
{
    printf("Compositing image #%d\n",indices[img_idx]+1);

    // Read image and resize it if necessary
    full_img = imread(img_names[img_idx]);

    Mat K;
    cameras[img_idx].K().convertTo(K, CV_32F);

    // Warp the current image
    warper->warp(full_img, K, cameras[img_idx].R, INTER_LINEAR, BORDER_REFLECT, img_warped);

    // Warp the current image mask
    mask.create(full_img.size(), CV_8U);
    mask.setTo(Scalar::all(255));
    warper->warp(mask, K, cameras[img_idx].R, INTER_NEAREST, BORDER_CONSTANT, mask_warped);

    // Compensate exposure
    compensator->apply(img_idx, corners[img_idx], img_warped, mask_warped);

    img_warped.convertTo(img_warped_s, CV_16S);
    img_warped.release();
    full_img.release();
    mask.release();

    dilate(masks_warped[img_idx], dilated_mask, Mat());
    resize(dilated_mask, seam_mask, mask_warped.size());
    mask_warped = seam_mask & mask_warped;

    // Blend the current image
    blender->feed(img_warped_s, mask_warped, corners[img_idx]);
}

Mat result, result_mask;
blender->blend(result, result_mask);

原始图像分辨率为4160*3120。在合成时我没有使用压缩，因为这会降低质量。但在代码的其他部分中，我使用了压缩图像。

如您所见，我已经修改了代码并减少了时间。但我仍然希望尽可能地减少时间。

3）查找特征点 - 使用ORB。对于10张图像需要10秒。最多可以找到一个图像的1530个特征点。 55 + 38 + 10 = 103 + 7 其余代码= 110。 当我在Android上使用此代码时，它几乎占用了智能手机的所有内存(RAM)来执行。我该如何减少Android设备的时间和内存消耗？(我使用的Android设备有2 GB RAM)

我已经优化了代码的其他部分。非常感谢任何帮助！

编辑1：我在合成步骤中使用了图像压缩，时间从38秒减少到16秒。我还成功地减少了代码的其余部分的时间。

现在，从110秒减少到85秒。帮我缩短成对匹配的时间；我不知道如何缩短它！

编辑2：我在matchers.cpp中找到了成对匹配的代码。我在主代码中创建了自己的函数来优化时间。对于合成步骤，我使用压缩直到最终图像不失清晰度。对于特征查找，我使用图像缩放以在缩小的图像比例下查找图像特征。现在我可以轻松地拼接多达50张图像。

- Dhaval Kriplani

Answer 1

由于在55到18秒的时间内已经有了相当不错的进展，也许您可以更好地控制匹配过程。我首先建议您学习在每一步调试该过程，以了解图像未被拼接时出现什么问题。这样，您将学会控制例如检测到的ORB特征数量。也许还有一些情况下，您可以限制它们，并仍然获得结果，从而加快处理速度（这不仅可以加快找到特征的速度，还可以加快匹配过程）。

希望这能帮助您检测出 - 如您所说 - 循环中断的情况。因此，在检测出某个特定对无法匹配时，您可以相应地采取措施。您仍然可以在循环中匹配序列，节省时间，但在检测到匹配某个特定对出现问题时，强制程序继续执行（或更改参数并尝试重新匹配该对）。

我认为在此处组合过程中没有太多改进的空间，因为您不想失去质量。如果是我，我会尝试研究一下线程和并行计算是否有所帮助。

这是一个有趣且普遍的问题 - 如果您能够在不牺牲质量的情况下加速它，您应该联系LG或Google，因为在我的Nexus中，算法的质量真的很差 :) 它既慢又不准确。

- Michał Gacka