当相机参数已知时，使用OpenCV图像拼接

Question

当相机参数已知时，使用OpenCV图像拼接

4

我们有从一架飞机上拍摄的图片，覆盖范围为50%，并使用OpenCV拼接算法将它们拼接在一起。这对于我们的版本1来说很好用。在下一个迭代中，我们想要研究一些额外的东西，希望您能提供一些建议。

目前，拼接算法会估计相机参数。我们确实有相机参数和关于相机角度、位置（GPS）等方面的大量信息可用。与仅基于匹配的特征点让算法估计所有内容相比，我们是否能够从这些信息中获得任何好处呢？

这些图像是高分辨率的，目前算法所需的 RAM 占用量相当大，这不是什么大问题，因为我们只需要在云端启动大型机器即可。但是，在下一个迭代中，我想从下采样的图像中获取单应性，并将其应用于稍后的大型图像中。这也将为我们提供更多选项来操作和可视化原始图像上的其他信息，并能够在原始和拼接图像之间来回切换。

如果在第1个问题中，我们要拆开拼接算法以加入已知信息，那么我们是否只使用 findHomography 方法来获取信息，或者有更好的选择来创建单应性，当我们实际知道飞机位置和角度以及相机参数吗？

我对OpenCV有基本的理解，并且熟练掌握C++编程，因此编写自己定制的拼接器不是问题，但在这里理论有点生疏。

- Poul K. Sørensen

你拍摄图像的分辨率是多少？如果它们足够高，那么你可以对它们进行下采样，但我建议你尽可能避免这样做（我不是下采样的大粉丝）。你可以使用特征点或校准相机来完成拼接（我不确定两者的组合是否可行）；你可以使用相机参数来加速您的单应性函数。 - scap3y

此时我在思考是否值得花时间去了解如何使用相机参数，或者只要匹配特征就可以了。但还是感谢您的评论。但是缩小图像的大小应该不会有什么问题。我认为缩小图像也可以去除一些噪点。 - Poul K. Sørensen

你的 GPS 信息精度足够细调图像吗？ - Micka

我还没有尝试过，但考虑到这一点，最有可能不是这样的，答案也表明人们会使用图像特征。 - Poul K. Sørensen

2个回答

2

如果我理解正确，这些图像是垂直拍摄的，并且重叠的像素数量已知，在这种情况下，计算单应性可能有点过度：你只需要谈论一个平移矩阵，使用更强大的算法只会给你提供不良条件的矩阵。

在2D中，如果H是代表透视变换的广义单应性矩阵，

H=[[a1 a2 a3] [a4 a5 a6] [a7 a8 a9]]

如果a9 == 1，则子矩阵R和T分别表示旋转和平移。

R= [[a1 a2] [a4 a5]], T=[[a3] [a6]]

当 [a7 a8] 表示每个轴的拉伸时。由于所有效果都会相互影响，因此所有这些都是有点近似的。

所以，如果您已知横向位移，可以创建一个只有 a3、a6 和 a9=1 的 3x3 矩阵，并将其传递给 cv::warpPerspective 或 cv::warpAffine。

作为匹配正确性的标准，您可以计算像素之间的归一化差异。

- miguelao

谢谢，这很有道理。我认为Francesco的观点是正确的，使用图像点来加强单应性总是一个好主意。 - Poul K. Sørensen

没错，但是在使用RANSAC和四个点的组合进行单应性估计时要小心，因为它可能会产生糟糕的条件矩阵。一种可能性是使用特征对应的单应性计算，提取矩阵T并验证R和拉伸子矩阵是否正常。 - miguelao

只是确认一下，您的意思是要验证RANSAC找到的单应性矩阵是否与我们从GPS和飞行数据中获得的已知信息相符吗？ - Poul K. Sørensen

是的。RANSAC算法对噪声具有鲁棒性，但具体程度取决于可能的迭代次数，即它有多少次机会选择四个对应点，计算它们的H矩阵，并将此H与所有其他点对应进行验证（基本上是四个“for”嵌套循环:S）。此外，输出精度的“底线”取决于输入图像的“清晰度”（例如大气、传感器/相机的点扩散函数）。 - miguelao

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Francesco Callari · Accepted Answer

由于您使用单应性来扭曲图像，我假设您捕获的区域足够小，不必担心地球曲率效应。此外，我假设您没有使用高程模型。

一般而言，您始终希望使用匹配的图像点来紧缩（单应性）模型，因为您的最终输出是拼接图像。如果您有足够的RAM和CPU预算，可以使用最大似然估计器来优化您的线性模型。

拥有先前的运动模型（例如，来自GPS + IMU）可用于初始化特征搜索和匹配。通过足够好的特征表观运动的初始估计，您可以省去昂贵的特征描述符计算和存储，并且只需使用标准化交叉相关。