多摄像头图像拼接

Question

我一直在运行一个多相机图像拼接的项目，但我认为我遇到了瓶颈... 我有一些关于这个问题的问题。

我想将它们放在未来的车辆上，这意味着相机的相对位置和方向是固定的。

此外，由于我正在使用多个相机，并尝试使用单应性拼接它们的图像，因此我会尽可能地将相机靠近，以便减少误差（由于相机的焦点不在同一位置并且相机占据一定空间而导致不可能）。

这是我的一个简短的实验视频。 http://www.youtube.com/watch?v=JEQJZQq3RTY 如图所示，拼接结果非常糟糕... 即使相机捕捉的场景是静态的，单应性仍然在变化。

以下链接是我迄今为止完成的代码，code1.png和code2.png是显示Stitching_refind.cpp中部分代码的图片。

https://docs.google.com/folder/d/0B2r9FmkcbNwAbHdtVEVkSW1SQW8/edit?pli=1

我几天前更改了代码中的一些内容，例如执行步骤2、3和4(请查看上述提到的2个png图片)，仅执行一次。

---

总之，我的问题如下：

1.在计算特征之前是否可能找到重叠区域？我不想在整个图像上计算特征，因为这会导致更多的计算时间和不匹配。我想知道是否可能只在两个相邻图像的重叠区域中计算特征？

2.我可以做些什么来使得获得的单应性更加准确？有些人提到了相机标定并尝试一些其他匹配方法。我还是对计算机视觉比较陌生...我尝试学习了一些关于相机标定的材料，但我仍然不知道它是用来干什么的。

大约两个月前，我在这里问过一个类似的问题：使用OpenCV进行图像拼接时遇到一些困难，其中回答者之一Chris说：

“听起来你正在明智地处理这个问题，但如果你有两个相机，并且它们将保持相对静止，那么离线校准，然后在线应用变换将使你的应用程序更有效率。”

"离线校准"是什么意思？它有什么作用？

感谢任何建议和帮助。

- SilentButDeadly JC

---

抱歉回复晚了，我离开了几周。恐怕我实际上没有经历过这种方式对齐两个相机的过程，我只知道一般原理。然而，你想要查找的函数是stereoCalibrate，使用立体校准作为你在谷歌上的搜索词。 - Chris

Answer 1

如 Chris 所述：

However, your points are not restricted to a specific plane as they are 
imaging a 3D scene. If you wanted to calibrate offline, you could image 
a chessboard with both cameras, and the detected corners could be used
in this function.

离线校准意味着您使用一些易于检测的校准模式，然后计算变换矩阵。在进行此校准之后，将（先前计算的）矩阵应用于获得的图像，这样就可以为您工作。

- krzych

---

对不起，我还是不明白...1.校准与计算单应性有什么关系？2.“离线校准意味着您使用一些易于检测的校准模式。然后计算转换矩阵。在此校准之后，将此（先前计算的）矩阵应用于获取的图像”我知道OpenCV中有相机校准代码 http://opencv.itseez.com/doc/tutorials/calib3d/camera_calibration/camera_calibration.html所以我应该做的是运行这样的校准代码只需一次，然后运行自己的拼接代码？ - SilentButDeadly JC

在您添加的链接中，涉及到存储相机参数的问题，您可以在棋盘格模式上计算一次，然后用于采集。这里还有一些关于单应性的参考资料：http://www.ics.uci.edu/~majumder/vispercep/cameracalib.pdf http://www.epixea.com/research/multi-view-coding-thesisse9.html http://people.scs.carleton.ca/~c_shu/Courses/comp4900d/notes/homography.pdf - krzych

我使用了校准代码，并在相机前放置棋盘格图案，以便它拍摄12张照片进行校准。我分别对两个相机进行了校准，并获得了两个相机的Distortion.xml和Intrinsics.xml。 - SilentButDeadly JC

我不确定我是否做对了。我拿着棋盘图案，在待校准的相机前面移动，最终得到了上述两个XML文件。另外，请问我的下一步是什么？ - SilentButDeadly JC

也许我很烦人。对于我的那种方式感到抱歉。 - SilentButDeadly JC