将二维/三维物体投影到平面上的算法（增强现实）？

Question

我正在进行一个关于增强现实的项目，使用一个标志物（国际象棋棋盘）从网络摄像头中获取图像并将2D/3D对象插入到棋盘平面上（实时）。

通过使用openCV，我能够检测到棋盘的角落并进行绘制。

我使用Direct3D来渲染帧（使用正交投影），以便稍后可以用它来投影2D/3D对象。

现在我卡在这个阶段。我知道有像ARToolkit等库，但我想了解其背后的技术和算法。如何找到可以将3D对象映射到棋盘平面的变换矩阵？

- W00f

Answer 1

这篇论文讲解得很好：

H. Kato和M. Billinghurst。用于视频增强现实会议系统的标记跟踪和头戴式显示器校准。增强现实，1999年。 （IWAR'99）会议记录。第2届IEEE和ACM国际研讨会，第85-94页，1999年。1, 2, 7, 9

简单说明：

1. 找到标记的角落并从中创建2D边缘

2. 使用由边缘定义的平面创建标记的基向量u1、u2 (http://twitpic.com/4fmbsu)

3. 对这两个基向量u1、u2使用叉积运算来获得第三个向量u3

4. 使用它们来构建您的矩阵

- Dirk