评估图像配准过程的准确性

4

背景:

假设有两个不同视角的相同场景的拍摄。对它们应用一个注册算法将会产生一个表示它们之间关系的单应矩阵(Homography Matrix)。通过使用这个单应矩阵对其中一个图像进行变形,理论上会产生两个完全相同的图像(如果忽略非共享区域)。

由于没有完美的情况存在,这两个图像可能并非绝对相同,我们可能会在它们之间发现一些差异,并且这些差异可以在它们相减时明显地展现出来。

示例:

Scene 1 Scene 2

Scene2 Warped to Scene 1

AbsDiff(Scene1,Scene2 Warped to Scene 1)

此外,光照条件可能会导致在相减时出现巨大的差异。

问题:

我正在寻找一种可以评估注册过程准确性的度量标准。这个标准应该是:

  1. 归一化的: 0 -> 1 的测量值,不涉及图像类型(自然场景、文本、人类...)。例如,如果两个完全不同的注册过程在完全不同的相片对上具有相同的置信度,比如说0.5,这意味着发生了相同的良好(或不良)的配准。即使其中一个对于非常详细的照片,而另一个只是一个带有黑色"Hello"字样的白色背景。

  2. 区分失配精度和不同的光照条件:虽然有许多方法来消除这些差异并使两个图像看起来近似相同,但我正在寻找不计算它们而不是修复它们的度量标准(性能问题)。

首先想到的是将两个图像的绝对差异求和。然而,这将产生一个代表误差的数字。当您想将其与另一个注册过程进行比较时,此数字没有意义,因为另一个具有更好的配准但更多细节的图像可能会产生比较大的误差而不是比较小的误差。

很抱歉发了一篇这么长的帖子。我很乐意提供任何进一步的信息并协助找到解决方案。

注:使用OpenCV是可以接受和优先的。

2个回答

2
您可以始终在两个图像中使用不变(光照/比例/旋转)特征。例如,SIFT特征。
当您使用典型比率(最近和次近之间)进行匹配时,您会得到大量的匹配项。您可以使用自己的方法或使用这些匹配项上的RANSAC计算单应性矩阵。
无论哪种情况,对于任何单应性候选者,您都可以计算与模型符合的特征匹配项数(全部匹配项中)。所得数量除以总匹配项数,可为您提供0-1度量标准,以评估模型质量。
如果您使用匹配项来计算单应性矩阵,则已内置质量度量标准。

谢谢。那是正确的,但没有归一化...而且实际上这正是我现在正在做的。虽然我确信它在0和1之间,但在不同的对之间差别很大。 - Humam Helfawi
此外,如果您的4个点是100%准确的,您可能会得到完美的注册。但是,如果只有1000个特征点中的4个点是准确的,则此测量值将非常低。 - Humam Helfawi
无论用多少点来计算单应性,您仍然可以计算有多少个点使用单应性转换产生与匹配特征相同的坐标。如果单应性是正确的,并且给定一个非退化的场景,您应该得到高比率。 - Photon
是的,我的意思是只有4个内点,并且阈值非常严格。我的观点是,你不能仅依靠匹配点的数量来评估单应矩阵。 - Humam Helfawi
如果你的场景只有4个点匹配定义了单应性,而其他所有匹配都不一致,那么你可能不应该使用单应性,因为深度差异太大,这不是一个好的模型。当场景是平面时,单应性效果最佳。 - Photon
只是一个极端的例子,以便更清楚地阐明我的观点。在实际情况中会更简单。 - Humam Helfawi

1
这个问题是给出两张图片,判断它们的错位程度。
这就是为什么我们进行了注册。注册方法本身无法回答它所做的工作有多糟糕,因为如果它知道了,它本来就会做得更好。
只有在绝对正确的情况下,我们才知道结果是0。
你想要一个确定性的答案吗?那就加入确定性的输入。
一个红色正方形在给定的固定位置,可以测量它的旋转-平移-缩放程度。在实验室的条件下,这是可以实现的。

我部分地同意你的观点。但有时候,你知道注册并不完美,但由于性能问题,你必须停止。在这种情况下,我该如何以规范化的方式表达它的好坏程度? - Humam Helfawi

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接