为什么形状索引特征在人脸对齐中如此有效？

Question

我最近正在实现一些人脸对齐算法。我已经阅读了以下论文：

• Supervised descent method and its applications to face alignment
• Face alignment by explicit shape regression
• Face alignment at 3000 fps via regressing local binary features

所有这些论文都提到了一个重要的关键词：shape-indexed-feature或pose-indexed-feature。这种特征在人脸对齐过程中起着关键作用。我没有理解这种特征的关键点是什么。为什么它如此重要？

- tidy

---

很不幸，你所有的链接都在付费墙后面。 - berak

抱歉！我现在将它们更改为免费链接！ - tidy

这不是一个确切的编程问题，但是它很有趣... - Antonio

“shape-indexed-feature”和“pose-indexed-feature”不都是指“面部标志点”吗？或者说，是由此构建的模型？ - berak

Answer 1

一种形状索引特征是一种特征，其索引提供了有关其来源形状的分层结构的某些线索。因此，在面部对齐中，面部标志非常重要，因为它们是成功对齐面部所需的有用元素。但是，仅考虑面部标志会丢失一些固有于面部的结构。您知道瞳孔在虹膜内部，虹膜在眼睛内部。因此，形状索引特征不仅会告诉您正在查看面部标志-它还会告诉您正在查看一个嵌套在另一个标志内部的标志。由于只有少数几个特征是以这种方式3级嵌套的，因此您可以更自信地正确对齐这些特征。

下面是一篇更早的论文，其中解释了一些简单的语言（尤其是在介绍部分）：http://www.cs.ubc.ca/~lowe/papers/cvpr97.pdf

- mprat

Answer 2

如果要获取形状索引特征，则首先需要对一幅图像中的人脸关键点进行相似变换。其目的是将原始关键点转换到特定位置，该位置可以是所有图像的平均关键点。因此，每个图像的关键点处于相同位置。

然后，您可以根据重新定位的关键点提取局部特征，这些特征是形状索引特征，因为现在每个图像的关键点都是固定形状的。

我花了几个小时搜索上述答案，毕业论文并将其翻译过来，但不确定它是否正确。在我看来，它是有道理的。

- roachsinai