机器学习 - SVM特征融合技术

Question

为了我的毕业论文，我正试图通过结合彩色和深度信息来构建一个3D人脸识别系统。我所做的第一步是使用迭代最近点算法将数据头与给定模型头进行重新对齐。检测步骤中，我考虑使用libsvm。但是我不知道如何将深度和颜色信息组合成一个特征向量？它们是有依赖关系的（每个点都包含颜色（RGB）、深度信息和扫描质量）。你有什么建议吗？类似于加权的方法？

编辑： 昨晚我读到了一篇关于SURF/SIFT特征的文章，我想使用它们！这个概念是这样的：从彩色图像和深度图像（范围图像）中提取这些特征，将每个特征用作单个特征向量来进行svm？

- Ben

---

就像Steve所说的那样，将这两个向量连接起来。然后我会执行PCA。 - Eamorr

昨晚我读了一篇关于SURF/SIFT特征的文章，我想使用它们！这可行吗？概念如下：从彩色图像和深度图像（距离图像）中提取这些特征。 - Ben

Answer 1

连接是可行的。然而，由于您正在进行3D人脸识别，因此您应该有一些策略来处理它。使用“直接”方法将很难识别面部的旋转和平移。

您应该决定是否尝试作为整体检测人脸，还是检测子特征。您可以尝试通过找到一些核心特征（眼睛、鼻子等）来检测旋转。

此外，请记住，SVM本质上是二进制的（即它们在两个类之间分离）。根据您的确切应用程序，您很可能需要采用一些多类策略（一对所有或一对多）。

我建议做一些文献研究，看看其他人如何解决这个问题（谷歌搜索将是一个好的开始）。

- John Sloper

Answer 2

听起来很简单，但你可以将这两个向量简单地连接成一个。许多研究人员都这样做。

- Steve Tjoa

Answer 3

你所遇到的是一个重要的开放性问题。是的，有一些方法可以处理它，正如Eamorr在这里提到的那样。例如，您可以连接并执行PCA（或某些非线性降维方法）。但考虑到PCA在特征数量上需要O（n ^ 3）的时间，这种做法的实用性有点难以捍卫。对于可能具有数千个特征的视觉数据来说，仅此一点就可能是不合理的。

- carlosdc

Answer 4

正如其他人所提到的，最简单的方法是将这两组特征简单地合并成一组。

SVM 的特点是最大间隔超平面的法向量，其中其组件指定了特征的权重/重要性，因此绝对值较高的权重对决策函数有更大的影响。因此，SVM会自动为每个特征分配权重。

为了使其正常工作，显然您需要将所有属性归一化为相同的比例（例如将所有特征转换为[-1,1]或[0,1]范围内）。

- Amro