Swift 4:如何使用iOS 11 Vision框架从面部标志点创建面部地图

14

我正在使用iOS 11的视觉框架实时获取面部标志点。我能够获得面部标志点并用UIBezierPath将其覆盖在相机层上。但是,我想要类似右下角图片中的效果。目前我得到的效果看起来像左边的图片,我尝试循环遍历这些点并添加中点,但我不知道如何从这些点生成所有这些三角形。如何从左边的点生成右边的图?

我不确定我是否可以用我所有的点完成,即使完成了也不会太有帮助,但我也有整个脸部边界框的点。最后,是否有任何框架可以让我识别我需要的所有点,例如openCV或其他东西,请告诉我。谢谢!

face_map

这是我一直在使用的代码,来源于https://github.com/DroidsOnRoids/VisionFaceDetection

func detectLandmarks(on image: CIImage) {
    try? faceLandmarksDetectionRequest.perform([faceLandmarks], on: image)
    if let landmarksResults = faceLandmarks.results as? [VNFaceObservation] {

        for observation in landmarksResults {

            DispatchQueue.main.async {
                if let boundingBox = self.faceLandmarks.inputFaceObservations?.first?.boundingBox {
                    let faceBoundingBox = boundingBox.scaled(to: self.view.bounds.size)
                    //different types of landmarks



                    let faceContour = observation.landmarks?.faceContour
                    self.convertPointsForFace(faceContour, faceBoundingBox)

                    let leftEye = observation.landmarks?.leftEye
                    self.convertPointsForFace(leftEye, faceBoundingBox)

                    let rightEye = observation.landmarks?.rightEye
                    self.convertPointsForFace(rightEye, faceBoundingBox)

                    let leftPupil = observation.landmarks?.leftPupil
                    self.convertPointsForFace(leftPupil, faceBoundingBox)

                    let rightPupil = observation.landmarks?.rightPupil
                    self.convertPointsForFace(rightPupil, faceBoundingBox)

                    let nose = observation.landmarks?.nose
                    self.convertPointsForFace(nose, faceBoundingBox)

                    let lips = observation.landmarks?.innerLips
                    self.convertPointsForFace(lips, faceBoundingBox)

                    let leftEyebrow = observation.landmarks?.leftEyebrow
                    self.convertPointsForFace(leftEyebrow, faceBoundingBox)

                    let rightEyebrow = observation.landmarks?.rightEyebrow
                    self.convertPointsForFace(rightEyebrow, faceBoundingBox)

                    let noseCrest = observation.landmarks?.noseCrest
                    self.convertPointsForFace(noseCrest, faceBoundingBox)

                    let outerLips = observation.landmarks?.outerLips
                    self.convertPointsForFace(outerLips, faceBoundingBox)
                }
            }
        }
    }

}

func convertPointsForFace(_ landmark: VNFaceLandmarkRegion2D?, _ boundingBox: CGRect) {
    if let points = landmark?.points, let count = landmark?.pointCount {
        let convertedPoints = convert(points, with: count)



        let faceLandmarkPoints = convertedPoints.map { (point: (x: CGFloat, y: CGFloat)) -> (x: CGFloat, y: CGFloat) in
            let pointX = point.x * boundingBox.width + boundingBox.origin.x
            let pointY = point.y * boundingBox.height + boundingBox.origin.y

            return (x: pointX, y: pointY)
        }

        DispatchQueue.main.async {
            self.draw(points: faceLandmarkPoints)
        }
    }
}


func draw(points: [(x: CGFloat, y: CGFloat)]) {
    let newLayer = CAShapeLayer()
    newLayer.strokeColor = UIColor.blue.cgColor
    newLayer.lineWidth = 4.0

    let path = UIBezierPath()
    path.move(to: CGPoint(x: points[0].x, y: points[0].y))
    for i in 0..<points.count - 1 {
        let point = CGPoint(x: points[i].x, y: points[i].y)
        path.addLine(to: point)
        path.move(to: point)
    }
    path.addLine(to: CGPoint(x: points[0].x, y: points[0].y))
    newLayer.path = path.cgPath

    shapeLayer.addSublayer(newLayer)
}

1
不想轻率地回答,但是你认为你能吗?仅凭额头的观察,我检测不到任何点数(这从我的测试结果看来大概是正确的),你还认为你能画出十八个三角形? - user7014451
1
最好的情况下,边界框将为您提供4个额外的点。我一直在使用这个GitHub(https://github.com/artemnovichkov/iOS-11-by-Examples)中的面部细节,并且我使用的每个带有头发的脸都没有从额头以上的任何东西。几点想法,可能不是很有用:(1)最好使用OpenCV / OpenGL或CoreImage / CoreGraphics,您可以通过颜色分析某些方式来解密发际线和/或颧骨。但这样做需要考虑很多假设,包括没有刘海或长发以及适当的光照。(2)另一种可能性是机器学习-训练自己的模型并使用CoreML。 - user7014451
1
关于CoreML的跟进。我并不是机器学习方面的专家,但我曾经涉猎过。一个训练有素的模型可以区分发型和发际线、眼镜、面部毛发等,这可能是可能的。希望能在这方面找到一些有用的东西!否则,你可能需要花费更多的时间和精力。祝你好运。 - user7014451
1
@Ali,你找到解决方案了吗? - Nico
1
@Ali,你有找到这个问题的解决方案吗?我想制作一个像右侧图片那样的人脸地图。 - R.AlAli
显示剩余3条评论
2个回答

11
我最终找到了一个可行的解决方案。我使用了Delaunay三角剖分,通过https://github.com/AlexLittlejohn/DelaunaySwift实现,并将其修改为能够处理使用Vision框架的面部标记检测请求生成的点。这不容易用代码片段解释清楚,因此我在下面链接了我的GitHub存储库以展示我的解决方案。请注意,这不会获取额头的点,因为Vision框架仅从眉毛以下获取点。

https://github.com/ahashim1/Face


你有没有想法为什么遮罩比输入滞后几帧?如果你能指导我正确的方向,我可以尝试调整并提交PR。 - Aditya Garg
1
@AdityaGarg 我认为这是因为面部标记请求是异步完成的,而三角形是在主线程上绘制的。不太确定如何完全同步这些进程。祝你好运。 - Ali

0

右侧图像中您想要的是Candide网格。您需要将这些点映射到网格上,就可以了。我认为您不需要走评论中讨论过的路线。

P.S 我在查看一个著名滤镜应用程序(让我想起卡斯帕)的APK内容时发现了Candide - 还没有时间自己尝试。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接