如何将Vision框架的坐标系转换为ARKit？

Question

我正在使用ARKit（与SceneKit一起）添加虚拟对象（例如球）。我正在使用Vision框架跟踪现实世界的对象（例如脚），并在视觉请求完成处理程序方法中获取其更新的位置。

let request = VNTrackObjectRequest(detectedObjectObservation: lastObservation, completionHandler: self.handleVisionRequestUpdate)

我想用虚拟对象替换被跟踪的现实世界对象（例如，用方块代替脚），但我不确定如何将视觉请求完成时收到的boundingBox矩形（它们的坐标系不同）替换为场景节点。

以下是视觉请求完成处理程序的代码：

 private func handleVisionRequestUpdate(_ request: VNRequest, error: Error?) {
    // Dispatch to the main queue because we are touching non-atomic, non-thread safe properties of the view controller
    DispatchQueue.main.async {
      // make sure we have an actual result
      guard let newObservation = request.results?.first as? VNDetectedObjectObservation else { return }

      // prepare for next loop
      self.lastObservation = newObservation

      // check the confidence level before updating the UI
      guard newObservation.confidence >= 0.3 else {
        return
      }

      // calculate view rect
      var transformedRect = newObservation.boundingBox

     //How to convert transformedRect into AR Coordinate
  self.node.position = SCNVector3Make(?.worldTransform.columns.3.x,
    ?.worldTransform.columns.3.y,

    }
  }

请指导我如何转换坐标系统。

- idev

Answer 1

假设矩形在水平面上，则可以对所有4个角落进行场景命中测试，并使用其中的3个角来计算矩形的宽度、高度、中心和方向。

我在GitHub上提供了一个演示应用程序，正是这样做的：https://github.com/mludowise/ARKitRectangleDetection

VNRectangleObservation的矩形角坐标将相对于图像大小并且根据手机的旋转而在不同的坐标系中。您需要通过视图大小对它们进行乘法并根据手机的旋转进行反转：

func convertFromCamera(_ point: CGPoint, view sceneView: ARSCNView) -> CGPoint {
    let orientation = UIApplication.shared.statusBarOrientation

    switch orientation {
    case .portrait, .unknown:
        return CGPoint(x: point.y * sceneView.frame.width, y: point.x * sceneView.frame.height)
    case .landscapeLeft:
        return CGPoint(x: (1 - point.x) * sceneView.frame.width, y: point.y * sceneView.frame.height)
    case .landscapeRight:
        return CGPoint(x: point.x * sceneView.frame.width, y: (1 - point.y) * sceneView.frame.height)
    case .portraitUpsideDown:
        return CGPoint(x: (1 - point.y) * sceneView.frame.width, y: (1 - point.x) * sceneView.frame.height)
    }
}

然后，您可以对所有4个角进行命中测试。在执行命中测试时，使用类型为.existingPlaneUsingExtent很重要，这样ARKit才会返回水平面的命中结果。

let tl = sceneView.hitTest(convertFromCamera(rectangle.topLeft, view: sceneView), types: .existingPlaneUsingExtent)
let tr = sceneView.hitTest(convertFromCamera(rectangle.topRight, view: sceneView), types: .existingPlaneUsingExtent)
let bl = sceneView.hitTest(convertFromCamera(rectangle.bottomLeft, view: sceneView), types: .existingPlaneUsingExtent)
let br = sceneView.hitTest(convertFromCamera(rectangle.bottomRight, view: sceneView), types: .existingPlaneUsingExtent)

接着就变得有点复杂了...

因为每个命中测试可能会返回0到n个结果，所以你需要过滤掉任何在不同平面上的命中测试。你可以通过比较每个ARHitTestResult的锚点来完成此操作：

hit1.anchor == hit2.anchor

此外，您只需要识别矩形的3个角落，就可以确定其尺寸、位置和方向，所以如果一个角没有返回任何命中测试结果也没关系。请参阅这里，了解我是如何做到的。

您可以通过左右两个角之间的距离（对于顶部或底部）来计算矩形的宽度。同样地，您可以通过上下两个角之间的距离（对于左侧或右侧）来计算矩形的高度。

func distance(_ a: SCNVector3, from b: SCNVector3) -> CGFloat {
    let deltaX = a.x - b.x
    let deltaY = a.y - b.y
    let deltaZ = a.z - b.z

    return CGFloat(sqrt(deltaX * deltaX + deltaY * deltaY + deltaZ * deltaZ))
}

let width = distance(right, from: left)
let height = distance(top, from: bottom)

您可以通过获取矩形对角线上的中点（即topLeft和bottomRight或topRight和bottomLeft）来计算其位置。

let midX = (c1.x + c2.x) / 2
let midY = (c1.y + c2.y) / 2
let midZ = (c1.z + c2.z) / 2
let center = SCNVector3Make(midX, midY, midZ)

您还可以根据左右两个角落（顶部或底部）的位置计算矩形的方向（沿y轴旋转）。

let distX = right.x - left.x
let distZ = right.z - left.z
let orientation = -atan(distZ / distX)

将所有这些放在一起，然后在矩形上叠加显示AR图像。以下是通过子类化SCNNode来显示虚拟矩形的示例：

class RectangleNode: SCNNode {

    init(center: SCNVector3, width: CGFloat, height: CGFloat, orientation: Float) {
        super.init()

        // Create the 3D plane geometry with the dimensions calculated from corners
        let planeGeometry = SCNPlane(width: width, height: height)
        let rectNode = SCNNode(geometry: planeGeometry)

        // Planes in SceneKit are vertical by default so we need to rotate
        // 90 degrees to match planes in ARKit
        var transform = SCNMatrix4MakeRotation(-Float.pi / 2.0, 1.0, 0.0, 0.0)

        // Set rotation to the corner of the rectangle
        transform = SCNMatrix4Rotate(transform, orientation, 0, 1, 0)

        rectNode.transform = transform

        // We add the new node to ourself since we inherited from SCNNode
        self.addChildNode(rectNode)

        // Set position to the center of rectangle
        self.position = center
    }
}

- Mel

---

太棒了。这应该是@Abhijeet Banarase的被接受的答案。 - giovannipds

Answer 2

需要考虑的主要问题是边界矩形在2D图像中，而ARKit场景是3D的。这意味着在选择深度之前，无法确定边界矩形在3D空间中的位置。

您需要运行一个命中测试来将2D坐标转换为3D：

let box = newObservation.boundingBox
let rectCenter = CGPoint(x: box.midX, y: box.midY)
let hitTestResults = sceneView.hitTest(rectCenter, types: [.existingPlaneUsingExtent, .featurePoint])
// Pick the hitTestResult you need (nearest?), get position via worldTransform

- Christopher Oezbek

---

这真的有效吗？Vision观察返回的boundingBox的原点和大小在[0, 1]范围内，而不是uikit坐标系，而hitTest需要一个uikit坐标系。 - Peng Qi