将3D世界（arcore锚点/姿态）转换为其相应的2D屏幕坐标

Question

我很难理解这个转换。在arcore中给定一个锚点位姿，如何获得其对应的屏幕上的二维坐标？

- rkachach

Answer 1

经过几天的调查和从不同资源获取信息后，我终于成功了。以下是一个代码片段（基于arcore示例java应用程序），用于将世界坐标（arcore中的姿势）转换为2D屏幕坐标：

首先，我们需要计算矩阵以从世界坐标系转换到屏幕坐标系：

  public float[] calculateWorld2CameraMatrix(float[] modelmtx, float[] viewmtx, float[] prjmtx) {

    float scaleFactor = 1.0f;
    float[] scaleMatrix = new float[16];
    float[] modelXscale = new float[16];
    float[] viewXmodelXscale = new float[16];
    float[] world2screenMatrix = new float[16];

    Matrix.setIdentityM(scaleMatrix, 0);
    scaleMatrix[0] = scaleFactor;
    scaleMatrix[5] = scaleFactor;
    scaleMatrix[10] = scaleFactor;

    Matrix.multiplyMM(modelXscale, 0, modelmtx, 0, scaleMatrix, 0);
    Matrix.multiplyMM(viewXmodelXscale, 0, viewmtx, 0, modelXscale, 0);
    Matrix.multiplyMM(world2screenMatrix, 0, prjmtx, 0, viewXmodelXscale, 0);

    return world2screenMatrix;

有了这个矩阵，我们就可以将3D世界中的点投影到2D平面上，但在此过程中，我们必须将NDC坐标转换为屏幕坐标。以下是执行此转换的方法：

  double[] world2Screen(int screenWidth, int screenHeight, float[] world2cameraMatrix)
  {
    float[] origin = {0f, 0f, 0f, 1f};
    float[] ndcCoord = new float[4];
    Matrix.multiplyMV(ndcCoord, 0,  world2cameraMatrix, 0,  origin, 0);

    ndcCoord[0] = ndcCoord[0]/ndcCoord[3];
    ndcCoord[1] = ndcCoord[1]/ndcCoord[3];

    double[] pos_2d = new double[]{0,0};
    pos_2d[0] = screenWidth  * ((ndcCoord[0] + 1.0)/2.0);
    pos_2d[1] = screenHeight * (( 1.0 - ndcCoord[1])/2.0);

    return pos_2d;
  }

最后，一个简单的用法示例：

        DisplayMetrics displayMetrics = new DisplayMetrics();
        getWindowManager().getDefaultDisplay().getMetrics(displayMetrics);
        int height = displayMetrics.heightPixels;
        int width = displayMetrics.widthPixels;

        // Get projection matrix.
        float[] projmtx = new float[16];
        camera.getProjectionMatrix(projmtx, 0, 0.1f, 100.0f);

        // Get camera matrix and draw.
        float[] viewmtx = new float[16];
        camera.getViewMatrix(viewmtx, 0);

        float[] anchorMatrix = new float[16];
        anchor.getPose().toMatrix(anchorMatrix, 0);
        float[] world2screenMatrix =    
        virtualObject.calculateWorld2CameraMatrix(anchorMatrix, viewmtx, projmtx);
        double[] anchor_2d =  world2Screen(width, height, world2screenMatrix);

- rkachach

---

camera.getProjectionMatrix(projmtx, 0, 0.1f, 100.0f); 你是如何知道远平面和近平面有这些值的？ - Alfaplus

我们如何做相反的事情？ - MrRobot9

Answer 2

arSceneView.getScene().getCamera().worldToScreenPoint(); 像这里描述的那样，对我有用。

- Elnatan Derech