在ARCore中访问图像数据字节

Question

我已经创建了一个ARCore Session，并通过Session#setCameraTextureName方法附加了一个OpenGL纹理ID以显示我的相机数据。 我想要访问显示在纹理上的相机图像数据字节。 ARKit和Tango为每个帧提供了访问图像字节的功能，但在ARCore API中似乎没有任何东西可以轻松地提供这些功能。

在使用ARCore时，是否有其他方法可以访问图像字节？

- MrAlbean

Answer 1

也许这能帮到你，我想以位图形式获取相机视图。我已在三星S8上测试过。

    int w=1080;
    int h = 2220;
    int b[]=new int[w*(0+h)];
    int bt[]=new int[w*h];
    IntBuffer ib = IntBuffer.wrap(b);
    ib.position(0);
    GLES20.glReadPixels(0, 0, w, h, GLES20.GL_RGBA, GLES20.GL_UNSIGNED_BYTE, ib);

    for(int i=0, k=0; i<h; i++, k++)
    {//remember, that OpenGL bitmap is incompatible with Android bitmap
        //and so, some correction need.
        for(int j=0; j<w; j++)
        {
            int pix=b[i*w+j];
            int pb=(pix>>16)&0xff;
            int pr=(pix<<16)&0x00ff0000;
            int pix1=(pix&0xff00ff00) | pr | pb;
            bt[(h-k-1)*w+j]=pix1;
        }
    }

    sb=Bitmap.createBitmap(bt, w, h, Bitmap.Config.ARGB_8888);

- Alfaplus

Answer 2

目前，访问图像数据的最佳方法可能是将纹理绘制到渲染缓冲区中，并使用glReadPixels读取到一个持久映射的像素解包缓冲区中。使用同步栅来检测glReadPixels何时完成。

另一种选择是使用计算着色器直接写入到一个SSBO中。后者可能会少一些复制（即使在glReadPixels之后使其无效，渲染缓冲区像素仍可能命中DRAM），但这也是一条较少使用的代码路径并且需要进行渲染/计算切换，因此我对哪种方法更有效没有直觉。

- Ian M

---

这样做能让我们从相机缓冲区中获取YUV数据吗？ - MrAlbean

目前还没有访问原始YUV数据的方法。OpenGL采样器会为您转换为RGB。 - Ian M

@IanM 感谢您的回答。您认为将来会有官方（且更高效）的方法吗？毕竟，计算机视觉对于增强现实非常重要 :-) - PhilLab

我不能谈论未来的计划，但我同意这是一个理想的能力。不幸的是，我的理解是当前Android平台的限制阻止提供一个既可以用作GPU纹理又可以访问CPU的图像的单个缓冲区，因此在提供该功能时必须小心。 - Ian M

@IanM 感谢您的回复。那么，有没有一种方法可以查询本机捕获几何图形（像 ARKit 一样是 1280p）？如果不需要升级，我们就不想浪费工作，但我们也不想不必要地降低质量。 - MrAlbean

@MrAlbean 对于开发者预览，相机图像将始终为1920x1080。您还可以使用glGetTexLevelParameteriv查询它。我已经测试了计算着色器方法，它似乎足够高效，至少可以用于概念验证工作。 - Ian M

Answer 3

自ARCore v1.1.0起，有一个API可以访问当前帧的图像字节：

https://developers.google.com/ar/reference/java/com/google/ar/core/Frame.html#acquireCameraImage()

请注意，保留html标签。

- MrAlbean

---

是我自己的问题还是返回的图像似乎比应该的尺寸小？我得到了640x480，但（质量上）屏幕上显示的预览似乎比那更高分辨率。 - Erhannis

没错，提供 CPU 访问图像字节的 API 返回一张 640x480 的图片，尽管预览显示为 1920x1080。在 GitHub 上有一些关于图像分辨率的问题存在，所以可能会进行改进： https://github.com/google-ar/arcore-android-sdk/issues/92 https://github.com/google-ar/arcore-android-sdk/issues/153 - MrAlbean

从v1.28.0版本开始，此API已被弃用。 https://github.com/google-ar/arcore-android-sdk/releases - Softlion