在Android上使用像素缓冲对象（PBO）

Question

在 Android 上，我正在尝试对摄像头帧执行一些 OpenGL 处理，将这些帧显示在摄像头预览中，然后将这些帧编码到视频文件中。我正在使用 GLSurfaceView 和 GLSurfaceView.Renderer 进行 OpenGL 处理，并使用 FFMPEG 进行视频编码。

我已经成功地使用着色器处理了图像帧。现在我需要将处理后的帧编码为视频。GLSurfaceView.Renderer 提供了 onDrawFrame(GL10 ..) 方法。在这个方法中，我尝试使用 glReadPixels() 读取图像帧，然后将帧放置在队列上进行视频编码。单独使用 glReadPixels() 的速度太慢了 - 我的帧率只有几位数。我尝试使用像素缓冲对象来加快速度。但是这没有起作用。插入 pbo 后，帧率没有改变。这是我第一次使用 OpenGL，我不知道从哪里开始寻找问题。我这样做正确吗？是否有人可以给我一些方向？谢谢。

public class MainRenderer implements GLSurfaceView.Renderer, SurfaceTexture.OnFrameAvailableListener {

.
.

    public void onDrawFrame ( GL10 gl10 ) {

        //Create a buffer to hold the image frame     
        ByteBuffer byte_buffer = ByteBuffer.allocateDirect(this.width * this.height * 4);
        byte_buffer.order(ByteOrder.nativeOrder());

        //Generate a pointer to the frame buffers
        IntBuffer image_buffers = IntBuffer.allocate(1); 
        GLES20.glGenBuffers(1, image_buffers);

        //Create the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));
        GLES20.glBufferData(GLES20.GL_ARRAY_BUFFER, byte_buffer.limit(), byte_buffer, GLES20.GL_STATIC_DRAW);
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));

        //Read the pixel data into the buffer
        gl10.glReadPixels(0, 0, this.width, this.height, GL10.GL_RGBA, GL10.GL_UNSIGNED_BYTE, byte_buffer);

        //encode the frame to video
        enQueueForEncoding(byte_buffer);

        //unbind the buffer
        GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, 0);
    }

.
.

}

- Bill Gockeler

---

你查看过Google Grafika的示例吗？如果这些OpenGL实现非常接近于Android上可以达到的最佳状态，那也不会太让人惊讶；例如：https://github.com/google/grafika/blob/master/src/com/android/grafika/RecordFBOActivity.java - harism

针对您的 glReadPixels 调用，尝试使用 glReadPixels(0, 0, width, height, format, GL_UNSIGNED_BYTE, 0)；在末尾传递零值，但您将需要通过 JNI 来执行此操作，因为 Java 不允许 null。然后您可以像通常一样使用映射缓冲区。 - Joel Teply

Answer 1

我以前从未尝试过这样的事情（opengl +视频编码），但我可以告诉您，从设备内存读取速度很慢。尝试双缓冲，这可能有所帮助，因为GPU可以在DMA控制器读回内容时继续渲染到第二个缓冲区。

加载分析器（检查设备的GPU供应商），这可能会给您一些想法。另一件可能有用的事情是将内部pbuffer格式设置为其他内容，尝试较低的数字并丢弃一个通道（alpha）。

编辑：如果您感觉可以这样做，可以在GPU上对视频进行编码，这将提高您的应用程序的内存和处理能力。

- Trax

---

TraxNet，感谢您的回复。我会尝试去掉Alpha通道。我相信这会有所帮助，但不会有太大的差异。在GPU上进行编码将是特定于供应商的，不是吗？我需要在不同的设备上运行。 - Bill Gockeler

他可能是指使用RenderScript来实现GPU端的效果。这将是独立于供应商的。 - akauppi

Answer 2

据我所记，glBufferData()并不会将您的内部缓冲区映射到GPU内存中，它只是将数据从您的内存复制到缓冲区中（初始化）。

要访问由glBufferData()分配的内存，您应该使用glMapBufferRange()。该函数返回一个Java缓冲区对象，您可以读取它。

- Roman