在 Android 上,我正在尝试对摄像头帧执行一些 OpenGL 处理,将这些帧显示在摄像头预览中,然后将这些帧编码到视频文件中。我正在使用 GLSurfaceView 和 GLSurfaceView.Renderer 进行 OpenGL 处理,并使用 FFMPEG 进行视频编码。
我已经成功地使用着色器处理了图像帧。现在我需要将处理后的帧编码为视频。GLSurfaceView.Renderer 提供了 onDrawFrame(GL10 ..) 方法。在这个方法中,我尝试使用 glReadPixels() 读取图像帧,然后将帧放置在队列上进行视频编码。单独使用 glReadPixels() 的速度太慢了 - 我的帧率只有几位数。我尝试使用像素缓冲对象来加快速度。但是这没有起作用。插入 pbo 后,帧率没有改变。这是我第一次使用 OpenGL,我不知道从哪里开始寻找问题。我这样做正确吗?是否有人可以给我一些方向?谢谢。
我已经成功地使用着色器处理了图像帧。现在我需要将处理后的帧编码为视频。GLSurfaceView.Renderer 提供了 onDrawFrame(GL10 ..) 方法。在这个方法中,我尝试使用 glReadPixels() 读取图像帧,然后将帧放置在队列上进行视频编码。单独使用 glReadPixels() 的速度太慢了 - 我的帧率只有几位数。我尝试使用像素缓冲对象来加快速度。但是这没有起作用。插入 pbo 后,帧率没有改变。这是我第一次使用 OpenGL,我不知道从哪里开始寻找问题。我这样做正确吗?是否有人可以给我一些方向?谢谢。
public class MainRenderer implements GLSurfaceView.Renderer, SurfaceTexture.OnFrameAvailableListener {
.
.
public void onDrawFrame ( GL10 gl10 ) {
//Create a buffer to hold the image frame
ByteBuffer byte_buffer = ByteBuffer.allocateDirect(this.width * this.height * 4);
byte_buffer.order(ByteOrder.nativeOrder());
//Generate a pointer to the frame buffers
IntBuffer image_buffers = IntBuffer.allocate(1);
GLES20.glGenBuffers(1, image_buffers);
//Create the buffer
GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));
GLES20.glBufferData(GLES20.GL_ARRAY_BUFFER, byte_buffer.limit(), byte_buffer, GLES20.GL_STATIC_DRAW);
GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, image_buffers.get(0));
//Read the pixel data into the buffer
gl10.glReadPixels(0, 0, this.width, this.height, GL10.GL_RGBA, GL10.GL_UNSIGNED_BYTE, byte_buffer);
//encode the frame to video
enQueueForEncoding(byte_buffer);
//unbind the buffer
GLES20.glBindBuffer(GLES20.GL_ARRAY_BUFFER, 0);
}
.
.
}