如何使用MediaCodec从视频中获取位图（帧）

Question

我正在尝试使用MediaCodec从视频文件中获取所有帧。如果我尝试在SurfaceView上显示视频，则一切正常。但是如果surface为空，并且当我尝试从字节数组获取位图时，始终会得到null或运行时异常。

这是我的代码：

private class PlayerThread extends Thread {
    private MediaExtractor extractor;
    private MediaCodec decoder;
    private Surface surface;

    public PlayerThread(Surface surface) {
        this.surface = surface;
    }

    @Override
    public void run() {
        extractor = new MediaExtractor();
        extractor.setDataSource(videoPath);

        for (int i = 0; i < extractor.getTrackCount(); i++) {
            MediaFormat format = extractor.getTrackFormat(i);
            String mime = format.getString(MediaFormat.KEY_MIME);
            if (mime.startsWith("video/")) {
                extractor.selectTrack(i);
                decoder = MediaCodec.createDecoderByType(mime);
                decoder.configure(format, /*surface*/ null, null, 0);
                break;
            }
        }

        if (decoder == null) {
            Log.e("DecodeActivity", "Can't find video info!");
            return;
        }

        decoder.start();

        ByteBuffer[] inputBuffers = decoder.getInputBuffers();
        ByteBuffer[] outputBuffers = decoder.getOutputBuffers();
        BufferInfo info = new BufferInfo();
        boolean isEOS = false;

        while (!Thread.interrupted()) {
            ++numFrames;
            if (!isEOS) {
                int inIndex = decoder.dequeueInputBuffer(10000);
                if (inIndex >= 0) {
                    ByteBuffer buffer = inputBuffers[inIndex];
                    int sampleSize = extractor.readSampleData(buffer, 0);
                    if (sampleSize < 0) {
                        // We shouldn't stop the playback at this point,
                        // just pass the EOS
                        // flag to decoder, we will get it again from the
                        // dequeueOutputBuffer
                        Log.d("DecodeActivity",
                                "InputBuffer BUFFER_FLAG_END_OF_STREAM");
                        decoder.queueInputBuffer(inIndex, 0, 0, 0,
                                MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        isEOS = true;
                    } else {
                        decoder.queueInputBuffer(inIndex, 0, sampleSize,
                                extractor.getSampleTime(), 0);
                        extractor.advance();
                    }
                }
            }

            int outIndex = decoder.dequeueOutputBuffer(info, 10000);
            switch (outIndex) {
            case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
                outputBuffers = decoder.getOutputBuffers();
                break;
            case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                Log.d("DecodeActivity",
                        "New format " + decoder.getOutputFormat());
                break;
            case MediaCodec.INFO_TRY_AGAIN_LATER:
                Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
                break;
            default:
                // I tried get Bitmap on few ways
                //1.
                //ByteBuffer buffer = outputBuffers[outIndex];
                //byte[] ba = new byte[buffer.remaining()];
                //buffer.get(ba);
                //final Bitmap bmp = BitmapFactory.decodeByteArray(ba, 0, ba.length);// this return null
                //2. 
                //ByteBuffer buffer = outputBuffers[outIndex];
                //final Bitmap bmp = Bitmap.createBitmap(1920, 1080, Config.ARGB_8888);//using MediaFormat object I know width and height
                //int a = bmp.getByteCount(); //8294400
                //buffer.rewind();
                //int b = buffer.capacity();//3137536
                //int c = buffer.remaining();//3137536
                //bmp.copyPixelsFromBuffer(buffer); // java.lang.RuntimeException: Buffer not large enough for pixels
                //I know what exception mean, but i don't know why xception occurs

                //In this place I need bitmap

                // We use a very simple clock to keep the video FPS, or the
                // video
                // playback will be too fast
                while (info.presentationTimeUs / 1000 > System
                        .currentTimeMillis() - startMs) {
                    try {
                        sleep(10);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                        break;
                    }
                }
                decoder.releaseOutputBuffer(outIndex, true);
                break;
            }

            // All decoded frames have been rendered, we can stop playing
            // now
            if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                Log.d("DecodeActivity",
                        "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
                break;
            }
        }

        decoder.stop();
        decoder.release();
        extractor.release();
    }
}

我不知道如何解决它。

Samos

- user3577955

Answer 1

你的代码存在一些问题（或者说，与MediaCodec相关的问题）。

首先，MediaCodec中的ByteBuffer处理较差，因此您需要手动从由dequeueOutputBuffer()填充的BufferInfo对象中设置缓冲区参数。

其次，MediaCodec输出的值为YUV格式，而不是RGB格式。 Android 4.4之前，Android框架没有提供将输出转换为位图的函数。您需要提供自己的YUV到RGB转换器（有多种格式）。一些设备使用专有的、未经记录的颜色格式。

在CTS EncodeDecodeTest的buffer-to-buffer方法（例如checkFrame()）中，您可以看到提取和检查MediaCodec解码器缓冲区内容的示例。

更可靠的方法是回到解码到Surface，但使用OpenGL ES提取像素。bigflake ExtractMpegFramesTest展示了如何做到这一点。

- fadden

---

也许你可以帮我 https://dev59.com/XbTma4cB1Zd3GeqP_sNg 我认为这是一个适合你的问题... - Sirop4ik

Answer 2

简短回答如下：

在 switch 语句的默认部分中，您需要重置 ByteBuffer 的位置，因此不要使用以下代码：

```java buffer.flip(); ```

而应该使用以下代码：

```java buffer.rewind(); ```

ByteBuffer buffer = outputBuffers[outIndex];
byte[] ba = new byte[buffer.remaining()];
buffer.get(ba); 

你应该有类似于以下的内容：

ByteBuffer buffer = outputBuffers[outIndex];
buffer.position(info.offset);
buffer.limit(info.offset + info.size);
byte[] ba = new byte[buffer.remaining()];
buffer.get(ba); 

在你的原始代码中，你会发现你的ByteBuffer的remaining()为0。

- bremen_matt

Answer 3

这并不是一件简单的事情，但是有可能实现。看看这个类：https://github.com/dburckh/HeifViewer/blob/develop/app/src/main/java/com/homesoft/iso/heif/ImageDecoder.kt 它的核心思想是创建一个ImageReader Surface作为MediaCodec解码器的目标。然后使用PixelCopy将Surface复制到一个Bitmap中。问题是，如果MediaCodec解码的帧速度比你转换的速度快，就会丢帧。我通过在将前一帧解码为Bitmap后才向MediaCodec提供新帧的方式解决了这个问题。

另一个可能的解决方案是使用MediaCodec.getOutputImage()。假设输出是YUV格式，你可以使用libyuv将其转换为ARGB。所有这些操作都将在C中完成，并且假设你可以访问Image中的ByteBuffer。这种方法也有一些问题，因为存在许多不同的图像格式。顺便说一下：大多数视频都是YUV420变种，所以这有一定的限制。

最简单的方法是从图像中获取HardwareBuffer，并将其包装在Bitmap中。不幸的是，这是不被支持的，但是也许值得一试。:)

- Dustin