使用MediaCodec和MediaExtractor播放视频和音频

Question

我正在尝试使用MediaCodec播放视频。视频正在播放，但音频是静音的。我想要取消静音。经过研究，我发现需要分别解码音频和视频。我想要使用一个Mediacodec和MediaExtractor对象来播放视频和音频。这个怎么实现呢？

我使用以下代码播放视频：

        extractor = new MediaExtractor();
        extractor.setDataSource(SAMPLE);

        for (int i = 0; i < extractor.getTrackCount(); i++) {
            MediaFormat format = extractor.getTrackFormat(i);
            String mime = format.getString(MediaFormat.KEY_MIME);
            if (mime.startsWith("video/")) {
                extractor.selectTrack(i);
                decoder = MediaCodec.createDecoderByType(mime);
                decoder.configure(format, surface, null, 0);
                break;
            }
        }

        if (decoder == null) {
            Log.e("DecodeActivity", "Can't find video info!");
            return;
        }

        decoder.start();

        ByteBuffer[] inputBuffers = decoder.getInputBuffers();
        ByteBuffer[] outputBuffers = decoder.getOutputBuffers();
        BufferInfo info = new BufferInfo();
        boolean isEOS = false;
        long startMs = System.currentTimeMillis();

        while (!Thread.interrupted()) {
            if (!isEOS) {
                int inIndex = decoder.dequeueInputBuffer(10000);
                if (inIndex >= 0) {
                    ByteBuffer buffer = inputBuffers[inIndex];
                    int sampleSize = extractor.readSampleData(buffer, 0);
                    if (sampleSize < 0) {
                        // We shouldn't stop the playback at this point, just pass the EOS
                        // flag to decoder, we will get it again from the
                        // dequeueOutputBuffer
                        Log.d("DecodeActivity", "InputBuffer BUFFER_FLAG_END_OF_STREAM");
                        decoder.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        isEOS = true;
                    } else {
                        decoder.queueInputBuffer(inIndex, 0, sampleSize, extractor.getSampleTime(), 0);
                        extractor.advance();
                    }
                }
            }

            int outIndex = decoder.dequeueOutputBuffer(info, 10000);
            switch (outIndex) {
            case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
                outputBuffers = decoder.getOutputBuffers();
                break;
            case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                Log.d("DecodeActivity", "New format " + decoder.getOutputFormat());
                break;
            case MediaCodec.INFO_TRY_AGAIN_LATER:
                Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
                break;
            default:
                ByteBuffer buffer = outputBuffers[outIndex];
                Log.v("DecodeActivity", "We can't use this buffer but render it due to the API limit, " + buffer);

                // We use a very simple clock to keep the video FPS, or the video
                // playback will be too fast
                while (info.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
                    try {
                        sleep(10);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                        break;
                    }
                }
                decoder.releaseOutputBuffer(outIndex, true);
                break;
            }

            // All decoded frames have been rendered, we can stop playing now
            if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
                Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
                break;
            }
        }

        decoder.stop();
        decoder.release();
        extractor.release();
    }

- Mahesh Ambekar

Answer 1

您可以使用一个提取器，但需要两个MediaCodec实例来进行音频和视频播放。只有一个MediaCodec实例是无法完成的。

对于demuxer ，一个提取器就可以了，它将文件分解成音频流和视频流。但是音频和视频流应该使用不同的解码器，例如音频AAC，视频AVC等...并且MediaCodec无法动态更改解码类型，因此您应该为每个流创建不同的MediaCodec实例。

播放器应考虑音视频同步...

您可以参考：https://github.com/saki4510t/AudioVideoPlayerSample

- Hanson.tian

---

感谢您的反馈。我使用了两个不同的MediaCodec实例，它运行良好。 - Mahesh Ambekar

@MaheshAmbekar，您能否详细说明一下？我也遇到了同样的问题。 - Nandha Kumar

使用两个MediaExtractor，一个用于音频，另一个用于视频，并保持两个单独的线程来执行相同的操作。 - Mahesh Ambekar

在 https://github.com/saki4510t/AudioVideoPlayerSample/blob/master/app/src/main/java/com/serenegiant/media/MediaMoviePlayer.java 中，根据答案中的参考，有两个媒体提取器被使用：mVideoMediaExtractor 和 mAudioMediaExtractor。 - sergtk