logo标签列表

Android上无预览的Camera2视频录制：MP4输出文件无法完全播放。

videomp4codecmediarecorderandroid-camera2
15
我正在尝试从我的三星Galaxy S6的后置摄像头（面向脸部的摄像头）录制视频，它支持1920x1080分辨率的30帧每秒。如果可以不使用任何预览表面就能实现，因为这只是在后台发生的事情。
我似乎已经做到了，但输出文件无法正确播放。在我的Windows 10 PC上，Windows Media Player会显示第一帧，然后播放音频，VLC则不会显示任何帧。在我的手机上，记录的文件可播放但不完整。它会保留第一帧5-8秒，然后在最后，剩余时间变为0，总时间显示也改变，然后才开始播放实际的视频帧。在我的Mac（10.9.5）上，Quicktime无法显示视频（没有错误），但Google Picasa可以完美播放。我想尝试在PC上使用Picasa来查看是否有效，但我无法下载Google Picasa，因为它已经停用。
我尝试安装了一个在Windows上找到的编解码器包，但并没有解决问题。MediaInfo v0.7.85报告了有关该文件的以下信息：
常规 完整名称：C：\ ... \ 1465655479915.mp4 格式：MPEG-4 格式配置文件：基本媒体/版本2 编解码器ID：mp42（isom/mp42） 文件大小：32.2 MiB 持续时间：15秒744毫秒 总比特率：17.1 Mbps 编码日期：UTC 2016-06-11 14:31:50 标记日期：UTC 2016-06-11 14:31:50 com.android.version：6.0.1
视频 ID：1 格式：AVC 格式/信息：高级视频编解码器 格式配置文件：High@L4 格式设置，CABAC：是 格式设置，ReFrames：1帧 格式设置，GOP：M=1，N=30 编解码器ID：avc1 编解码器ID/信息：高级视频编码 持续时间：15秒627毫秒 比特率：16.2 Mbps 宽度：1,920像素 高度：1,080像素 显示宽高比：16:9 帧速率模式：可变 帧速率：0.000（0/1000）fps 最小帧速率：0.000 fps 最大帧速率：30.540 fps 颜色空间：YUV 色度抽样：4:2:0 位深度：8位 扫描类型：渐进式 流大小：0.00字节（0％） 源流大小：31.7 MiB（98％） 标题：VideoHandle 语言：英语 编码日期：UTC 2016-06-11 14:31:50 标记日期：UTC 2016-06-11 14:31:50 mdhd_Duration：15627
音频 ID：2 格式：AAC 格式/信息：高级音频编解码器 格式配置文件：LC 编解码器ID：40 持续时间：15秒744毫秒 比特率模式：恒定 比特率：256 Kbps 通道数：2个通道 通道位置：前置：L R 采样率：48.0 KHz 帧速率：46.875 fps（1024 spf） 压缩模式：有损压缩 流大小：492 KiB（1％） 标题：SoundHandle 语言：英语 编码日期：UTC 2016-06-11 14:31:50 标记日期：UTC 2016-06-11 14:31:50
package invisiblevideorecorder;

import android.content.Context;
import android.hardware.camera2.CameraAccessException;
import android.hardware.camera2.CameraCaptureSession;
import android.hardware.camera2.CameraDevice;
import android.hardware.camera2.CameraManager;
import android.hardware.camera2.CameraMetadata;
import android.hardware.camera2.CaptureRequest;
import android.media.CamcorderProfile;
import android.media.MediaRecorder;
import android.os.Environment;
import android.os.Handler;
import android.os.HandlerThread;
import android.util.Log;
import android.view.Surface;

import java.io.File;
import java.io.IOException;
import java.util.Arrays;

/**
 * @author Mark
 * @since 6/10/2016
 */
public class InvisibleVideoRecorder {
    private static final String TAG = "InvisibleVideoRecorder";
    private final CameraCaptureSessionStateCallback cameraCaptureSessionStateCallback = new CameraCaptureSessionStateCallback();
    private final CameraDeviceStateCallback cameraDeviceStateCallback = new CameraDeviceStateCallback();
    private MediaRecorder mediaRecorder;
    private CameraManager cameraManager;
    private Context context;

    private CameraDevice cameraDevice;

    private HandlerThread handlerThread;
    private Handler handler;

    public InvisibleVideoRecorder(Context context) {
        this.context = context;
        handlerThread = new HandlerThread("camera");
        handlerThread.start();
        handler = new Handler(handlerThread.getLooper());

        try {
            mediaRecorder = new MediaRecorder();

            mediaRecorder.setAudioSource(MediaRecorder.AudioSource.CAMCORDER);
            mediaRecorder.setVideoSource(MediaRecorder.VideoSource.SURFACE);

            final String filename = context.getExternalFilesDir(Environment.DIRECTORY_MOVIES).getAbsolutePath() + File.separator + System.currentTimeMillis() + ".mp4";
            mediaRecorder.setOutputFile(filename);
            Log.d(TAG, "start: " + filename);

            // by using the profile, I don't think I need to do any of these manually:
//            mediaRecorder.setVideoEncodingBitRate(16000000);
//            mediaRecorder.setVideoFrameRate(30);
//            mediaRecorder.setCaptureRate(30);
//            mediaRecorder.setVideoSize(1920, 1080);
//            mediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.MPEG_4_SP);
//            mediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.AAC);

//            Log.d(TAG, "start: 1 " + CamcorderProfile.hasProfile(CameraMetadata.LENS_FACING_BACK, CamcorderProfile.QUALITY_1080P));
            // true
//            Log.d(TAG, "start: 2 " + CamcorderProfile.hasProfile(CameraMetadata.LENS_FACING_BACK, CamcorderProfile.QUALITY_HIGH_SPEED_1080P));
            // false
//            Log.d(TAG, "start: 3 " + CamcorderProfile.hasProfile(CameraMetadata.LENS_FACING_BACK, CamcorderProfile.QUALITY_HIGH));
            // true

            CamcorderProfile profile = CamcorderProfile.get(CameraMetadata.LENS_FACING_BACK, CamcorderProfile.QUALITY_1080P);
            Log.d(TAG, "start: profile " + ToString.inspect(profile));
//          start: 0 android.media.CamcorderProfile@114016694 {
//                audioBitRate: 256000
//                audioChannels: 2
//                audioCodec: 3
//                audioSampleRate: 48000
//                duration: 30
//                fileFormat: 2
//                quality: 6
//                videoBitRate: 17000000
//                videoCodec: 2
//                videoFrameHeight: 1080
//                videoFrameRate: 30
//                videoFrameWidth: 1920
//            }
            mediaRecorder.setOrientationHint(0);
            mediaRecorder.setProfile(profile);
            mediaRecorder.prepare();
        } catch (IOException e) {
            Log.d(TAG, "start: exception" + e.getMessage());
        }

    }

    public void start() {
        Log.d(TAG, "start: ");

        cameraManager = (CameraManager) context.getSystemService(Context.CAMERA_SERVICE);
        try {
            cameraManager.openCamera(String.valueOf(CameraMetadata.LENS_FACING_BACK), cameraDeviceStateCallback, handler);
        } catch (CameraAccessException | SecurityException e) {
            Log.d(TAG, "start: exception " + e.getMessage());
        }

    }

    public void stop() {
        Log.d(TAG, "stop: ");
        mediaRecorder.stop();
        mediaRecorder.reset();
        mediaRecorder.release();
        cameraDevice.close();
        try {
            handlerThread.join();
        } catch (InterruptedException e) {

        }
    }

    private class CameraCaptureSessionStateCallback extends CameraCaptureSession.StateCallback {
        private final static String TAG = "CamCaptSessionStCb";

        @Override
        public void onActive(CameraCaptureSession session) {
            Log.d(TAG, "onActive: ");
            super.onActive(session);
        }

        @Override
        public void onClosed(CameraCaptureSession session) {
            Log.d(TAG, "onClosed: ");
            super.onClosed(session);
        }

        @Override
        public void onConfigured(CameraCaptureSession session) {
            Log.d(TAG, "onConfigured: ");
        }

        @Override
        public void onConfigureFailed(CameraCaptureSession session) {
            Log.d(TAG, "onConfigureFailed: ");
        }

        @Override
        public void onReady(CameraCaptureSession session) {
            Log.d(TAG, "onReady: ");
            super.onReady(session);
            try {
                CaptureRequest.Builder builder = cameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_RECORD);
                builder.addTarget(mediaRecorder.getSurface());
                CaptureRequest request = builder.build();
                session.setRepeatingRequest(request, null, handler);
                mediaRecorder.start();
            } catch (CameraAccessException e) {
                Log.d(TAG, "onConfigured: " + e.getMessage());

            }
        }

        @Override
        public void onSurfacePrepared(CameraCaptureSession session, Surface surface) {
            Log.d(TAG, "onSurfacePrepared: ");
            super.onSurfacePrepared(session, surface);
        }
    }

    private class CameraDeviceStateCallback extends CameraDevice.StateCallback {
        private final static String TAG = "CamDeviceStateCb";

        @Override
        public void onClosed(CameraDevice camera) {
            Log.d(TAG, "onClosed: ");
            super.onClosed(camera);
        }

        @Override
        public void onDisconnected(CameraDevice camera) {
            Log.d(TAG, "onDisconnected: ");
        }

        @Override
        public void onError(CameraDevice camera, int error) {
            Log.d(TAG, "onError: ");
        }

        @Override
        public void onOpened(CameraDevice camera) {
            Log.d(TAG, "onOpened: ");
            cameraDevice = camera;
            try {
                camera.createCaptureSession(Arrays.asList(mediaRecorder.getSurface()), cameraCaptureSessionStateCallback, handler);
            } catch (CameraAccessException e) {
                Log.d(TAG, "onOpened: " + e.getMessage());
            }
        }
    }

}

我研究了Android源代码（测试和应用程序），以及在github上找到的一些示例，最终解决了这个问题，因为camera2 API文档不是很完善。
我是否做错了什么显而易见的事情？还是说我在Mac上缺少Quicktime所需的编解码器，在Windows Media Player和VLC上缺少PC所需的编解码器？我还没有尝试在Linux上播放文件，所以我不知道那里会发生什么。哦，如果我将mp4文件上传到photos.google.com，它们也可以正确地播放。
谢谢！ Mark
你有没有解决这个问题的好运气，或者尝试使用我下面的答案？只是在处理旧的未解决的问题:) 谢谢。 - Graham Harper
@GrahamHarper 我一直在尝试解决这个问题。很让人沮丧的是它只影响了一小部分设备。有关解决方案的任何更新吗？我想在运行时动态处理它，所以我可能可以使用您提供的解决方案。 - raisedandglazed
2个回答
9
我的团队在基于Camera2 API开发插件时遇到了类似的问题，但它只影响三星Galaxy S7（我们还有一个S6用于测试，没有出现这种情况）。该问题似乎是由三星相机固件中的错误引起的，并且在设备退出深度睡眠（Android 6.0 Marshmallow中的超低功耗模式）时被触发。从深度睡眠中恢复后，使用Camera2 MediaRecorder捕获和编码的任何视频的第一帧具有非常长的帧持续时间 - 有时甚至比整个视频本身的持续时间还要长。因此，在播放时，第一帧将显示这么长的时间，而音频仍在播放。一旦第一帧完成显示，其余的帧将正常播放。我们在GitHub上讨论该问题时发现其他人也遇到了类似的问题。
这个问题是Marshmallow系统上某些设备的深度睡眠问题。它似乎与CPU有关，因为Verizon上的S7没有这个问题，但AT&T上的S7有这个问题。当S6 Verizon手机更新到Marshmallow时，我看到了这个问题。
为了复制该问题，请在连接USB的情况下重新启动设备。运行示例，一切都应该正常。然后断开设备连接，让其进入深度睡眠（屏幕关闭，无活动5分钟），然后再试一次。一旦设备进入深度睡眠，问题就会出现。
我们最终采用了cybaker提出的解决方法；也就是说，在创建视频文件时，检查视频的第一帧的持续时间。如果它看起来不正确，则重新编码视频以获得合理的帧持续时间：
DataSource channel = new FileDataSourceImpl(rawFile);
IsoFile isoFile = new IsoFile(channel);

List<TrackBox> trackBoxes = isoFile.getMovieBox().getBoxes(TrackBox.class);
boolean sampleError = false;
for (TrackBox trackBox : trackBoxes) {
    TimeToSampleBox.Entry firstEntry = trackBox.getMediaBox().getMediaInformationBox().getSampleTableBox().getTimeToSampleBox().getEntries().get(0);

    // Detect if first sample is a problem and fix it in isoFile
    // This is a hack. The audio deltas are 1024 for my files, and video deltas about 3000
    // 10000 seems sufficient since for 30 fps the normal delta is about 3000
    if(firstEntry.getDelta() > 10000) {
        sampleError = true;
        firstEntry.setDelta(3000);
    }
}

if(sampleError) {
    Movie movie = new Movie();
    for (TrackBox trackBox : trackBoxes) {
            movie.addTrack(new Mp4TrackImpl(channel.toString() + "[" + trackBox.getTrackHeaderBox().getTrackId() + "]" , trackBox));
    }
    movie.setMatrix(isoFile.getMovieBox().getMovieHeaderBox().getMatrix());
    Container out = new DefaultMp4Builder().build(movie);

    //delete file first!
    FileChannel fc = new RandomAccessFile(rawFile.getName(), "rw").getChannel();
    out.writeContainer(fc);
    fc.close();
    Log.d(TAG, "Finished correcting raw video");
}

希望这能指引你朝正确的方向前进！
我在使用代码行 List<TrackBox> trackBoxes = isoFile.getMovieBox().getBoxes(TrackBox.class); 时遇到了空指针异常。问题出在 getMovieBox() 方法上。我将实际的 mp4 文件传递给了 DataSource，这样做正确吗？ - raisedandglazed
1
无法解析符号FileDataSourceImpl。FileDataSourceImpl在哪个库中？ - user3561494
@GrahamHarper 谢谢您，先生。您的解决方案完美地运行了，但是对于Android来说，必须使用Sannies/Mp4parser库（implementation 'com.googlecode.mp4parser:isoparser:1.1.22'）。新的库版本不起作用。我已经在(implementation 'org.mp4parser:isoparser:1.9.27')上进行了测试。 - Andrew G
0
请注意，上面由harper发布的代码需要以下依赖项：
compile 'com.googlecode.mp4parser:isoparser:1.1.22'
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接