使用缓冲图像将视频编码为h264？

Question

我正在尝试使用Java和一些库将一组缓冲图像（由我的应用程序动态创建的预先保存的图像）转换为视频。

我已经探索了许多不同的选项，比如jcodec（没有关于如何使用它的文档），Xuggler（由于与jdk5及其相关库的兼容性问题，无法运行），以及一些文档非常差的其他库。

我正在寻找一个可以使用Java的库，可以通过逐帧写入缓冲图像来创建h264视频，并且有文档，以便我能够真正弄清楚如何使用它。

你有什么建议吗？

如果存在可以实现此功能的纯Java源代码，我会非常感兴趣看看它。因为我想看看这个人是如何实现这个功能的，以及我如何使用它！

提前致谢...

- rockit

---

你的程序将BufferedImages编码成video花费了多少时间？ - user3751794

Answer 1

jcodec现在（jcodec-0.1.9.jar）包含SequenceEncoder，可以直接将BufferedImage写入视频流。

我花了一段时间修复Eclipse中这个新类的默认导入。在删除第一个导入后，尝试（如上所述，我找不到某些类）使用Stanislav的代码创建自己的类并重新导入后，我发现了错误：

import org.jcodec.api.awt.SequenceEncoder;
//import org.jcodec.api.SequenceEncoder;

第二种方法已完全被弃用，没有文档将我引导到后者。

因此，相应的方法是:

private void saveClip(Trajectory traj) {
    //See www.tutorialspoint.com/androi/android_audio_capture.htm
    //for audio cap ideas.
    SequenceEncoder enc;
    try {
        enc = new SequenceEncoder(new File("C:/Users/WHOAMI/today.mp4"));
        for (int i = 0; i < BUFF_COUNT; ++i) {
            BufferedImage image = buffdFramToBuffdImage(frameBuff.get(i));
            enc.encodeImage(image);
        }
        enc.finish();
    } catch (IOException e) {
        // TODO Auto-generated catch block
        e.printStackTrace();
    }
}

- John

---

jcodec 可以创建 QuickTime 格式的视频，但是每帧（或 BufferedImage）需要花费很长时间。 - user3751794

Answer 2

这是如何使用JCodec完成的：

public class SequenceEncoder {
    private SeekableByteChannel ch;
    private Picture toEncode;
    private RgbToYuv420 transform;
    private H264Encoder encoder;
    private ArrayList<ByteBuffer> spsList;
    private ArrayList<ByteBuffer> ppsList;
    private CompressedTrack outTrack;
    private ByteBuffer _out;
    private int frameNo;
    private MP4Muxer muxer;

    public SequenceEncoder(File out) throws IOException {
        this.ch = NIOUtils.writableFileChannel(out);

        // Transform to convert between RGB and YUV
        transform = new RgbToYuv420(0, 0);

        // Muxer that will store the encoded frames
        muxer = new MP4Muxer(ch, Brand.MP4);

        // Add video track to muxer
        outTrack = muxer.addTrackForCompressed(TrackType.VIDEO, 25);

        // Allocate a buffer big enough to hold output frames
        _out = ByteBuffer.allocate(1920 * 1080 * 6);

        // Create an instance of encoder
        encoder = new H264Encoder();

        // Encoder extra data ( SPS, PPS ) to be stored in a special place of
        // MP4
        spsList = new ArrayList<ByteBuffer>();
        ppsList = new ArrayList<ByteBuffer>();

    }

    public void encodeImage(BufferedImage bi) throws IOException {
        if (toEncode == null) {
            toEncode = Picture.create(bi.getWidth(), bi.getHeight(), ColorSpace.YUV420);
        }

        // Perform conversion
        transform.transform(AWTUtil.fromBufferedImage(bi), toEncode);

        // Encode image into H.264 frame, the result is stored in '_out' buffer
        _out.clear();
        ByteBuffer result = encoder.encodeFrame(_out, toEncode);

        // Based on the frame above form correct MP4 packet
        spsList.clear();
        ppsList.clear();
        H264Utils.encodeMOVPacket(result, spsList, ppsList);

        // Add packet to video track
        outTrack.addFrame(new MP4Packet(result, frameNo, 25, 1, frameNo, true, null, frameNo, 0));

        frameNo++;
    }

    public void finish() throws IOException {
        // Push saved SPS/PPS to a special storage in MP4
        outTrack.addSampleEntry(H264Utils.createMOVSampleEntry(spsList, ppsList));

        // Write MP4 header and finalize recording
        muxer.writeHeader();
        NIOUtils.closeQuietly(ch);
    }
}

- Stanislav Vitvitskyy

---

实际上，您从 https://github.com/jcodec/jcodec/blob/master/src/main/java/org/jcodec/api/SequenceEncoder.java 输入了类。您能否澄清原因？为什么 OP 应该重写这个类？ - CAMOBAP

@CAMOBAP 或从 http://stackoverflow.com/q/17695475/5353361。`RgbToYuv420`，`CompressedTrack`和大多数方法未从jcodec-0.1.9.jar导入到Eclipse中。对于http://jcodec.org/上的教程也可以说是如此。然而，github仅在3天前更新。为什么人们继续发布损坏的`SequenceEncoder`？ - John