我能使用JavaScript进行实时媒体解码吗？

Question

我实现了一个MJPEG / AVI1解析器，可以从MJPEG文件中提取JPEG格式的帧。

我可以在DOM上使用元素绘制提取的JPEG文件的图像，并且我还可以使用context.getImageData从中导出图像像素数据。

我能否实时地生成某种视频流并将这些提取的数据附加到其中，以便用户可以在没有长时间延迟的情况下播放它？我知道我可以使用元素手动制作类似于

- Kagami Sascha Rosylight

Answer 1

这是一个有趣的想法。

首先，您需要创建mp4初始化段。然后，您可以将解码的jpg YUV帧转换为h.264帧。接着，将帧制作成MSE片段。但您不需要对h.264进行“编码”，您可以使用原始切片，就像本文中所述。

http://www.cardinalpeak.com/blog/worlds-smallest-h-264-encoder/

这应该可以在浏览器中使用JavaScript完成，只需要付出足够的努力。

- szatmary

---

这太棒了！我不知道H.264可以无损压缩。如果它真的有效，那么可能会有一个通用的实时解码框架。是否有类似的音频文件解决方案？也许它可以（终于）在Internet Explorer上添加本地WAV支持。感谢您提供的信息。 - Kagami Sascha Rosylight

我不认为原始的PCM可以在分段的ISO容器内工作。但是它在.mov中得到支持，而mp4 / iso是一个衍生格式。因此，浏览器可能会支持它（但我非常怀疑）。如果这是一个非实时的解决方案，mkv将支持PCM。 - szatmary