TL;DR: 我想从AVI/MP4文件中读取原始的h264流，即使是损坏或不完整的。
几乎所有关于h264的文档都告诉我它由NAL包组成。 好的。 几乎所有地方都告诉我数据包应该以类似
我从random_youtube_video.mp4文件中随机提取了一帧：
红色部分是AVI容器的一部分，其他部分是实际数据。 如您所见，此处我有
我对mp4容器执行相同的操作：
如您所见，这里是完全相同的字节。
此MP4文件可以完美播放。
我尝试提取原始数据：
此文件无法在VLC中播放，即使生成此文件的ffmpeg也无法解析它：
我下载了mp4流分析器并得到了以下结果：
几乎所有关于h264的文档都告诉我它由NAL包组成。 好的。 几乎所有地方都告诉我数据包应该以类似
00 00 01或00 00 00 01的签名开头。 例如：https://dev59.com/DGYr5IYBdhLWcg3w6OKd#18638298，https://stackoverflow.com/a/17625537/8167678
H.264格式的格式是由NAL单元组成的，每个单元都以三个字节的起始前缀开始，值为0x00、0x00、0x01，并且每个单元具有不同的类型，具体取决于这3个起始字节之后第4个字节的值。 一个NAL单元不是视频中的一个帧，每个帧由多个NAL单元组成。我从random_youtube_video.mp4文件中随机提取了一帧：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.avi
结果如下所示：
红色部分是AVI容器的一部分，其他部分是实际数据。 如您所见，此处我有00 00 24 A9而不是00 00 00 01
此AVI文件可以完美播放。我对mp4容器执行相同的操作：
如您所见，这里是完全相同的字节。
此MP4文件可以完美播放。我尝试提取原始数据：
ffmpeg -i pic.avi -c copy pic.h264
结果如下：
此文件无法在VLC中播放，即使生成此文件的ffmpeg也无法解析它：
我下载了mp4流分析器并得到了以下结果：
MP4Box告诉我： Cannot find H264 start code
Error importing pic.h264: BitStream Not Compliant
学习H264的内部原理是非常困难的，特别是当什么都不起作用时。
因此，我有以下问题：
- MP4文件中实际包含哪些数据？
- 我必须阅读哪些内容以解码这些数据（我指的是不同的附录）？
- 如何读取流并从这个“损坏”的原始流中获取解码图像（即使使用ffmpeg）？
更新：
看起来是ffmpeg的错误：
当我进行双重转换时：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.mp4
ffmpeg pic.mp4 -c copy pic.h264
但是直接转换文件时：
ffmpeg -ss 10 -i random_youtube_video.mp4 -frames 1 -c copy pic.h264
我有NALs签名和一个额外的NAL单元。其他字节相同（选定）。
这是一个bug吗？
更新
不，这不是一个bug，您必须使用选项-bsf h264_mp4toannexb将流保存为“Annex B”格式（带前缀）。