为什么使用Android MediaPlayer读取H.264编码的rtsp流时会出现“不支持的格式”错误?

12
我正在尝试在Android设备上显示H.264编码的rtsp视频。流来自Raspberry Pi,使用vlc对“Pi NoIR Camera Board”的/dev/video1进行编码。
vlc-wrapper -vvv v4l2:///dev/video1 --v4l2-width $WIDTH --v4l2-height $HEIGHT --v4l2-fps ${FPS}.0 --v4l2-chroma h264 --no-audio --no-osd --sout "#rtp{sdp=rtsp://:8000/pi.sdp}" :demux=h264 > /tmp/vlc-wrapper.log 2>&1

我现在正在使用非常简洁的Android代码:

final MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setDisplay(holder);
try {
  mediaPlayer.setDataSource(url);
  mediaPlayer.prepare();

当我查看日志时,发现出现了类似以下的行:
并且出现了“Prepare failed.: status=0x1”IOException错误。

06-02 16:28:05.566 W/APacketSource(  316): Format:video 0 RTP/AVP 96  / MIME-Type:H264/90000
06-02 16:28:05.566 W/MyHandler(  316): Unsupported format. Ignoring track #1.
06-02 16:28:05.566 I/MyHandler(  316): SETUP(1) completed with result -1010 (Unknown error 1010)

来自系统进程。搜索这些消息会指向 libstagefright/rtsp 的源代码,并且似乎意味着 APacketSource::APacketSource 构造函数中的 ASessionDescription::getDimensions 调用失败了。这看起来不应该发生,因为 VLC 明确知道要输出的尺寸:
[0x1c993a8] v4l2 demux debug: trying specified size 800x600
[0x1c993a8] v4l2 demux debug: Driver requires at most 262144 bytes to store a complete image
[0x1c993a8] v4l2 demux debug: Interlacing setting: progressive
[0x1c993a8] v4l2 demux debug: added new video es h264 800x600

似乎发生的情况是ASessionDescription::getDimensions正在寻找(看起来格式良好的)DESCRIBE结果中的framesize属性。
06-02 16:28:05.566 I/MyHandler(  316): DESCRIBE completed with result 0 (Success)
06-02 16:28:05.566 I/ASessionDescription(  316): v=0
06-02 16:28:05.566 I/ASessionDescription(  316): o=- 15508012299902503225 15508012299902503225 IN IP4 pimple
06-02 16:28:05.566 I/ASessionDescription(  316): s=Unnamed
06-02 16:28:05.566 I/ASessionDescription(  316): i=N/A
06-02 16:28:05.566 I/ASessionDescription(  316): c=IN IP4 0.0.0.0
06-02 16:28:05.566 I/ASessionDescription(  316): t=0 0
06-02 16:28:05.566 I/ASessionDescription(  316): a=tool:vlc 2.0.3
06-02 16:28:05.566 I/ASessionDescription(  316): a=recvonly
06-02 16:28:05.566 I/ASessionDescription(  316): a=type:broadcast
06-02 16:28:05.566 I/ASessionDescription(  316): a=charset:UTF-8
06-02 16:28:05.566 I/ASessionDescription(  316): a=control:rtsp://192.168.1.35:8000/pi.sdp
06-02 16:28:05.566 I/ASessionDescription(  316): m=video 0 RTP/AVP 96
06-02 16:28:05.566 I/ASessionDescription(  316): b=RR:0
06-02 16:28:05.566 I/ASessionDescription(  316): a=rtpmap:96 H264/90000

这似乎是一个Stagefright漏洞:它知道(或应该知道)它有一个H.264编码流,但似乎期望一个H.263的framesize属性。因此我的问题是:
  1. 我是否正确阅读了源代码?问题在ASessionDescription :: getDimensions调用中吗?(Stagefright只支持H.263流吗?)
  2. 还是Pi端的代码出了问题?
  3. 还是我在客户端代码中缺少一些关键步骤?

更新,20140606:

MediaPlayer文档说-1010是MEDIA_ERROR_UNSUPPORTED:"比特流符合相关编码标准或文件规范,但媒体框架不支持该功能。"这让我想知道问题是否是“标准”渐进式下载问题。也就是说,Supported Media Formats中提到

对于在MPEG-4容器中通过HTTP或RTSP流式传输的视频内容,moov原子必须位于任何mdat原子之前,但必须在ftyp原子之后。然而,大多数流都将moov原子放在最后。虽然我不确定如何验证这一点!
  • 我在vlc源代码中没有看到moovftyp原子。(我被告知vlc只是流媒体,实际的H264内容来自相机驱动程序。)
  • 我在https://github.com/raspberrypi linux或用户空间分支中没有看到moovftyp原子。(也许我只是在搜索错误的东西。)
  • 当我让vlc保存流时,我得到一个在mdat之前有moov的mp4文件,但当然vlc可能在这里进行一些转码。

更新,20140610:

GPAC“Osmo4”播放器可以在Android 4.3平板电脑上显示流。效果不佳(比笔记本电脑上的VLC更慢,容易死机),但它确实可以显示流。

更新,20140616:

当我再次尝试用grep搜索VLC源代码时(这次不区分大小写且不考虑单词方向),我在modules/mux/mp4.c中找到了定义moovftyp原子的FOURCC宏,这很快导致了--sout-mp4-faststart(和--no-sout-mp4-faststart)开关……但是没有任何区别。

因此,看起来实际上可能并不是原子排序问题。如果这关闭了一整类死路,那就很好,但是这让我毫无头绪地撞墙(似乎总是对我的头部造成更多的伤害而不是对墙)。

更新,20140702:

我编译了Android版的VLC,它可以显示由树莓派上的VLC生成的流。它将图像放在屏幕的左上角;我尝试为他们的.so编写自己的皮肤,但找不到任何可以让我缩放到表面或其他内容的“旋钮”。(加上.apk大约有12M!)

因此,我找到了相关的RFC并编写了自己的RTSP客户端。或者说尝试了:我可以解析SDP并生成足够有效的RTSP以获取RTP和RTCP数据包,并且我可以解析RTP和RTCP头文件。但是,即使SDP声称传递m = video 0 RTP / AVP 96和a = rtpmap:96 H264 / 90000,MediaCodec也无法在我的表面上显示视频,无论我将我的平板电脑上的三个H264编解码器中的哪一个传递给MediaCodec.createByCodecName(),当我查看RTP负载时,我并不感到惊讶:我在任何数据包中都没有看到NAL同步模式

相反,它们全部都以21 9A __ 22 FF(通常)或偶尔的3C 81 9A __ 22 FF开头,其中__似乎总是一个偶数,每个数据包增加2。我不认识这个模式-你呢?

更新,20140711:

事实证明,H264数据包不必以NAL同步模式开头-这只在NAL单元可能嵌入较大数据流的情况下才是必要的。我的RTP数据包采用RFC 6184格式。


你能用其他软件,比如VLC,读取同一数据流吗? - Alex Cohn
哦,我很惊讶我没有提到过这个。是的,VLC可以读取流...但是,当然,VLC愿意打开第二个流来查找moov原子,而Android则不行。(抱歉,在工作机器上引用了那个。) - Jon Shemitz
2
http://bytechunk.net/mobile_progressive_playback/index.php - Jon Shemitz
其实,我以为你已经在Android上尝试了VLC播放。 - Alex Cohn
我曾经成功地使用imagemagic(我用它来拼接图像)和avconv(http://manpages.ubuntu.com/manpages/precise/man1/avconv.1.html)的组合来对移动设备进行视频编码。两者都在Linux上运行良好,而且由于RPi是基于Linux的,所以你应该不难让它们正常工作。这只是一个建议。值得一试,因为我使用其他工具时并没有取得太大的成功。 - jamesc
1个回答

5
在经历了大量的死胡同之后,我成功地在Android的SurfaceView上展示了H264 RTSP流。虽然这个答案只是“有点儿”回答,因为我仍然无法解决最初的三个问题,但即使有很多bug和捷径,我的75K apk比Android的Vlc播放器或osmo4播放器要好得多:它具有亚秒级的延迟(至少在发送方和接收方在同一WiFi路由器上时),并且填充了SurfaceView
以下是一些要点,可以帮助任何试图做类似事情的人:
  • 你传递给 MediaCodec.queueInputBuffer() 的所有输入缓冲区都必须以 00 00 01 同步模式 开始。
  • 你可以立即 configure()start() 编解码器,但在看到 SPS(NALU 代码 7)和 PPS(NALU 代码 8)数据包之前不要排队任何“正常”的输入缓冲区。(这些可能不是 0x67 和 0x68 - "nal_ref_idc" 位应该非零,但不一定是 11。顺便说一下,vlc 看起来总是给我 01。)
  • 几乎正常地传递 SPS/PPS 数据包 - 将 BUFFER_FLAG_CODEC_CONFIG 标志传递给 queueInputBuffer()。特别是,不要尝试将它们放在附加到 MediaFormat 的“csd-0”缓冲区中!
  • 当你看到(一个或多个)丢帧(例如,你看到 RTP 序列号跳跃时),不要调用 codec.flush()!只需跳过部分帧,并在下一帧之前不要排队缓冲区。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接