/dev/video1
进行编码。vlc-wrapper -vvv v4l2:///dev/video1 --v4l2-width $WIDTH --v4l2-height $HEIGHT --v4l2-fps ${FPS}.0 --v4l2-chroma h264 --no-audio --no-osd --sout "#rtp{sdp=rtsp://:8000/pi.sdp}" :demux=h264 > /tmp/vlc-wrapper.log 2>&1
我现在正在使用非常简洁的Android代码:
final MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setDisplay(holder);
try {
mediaPlayer.setDataSource(url);
mediaPlayer.prepare();
当我查看日志时,发现出现了类似以下的行:
并且出现了“Prepare failed.: status=0x1”IOException
错误。
06-02 16:28:05.566 W/APacketSource( 316): Format:video 0 RTP/AVP 96 / MIME-Type:H264/90000
06-02 16:28:05.566 W/MyHandler( 316): Unsupported format. Ignoring track #1.
06-02 16:28:05.566 I/MyHandler( 316): SETUP(1) completed with result -1010 (Unknown error 1010)
来自系统进程。搜索这些消息会指向
libstagefright/rtsp
的源代码,并且似乎意味着 APacketSource::APacketSource
构造函数中的 ASessionDescription::getDimensions
调用失败了。这看起来不应该发生,因为 VLC 明确知道要输出的尺寸:[0x1c993a8] v4l2 demux debug: trying specified size 800x600
[0x1c993a8] v4l2 demux debug: Driver requires at most 262144 bytes to store a complete image
[0x1c993a8] v4l2 demux debug: Interlacing setting: progressive
[0x1c993a8] v4l2 demux debug: added new video es h264 800x600
似乎发生的情况是
ASessionDescription::getDimensions
正在寻找(看起来格式良好的)DESCRIBE
结果中的framesize
属性。06-02 16:28:05.566 I/MyHandler( 316): DESCRIBE completed with result 0 (Success)
06-02 16:28:05.566 I/ASessionDescription( 316): v=0
06-02 16:28:05.566 I/ASessionDescription( 316): o=- 15508012299902503225 15508012299902503225 IN IP4 pimple
06-02 16:28:05.566 I/ASessionDescription( 316): s=Unnamed
06-02 16:28:05.566 I/ASessionDescription( 316): i=N/A
06-02 16:28:05.566 I/ASessionDescription( 316): c=IN IP4 0.0.0.0
06-02 16:28:05.566 I/ASessionDescription( 316): t=0 0
06-02 16:28:05.566 I/ASessionDescription( 316): a=tool:vlc 2.0.3
06-02 16:28:05.566 I/ASessionDescription( 316): a=recvonly
06-02 16:28:05.566 I/ASessionDescription( 316): a=type:broadcast
06-02 16:28:05.566 I/ASessionDescription( 316): a=charset:UTF-8
06-02 16:28:05.566 I/ASessionDescription( 316): a=control:rtsp://192.168.1.35:8000/pi.sdp
06-02 16:28:05.566 I/ASessionDescription( 316): m=video 0 RTP/AVP 96
06-02 16:28:05.566 I/ASessionDescription( 316): b=RR:0
06-02 16:28:05.566 I/ASessionDescription( 316): a=rtpmap:96 H264/90000
这似乎是一个Stagefright漏洞:它知道(或应该知道)它有一个H.264编码流,但似乎期望一个H.263的
framesize
属性。因此我的问题是:
- 我是否正确阅读了源代码?问题在
ASessionDescription :: getDimensions
调用中吗?(Stagefright只支持H.263流吗?) - 还是Pi端的代码出了问题?
- 还是我在客户端代码中缺少一些关键步骤?
更新,20140606:
MediaPlayer
文档说-1010是MEDIA_ERROR_UNSUPPORTED:"比特流符合相关编码标准或文件规范,但媒体框架不支持该功能。"这让我想知道问题是否是“标准”渐进式下载问题。也就是说,Supported Media Formats中提到
moov
原子必须位于任何mdat
原子之前,但必须在ftyp
原子之后。然而,大多数流都将moov
原子放在最后。虽然我不确定如何验证这一点!
- 我在vlc源代码中没有看到
moov
或ftyp
原子。(我被告知vlc只是流媒体,实际的H264内容来自相机驱动程序。) - 我在https://github.com/raspberrypi linux或用户空间分支中没有看到
moov
或ftyp
原子。(也许我只是在搜索错误的东西。) - 当我让vlc保存流时,我得到一个在
mdat
之前有moov
的mp4文件,但当然vlc可能在这里进行一些转码。
更新,20140610:
GPAC“Osmo4”播放器可以在Android 4.3平板电脑上显示流。效果不佳(比笔记本电脑上的VLC更慢,容易死机),但它确实可以显示流。
更新,20140616:
当我再次尝试用grep搜索VLC源代码时(这次不区分大小写且不考虑单词方向),我在modules/mux/mp4.c
中找到了定义moov
和ftyp
原子的FOURCC宏,这很快导致了--sout-mp4-faststart
(和--no-sout-mp4-faststart
)开关……但是没有任何区别。
因此,看起来实际上可能并不是原子排序问题。如果这关闭了一整类死路,那就很好,但是这让我毫无头绪地撞墙(似乎总是对我的头部造成更多的伤害而不是对墙)。
更新,20140702:
我编译了Android版的VLC,它可以显示由树莓派上的VLC生成的流。它将图像放在屏幕的左上角;我尝试为他们的.so编写自己的皮肤,但找不到任何可以让我缩放到表面或其他内容的“旋钮”。(加上.apk大约有12M!)
因此,我找到了相关的RFC并编写了自己的RTSP客户端。或者说尝试了:我可以解析SDP并生成足够有效的RTSP以获取RTP和RTCP数据包,并且我可以解析RTP和RTCP头文件。但是,即使SDP声称传递m = video 0 RTP / AVP 96和a = rtpmap:96 H264 / 90000,MediaCodec
也无法在我的表面上显示视频,无论我将我的平板电脑上的三个H264编解码器中的哪一个传递给MediaCodec.createByCodecName(),当我查看RTP负载时,我并不感到惊讶:我在任何数据包中都没有看到NAL同步模式。
相反,它们全部都以21 9A __ 22 FF
(通常)或偶尔的3C 81 9A __ 22 FF
开头,其中__似乎总是一个偶数,每个数据包增加2。我不认识这个模式-你呢?
更新,20140711:
事实证明,H264数据包不必以NAL同步模式开头-这只在NAL单元可能嵌入较大数据流的情况下才是必要的。我的RTP数据包采用RFC 6184格式。