直播流（套接字）-如何同步音频和视频？

Question

1- TCP和UDP套接字哪个更适合用于流媒体？为什么？

2- 在直播时，音频和视频是分别从服务器传输的，如何确保我显示的视频和在设备上播放的音频同步？

- aryaxt

Answer 1

我之前写了一个语音聊天应用程序，TCP是不可行的，如果你想要接近实时数据流，UDP多播确实是唯一的选择。然而，在使用UDP进行流媒体传输时有两个主要问题：

1. 丢包。在音频方面，这是一个相当容易解决的问题。通常情况下，丢失的数据包不会产生听觉上的差异（数据包被单独解压缩）。然而，在处理视频时，特别是如果视频被压缩（通常是这样的），找到一个确保网络稳健性的适当传输协议是一个艰巨的任务，尤其是如果你从零开始。视频帧被分成各种数据包。当这些数据包丢失时，找出该怎么做是很困难的。
2. 音视频同步。这是一个非常棘手的问题，我建议阅读诸如RTSP（实时流传输协议）等协议的相关文献。这不是一个容易的任务，但以下是一些入门信息：http://www.cs.columbia.edu/~hgs/rtsp/ - 有时通过发送单独的同步数据包（某些协议通过TCP发送这些数据包），告诉播放器如何将声音与视频匹配。

- David Titarenco

Answer 2

我会选择使用UDP。但这取决于你的需求。UDP会丢失数据包而不是等待（TCP）。权衡的是，你想要一个稳定的，但有时慢且成本高的方案，还是一个高效的方案，但有时可能无法传递。当涉及到如何实现和使用它时，选择权在你手中。

- Jim

Answer 3

如今，即使是YouTube也通过HTTP进行流媒体传输...这里有一个Node.js应用程序，可以将文件流式传输到浏览器客户端...可作为实时流式传输视频和音频的良好起点。

// usage 
// do following on server side (your laptop running nodejs)
// node this_file.js
//
// then once above is running point your browser at
//    http://localhost:8888
//
// of course your browser could be on your mobile or own custom app



var http = require('http'),
    fs = require('fs'),
    util = require('util');

var path = "/path/to/audio/or/video/file/local/to/server/cool.mp4"; // put any audio or video file here

var port = 8888;
var host = "localhost";

http.createServer(function (req, res) {

  var stat = fs.statSync(path);
  var total = stat.size;

  if (req.headers.range) {   // meaning client (browser) has moved the forward/back slider
                                         // which has sent this request back to this server logic ... cool
    var range = req.headers.range;
    var parts = range.replace(/bytes=/, "").split("-");
    var partialstart = parts[0];
    var partialend = parts[1];

    var start = parseInt(partialstart, 10);
    var end = partialend ? parseInt(partialend, 10) : total-1;
    var chunksize = (end-start)+1;
    console.log('RANGE: ' + start + ' - ' + end + ' = ' + chunksize);

    var file = fs.createReadStream(path, {start: start, end: end});
    res.writeHead(206, { 'Content-Range': 'bytes ' + start + '-' + end + '/' + total, 'Accept-Ranges': 'bytes', 'Content-Length': chunksize, 'Content-Type': 'video/mp4' });
    file.pipe(res);

  } else {

    console.log('ALL: ' + total);
    res.writeHead(200, { 'Content-Length': total, 'Content-Type': 'video/mp4' });
    fs.createReadStream(path).pipe(res);
  }
}).listen(port, host);

console.log("Server running at http://" + host + ":" + port + "/");

- Scott Stensland