使用WebRTC时远程视频流无法工作

15

EDIT: 我写了一篇详细的教程,说明如何构建一个包括标志服务器在内的简单视频聊天应用程序:

教程:使用HTML和JavaScript创建自己的视频聊天应用程序

如果您觉得有帮助并且易于理解,请告诉我。谢谢!


我正在尝试通过WebRTC和Websocket(nodejs-server)使流程工作。据我所见,通过SDP握手协议工作,Peerconnection已经建立。

问题是——远程视频无法播放。src属性获取Blob,autoplay被设置,但它就是不会播放。可能我在ICE-candidates方面做错了什么(它们用于媒体流传输,对吗?)。

是否有任何方法检查PeerConnection是否正确设置?

编辑:也许我应该解释一下代码如何工作:

  1. 在网站加载时,与websocket服务器建立连接,并创建一个使用Google的STUN服务器的PeerConnection,然后收集和添加视频和音频流到PeerConnection中

  2. 当一个用户点击“创建提议”按钮时,将包含其会话描述(SDP)的消息发送到服务器(客户端函数sendOffer()),服务器广播该消息到另一个用户

  3. 其他用户接收到消息并保存他收到的SDP。

  4. 如果用户点击“接受提议”,则将SDP添加到RemoteDescription(func createAnswer())中,然后将包含回答方SDP的应答消息发送给提出提议的用户。

  5. 在提议者的一侧,执行offerAccepted()函数,将另一个用户的SDP添加到其RemoteDesription中。

我不确定icecandidate处理程序是在哪个点被调用的,但我认为它们应该能工作,因为我在两侧都得到了日志。

这是我的代码(仅用于测试,所以即使有一个名为broadcast的函数,也只有两个用户可以同时进入同一个网站):

index.html的标记:

<!DOCTYPE html>
<html>
    <head>
        <meta charset="utf-8">
        <style>
            #acceptOffer  {
                display: none;
            }
        </style>
    </head>
    <body>
        <h2>Chat</h2>
        <div>
            <textarea class="output" name="" id="" cols="30" rows="10"></textarea>
        </div>
        <button id="createOffer">create Offer</button>
        <button id="acceptOffer">accept Offer</button>

        <h2>My Stream</h2>
        <video id="myStream" autoplay src=""></video>
        <h2>Remote Stream</h2>
        <video id="remoteStream" autoplay src=""></video>

        <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.9.1/jquery.min.js"></script>
        <script src="websocketClient.js"></script>
</body>
</html>

这里是服务器端代码:

"use strict";

var webSocketsServerPort = 61122;

var webSocketServer = require('websocket').server,
http = require('http'),
clients = [];


var server = http.createServer(function(request, response) {
    // Not important for us. We're writing WebSocket server, not HTTP server
});
server.listen(webSocketsServerPort, function() {
    console.log((new Date()) + " Server is listening on port " + webSocketsServerPort);
});

var wsServer = new webSocketServer({
    httpServer: server
});

wsServer.on('request', function(request) {
    console.log((new Date()) + ' Connection from origin ' + request.origin + '.');

    var connection = request.accept(null, request.origin),
    index = clients.push(connection) - 1,
    userName=false;
    console.log((new Date()) + ' Connection accepted from '+connection.remoteAddress);

    // user sent some message
    connection.on('message', function(message) {
        var json = JSON.parse(message.utf8Data);

        console.log(json.type);
        switch (json.type) {
            case 'broadcast':
                broadcast(json);
            break;

            case 'emit':
                emit({type:'offer', data:json.data.data});
            break;

            case 'client':
                respondToClient(json, clients[index]);
            break;

            default:
                respondToClient({type:'error', data:'Sorry, i dont understand that.'}, clients[index]);
            break;

        }

    });

    connection.on('close', function(connection) {
        clients.splice(index,1);
        console.log((new Date()) + " Peer " + connection.remoteAddress + " disconnected.");
        broadcast({type:'text', data: userName+' has left the channel.'});
    });

    var respondToClient = function(data, client){
        client.sendUTF(JSON.stringify( data ));
    };

    var broadcast = function(data){
        for(var i = 0; i < clients.length; i++ ) {
            if(i != index ) {
                clients[i].sendUTF(JSON.stringify( data ));
            }
        }
    };
    var emit = function(){
        // TBD
    };
});

以下是客户端代码:

$(function () {
    "use strict";

    /**
    * Websocket Stuff
    **/

    window.WebSocket = window.WebSocket || window.MozWebSocket;

    // open connection
    var connection = new WebSocket('ws://url-to-node-server:61122'),
    myName = false,
    mySDP = false,
    otherSDP = false;

    connection.onopen = function () {
        console.log("connection to WebSocketServer successfull");
    };

    connection.onerror = function (error) {
        console.log("WebSocket connection error");
    };

    connection.onmessage = function (message) {
        try {
            var json = JSON.parse(message.data),
            output = document.getElementsByClassName('output')[0];

            switch(json.callback) {
                case 'offer':
                    otherSDP = json.data;
                    document.getElementById('acceptOffer').style.display = 'block';
                break;

                case 'setIceCandidate':
                console.log('ICE CANDITATE ADDED');
                    peerConnection.addIceCandidate(json.data);
                break;

                case 'text':
                    var text = output.value;
                    output.value = json.data+'\n'+output.value;
                break;

                case 'answer':
                    otherSDP = json.data;
                    offerAccepted();
                break;

            }

        } catch (e) {
            console.log('This doesn\'t look like a valid JSON or something else went wrong.');
            return;
        }
    };
    /**
    * P2P Stuff
    **/
    navigator.getMedia = ( navigator.getUserMedia ||
       navigator.webkitGetUserMedia ||
       navigator.mozGetUserMedia ||
       navigator.msGetUserMedia);

    // create Connection
    var peerConnection = new webkitRTCPeerConnection(
        { "iceServers": [{ "url": "stun:stun.l.google.com:19302" }] }
    );


    var remoteVideo = document.getElementById('remoteStream'),
        myVideo = document.getElementById('myStream'),

        // get local video-Stream and add to Peerconnection
        stream = navigator.webkitGetUserMedia({ audio: false, video: true }, function (stream) {
            myVideo.src = webkitURL.createObjectURL(stream);
            console.log(stream);
            peerConnection.addStream(stream);
    });

    // executes if other side adds stream
    peerConnection.onaddstream = function(e){
        console.log("stream added");
        if (!e)
        {
            return;
        }
        remoteVideo.setAttribute("src",URL.createObjectURL(e.stream));
        console.log(e.stream);
    };

    // executes if my icecandidate is received, then send it to other side
    peerConnection.onicecandidate  = function(candidate){
        console.log('ICE CANDITATE RECEIVED');
        var json = JSON.stringify( { type: 'broadcast', callback:'setIceCandidate', data:candidate});
        connection.send(json);
    };

    // send offer via Websocket
    var sendOffer = function(){
        peerConnection.createOffer(function (sessionDescription) {
            peerConnection.setLocalDescription(sessionDescription);
            // POST-Offer-SDP-For-Other-Peer(sessionDescription.sdp, sessionDescription.type);
            var json = JSON.stringify( { type: 'broadcast', callback:'offer',data:{sdp:sessionDescription.sdp,type:'offer'}});
            connection.send(json);

        }, null, { 'mandatory': { 'OfferToReceiveAudio': true, 'OfferToReceiveVideo': true } });
    };

    // executes if offer is received and has been accepted
    var createAnswer = function(){

        peerConnection.setRemoteDescription(new RTCSessionDescription(otherSDP));

        peerConnection.createAnswer(function (sessionDescription) {
            peerConnection.setLocalDescription(sessionDescription);
            // POST-answer-SDP-back-to-Offerer(sessionDescription.sdp, sessionDescription.type);
            var json = JSON.stringify( { type: 'broadcast', callback:'answer',data:{sdp:sessionDescription.sdp,type:'answer'}});
            connection.send(json);
        }, null, { 'mandatory': { 'OfferToReceiveAudio': true, 'OfferToReceiveVideo': true } });

    };

    // executes if other side accepted my offer
    var offerAccepted = function(){
        peerConnection.setRemoteDescription(new RTCSessionDescription(otherSDP));
        console.log('it should work now');
    };

    $('#acceptOffer').on('click',function(){
        createAnswer();
    });

    $('#createOffer').on('click',function(){
        sendOffer();
    });
});

我也看到了本地媒体流必须在发送任何offer之前收集。这是否意味着我必须在创建PeerConnection时添加它?例如:

// create Connection
var peerConnection = new webkitRTCPeerConnection(
    { 
        "iceServers": [{ "url": "stun:stun.l.google.com:19302" }],
        "mediaStream": stream // attach media stream here?
    }
);

非常感谢,我非常欣赏任何帮助!

编辑2:我现在进展了一些。看起来由于“指定了无效或非法的字符串”,因此添加远程ice-candidates(客户端代码中的switch-case setIceCandidate)无法工作。json.data.candidate-object如下所示:

candidate: "a=candidate:1663431597 2 udp 1845501695 141.84.69.86 57538 typ srflx raddr 10.150.16.92 rport 57538 generation 0
↵"
sdpMLineIndex: 1
sdpMid: "video"

我尝试像这样创建一个新的候选人。
 var remoteCandidate = new RTCIceCandidate(json.data.candidate);
 peerConnection.addIceCandidate(remoteCandidate);

但是我仍然遇到了语法错误。


也许这能有所帮助:https://dev59.com/9nPYa4cB1Zd3GeqPntKi#17424224 - Mert Mertce
2个回答

24
我最近也遇到了类似的问题,这里得到的最佳建议是创建一个程序版本,在其中手动从一个“对等端”(即浏览器选项卡)复制和粘贴SDP和ICE信息到另一个对等端,反之亦然。
通过这样做,我意识到了几件事情:
  1. 在尝试创建任何offer/answer之前,必须调用peer connection对象的addStream方法。

  2. 调用createOffer或createAnswer方法会立即生成该客户端的ICE候选项。但是,一旦你将ICE信息发送给另一个对等端,你只能在设置远程描述之后(使用接收到的offer/answer)设置ICE信息。

  3. 确保您正确编码要在线路上发送的所有信息。在JS中,这意味着您应该在将要在线路上传送的所有数据上使用encodeURIComponent函数。我遇到的问题是,SDP和ICE信息有时会被正确设置,有时不会。这与我没有URI编码数据有关,这导致数据中的加号变成空格,从而搞乱了一切。

无论如何,像我说的那样,我建议创建一个程序版本,在其中有一堆文本区域用于将所有数据输出到屏幕上,然后有其他的文本区域可以粘贴复制的数据以便为另一个对等端设置它。
这样做真正澄清了整个WebRTC过程,其实,这在我看来是没有得到很好的解释的。祝你好运,并让我知道我是否可以再帮忙什么。

嘿@HartleySan,非常感谢你抽出时间!我按照你说的做了,并复制粘贴了SDP数据。看起来我的Ice候选者是问题所在。此外,我真的不明白过程应该是怎样的。他们需要不断交换候选人,所以每个“onicecandidate”事件都应该将候选人发送给另一个用户吗?还是在“onicecandidate”上根本不做任何事情? - Felix Hagspiel
现在我正在做以下事情:1.创建一个报价,自动导致大约20个“onicecandidate”调用。我猜这些候选人是报价用户的候选人,对吗?2.将SDP发送给另一个用户3.然后另一个用户接受SDP,4.将其添加到其远程连接中,然后我应该5.执行“addIceCandidate(offeringUsersCandidate)”,在此之前还要6.调用回答用户的“setLocalDescription()”,正如我从您的文本中读取的那样,或者我理解错了吗?问题是此时我没有报价用户的候选人。我真的很困惑 :) - Felix Hagspiel
是的,我知道这很令人困惑。就像我说的,没有好的文档来解释它。我尝试了一下,发现以下内容:1)来自另一个对等方的ICE候选者可以在设置远程描述(即来自另一个对等方的描述)之后的任何时间设置。这意味着您可以在设置本地描述之前或之后设置ICE候选者(当然是对于应答者)。2)我倾向于不断转发和检查ICE候选者,直到两个视频在两端都弹出。此时,可以生成其他ICE候选者,但我不使用它们。 - HartleySan
8
总的来说,这是我的建议:1)每当 onicecandidate 发生时,立即将该数据发送给另一端。但是,在另一端收到该信息时,不应设置它,直到远程描述被设置。在此之前接收到的任何 ICE 候选人信息都应该被放置在一个数组中,当需要时,遍历整个数组,设置所有的 ICE 候选人信息。2)对于应答者,一旦从另一端获得 SDP 信息(offer),将其设置为远程描述,立即设置本地描述并发送,然后设置任何 ICE 候选人信息。 - HartleySan
伙计们,我无法告诉你们我有多感谢这次交谈。在阅读了这个帖子之前,我花了2个小时来解决同样的问题!永远感激不尽。 - Icarus
显示剩余3条评论

0
function sharescreen(){
getScreenStream(function(screenStream) {
localpearconnection.removeTrack(localStream); 
localpearconnection.addStream(screenStream);
localpearconnection.createOffer().then(description => createdLocalDescription(description)).catch(errorHandler);
document.getElementById('localVideo').srcObject = screenStream;});}

function getScreenStream(callback) {
if (navigator.getDisplayMedia) {
    navigator.getDisplayMedia({
        video: true
    }).then(screenStream => {
        callback(screenStream);
    });
} else if (navigator.mediaDevices.getDisplayMedia) {
    navigator.mediaDevices.getDisplayMedia({
        video: true
    }).then(screenStream => {
        callback(screenStream);
    });
} else {
    getScreenId(function(error, sourceId, screen_constraints) {
        navigator.mediaDevices.getUserMedia(screen_constraints).then(function(screenStream) {
            callback(screenStream);
        });
    });
}}

以上代码对我有效。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接