WebRTC PeerConnection中有选择编解码器的方法吗？

Question

WebRTC PeerConnection中有选择编解码器的方法吗？

webrtccodecgetusermedia

5

嘿，我想知道在WebRTC中创建offer/answer时是否有选择编解码器的方式。目前可供选择的视频编解码器并不多，但有一些音频编解码器，如Opus、PCMU、PCMA等。

- JustGoscha

3个回答

2

选择Opus只能让你完成一半。即使使用编解码器，它可能会默认为单声道和约42 kb/s，因为它主要设计用于语音。

如果您不使用语音输入，并希望获得一致的音乐体验，您可以使用约束禁用音频处理功能：

navigator.mediaDevices.getUserMedia({
  audio: {
    autoGainControl: false,
    channelCount: 2,
    echoCancellation: false,
    latency: 0,
    noiseSuppression: false,
    sampleRate: 48000,
    sampleSize: 16,
    volume: 1.0
  }
});

然后将SDP设置为 stereo 并增加 maxaveragebitrate：

let answer = await peer.conn.createAnswer(offerOptions);
answer.sdp = answer.sdp.replace('useinbandfec=1', 'useinbandfec=1; stereo=1; maxaveragebitrate=510000');
await peer.conn.setLocalDescription(answer);

这应该输出一个类似于这样的字符串：

a=fmtp:111 minptime=10;useinbandfec=1; stereo=1; maxaveragebitrate=510000

这意味着立体声的潜在最大比特率为520kb/s，每个通道为260kps。实际比特率取决于您的网络速度和信号强度。

您可以在以下链接中了解更多其他可用属性：https://www.rfc-editor.org/rfc/rfc7587

- Kim T

0

随着浏览器开始支持setCodecPreferences，您可以检查“audio/opus” MIME类型并将编解码器首选项设置为opus编解码器：

let tcvr = pc.getTransceivers()[0];
let codecs = RTCRtpReceiver.getCapabilities('audio').codecs;
let opus_codecs = [];
// iterate over supported codecs and pull out the codecs we want
for(let i = 0; i < codecs.length; i++)
{
   if(codecs[i].mimeType == "audio/opus")
   {
      opus_codecs .push(codecs[i]);
   }
}
// currently not all browsers support setCodecPreferences
if(tcvr.setCodecPreferences != undefined)
{
   tcvr.setCodecPreferences(opus_codecs);
}

从Pericror博客文章改编的代码，用于修复音频/视频编解码器。

- TheoretiCAL

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- fycth · Accepted Answer

一般来说是可以的。以下是如何在建立连接时优先选择Opus编解码器的示例。您应该从createAnswer或createOffer的回调函数中调用“preferOpus”。

var preferOpus = function(sdp) {
  var sdpLines = sdp.split('\r\n');

  for (var i = 0; i < sdpLines.length; i++) {
    if (sdpLines[i].search('m=audio') !== -1) {
      var mLineIndex = i;
      break;
    }
  }

  if (mLineIndex === null) return sdp;

  for (i = 0; i < sdpLines.length; i++) {
    if (sdpLines[i].search('opus/48000') !== -1) {
      var opusPayload = extractSdp(sdpLines[i], /:(\d+) opus\/48000/i);
      if (opusPayload) 
        sdpLines[mLineIndex] = setDefaultCodec(sdpLines[mLineIndex], opusPayload);
      break;
    }
  }

  sdpLines = removeCN(sdpLines, mLineIndex);

  sdp = sdpLines.join('\r\n');
  return sdp;
};

var extractSdp = function(sdpLine, pattern) {
  var result = sdpLine.match(pattern);
  return (result && result.length == 2)? result[1]: null;
};

var setDefaultCodec = function(mLine, payload) {
  var elements = mLine.split(' ');
  var newLine = new Array();
  var index = 0;
  for (var i = 0; i < elements.length; i++) {
    if (index === 3) newLine[index++] = payload;
    if (elements[i] !== payload) newLine[index++] = elements[i];
  }
  return newLine.join(' ');
};

var removeCN = function(sdpLines, mLineIndex) {
  var mLineElements = sdpLines[mLineIndex].split(' ');
  for (var i = sdpLines.length-1; i >= 0; i--) {
    var payload = extractSdp(sdpLines[i], /a=rtpmap:(\d+) CN\/\d+/i);
    if (payload) {
      var cnPos = mLineElements.indexOf(payload);
      if (cnPos !== -1) mLineElements.splice(cnPos, 1);
      sdpLines.splice(i, 1);
    }
  }
  sdpLines[mLineIndex] = mLineElements.join(' ');
  return sdpLines;
};