最新公告
  • 新注册用户请前往个人中心绑定邮箱以便接收相关凭证邮件!!!点击前往个人中心
  • WebRTC,音视频会议底层支撑技术解读

    WebRTC 是 Web Real-Time Communication 的缩写,是谷歌在 2011 年推出的一种技术,可以实现跨网络和本地浏览器的实时音频、视频和数据传输。

    它的使命是为浏览器、移动平台和物联网设备开发构建丰富的、高质量的RTC应用,并允许它们都通过一套通用的协议进行通信。

    WebRTC允许应用使用P2P通信。WebRTC是一个广泛的话题,在本文中,我们将重点讨以下问题。

     

    1. 为什么Web RTC 如此受欢迎?
    2. 在P2P连接过程中会发生什么
      1. 信号传递
      2. NATs和ICE
      3. STUN & TURN服务器
      4. VP9视频编解码器
    3. WebRTC APIs
    4. 安全

    为什么Web RTC 如此受欢迎?

     

    1. 开放源代码 它为浏览器提供了端到端的通信,并且很容易使用。
    2. 速度提升 不需要通过服务器进行路由,它减少了延迟和带宽消耗。直接通信提高了数据传输&文件共享的速度。
    3. 不需要第三方应用程序 不需要额外的软件、插件或服务器持续参与(仅在初始的时候需要)。可以轻松嵌入到任何网站中,就可以连接互联网上的Peer。
    4. 易于实现 使用P2P(点对点)连接更加容易。所有的功能都可以通过客户端完成。开发者只需要下载一个与WebRTC兼容的浏览器。
    5. 兼容性 支持大多数流行的浏览器。Microsoft Edge、Google Chrome、Mozilla Firefox、Safari、Safari、Opera、Vivaldi。支持Android、Chrome OS、Firefox OS、黑莓10、iOS、Tizen。
    6. 提供跨多种浏览器的安全连接 所有的WebRTC组件都必须进行加密。由于它不是一个插件,所以它运行在浏览器的沙盒内,不需要创建一个新的进程,这样就不会有任何恶意软件进入用户操作系统。无需跟踪更新。它会随着浏览器版本的自动更新。

    在P2P连接期间会发生什么?

     

     

     

    要连接两个浏览器,Web RTC需要执行五个步骤来建立P2P连接。

     

    1. 信号处理,以去除音频或视频中的环境噪声。
    2. 编解码器处理,以压缩和解压音频或视频。
    3. 通过防火墙、(NAT)和中继器建立从一个Peer 到另一个Peer的路由,以创建一个ICE(交互式链接建立)。
    4. 用户数据在进行连接传输前都会进行加密。
    5. 管理带宽,给每个Peer的带宽不同

    信号传递

     

    浏览器中的P2P连接由服务器建立,以确保所有Peer同意建立会话。

    Peer之间共享会话密钥、错误信息、媒体元数据、编解码器、带宽、公共IP地址和端口等信息以创建连接。

    服务器向两个Peer发出信号,以确定使用什么媒体格式以及每个Peer要向对方发送什么。

    网络地址转换(NAT)和ICE

     

    NATs将家庭路由器等设备上的私有IP地址转换为公网IP地址。防火墙和NATs通过阻止特定的协议或端口来减慢这一过程。WebRTC使用的解决方案是ICE框架。

    ICE通过并行尝试所有连接并选择最有效的路径,在互联网上建立P2P连接。有两种类型的连接可选 STUN & TURN

     

    STUN服务器

     

    它首先连接到STUN(Session Traversal Utilities for NAT)服务器,获得直接连接。

    STUN服务器为请求者提供了公网IP地址,以便与他人进行通信。其目的是帮助请求者回答 “我的IP地址是啥 “这个问题。

    STUN服务器如何工作

     

    要建立与其他Peer的连接,需要终端知道自己的公网IP才能与他人共享。

     

    1. 当一个Peer(Calvin)在NAT/防火墙后面时,它只能识别它的私有IP地址,而另一个Peer(Elana)由于防火墙的安全性,无法连接到本地IP。
    2. 这个Peer会向STUN服务器请求,获取它的公网IP地址和一种可用NAT类型。
    3. 另一个Peer(Elana)可以使用STUN服务器给定的公网IP地址尝试进行连接。
    4. 如果成功,数据将通过点对点网络传输,而不需要第三方或其他服务器。
    5. 为了安全起见,所有STUN服务器将被丢弃并等待下一次查询。

    限制 – 对称NAT

    但是,上述情况有时可能会失败,IP地址和端口会发生变化。

    这种情况称为 “对称NAT”,STUN服务器的公网IP地址没有足够的能力在这里建立连接,因为端口也需要转换。

    有些路由器使用对称NAT,是为了使终端设备更加安全,或者说避免很多陌生人连到你的设备上。对称NAT不仅可以将IP地址从私有地址转换成公共地址,还可以转换端口。

    换句话说,路由器只会接受用户已经有过的连接。因此,另一种确保两个Peer之间连接的解决方案是通过TURN服务器。

     

    为什么STUN服务器如此有用

     

    作为一种协议,STUN具有超快、轻量的特点。它可以在很短的时间内将数据直接传送给对方。STUN有利于加快连接速度,更快地获取结果。

    当用户使用LAN局域网传输数据时,场景类似,比使用Wi-Fi传输更快。最重要的是,可以直接在两个Peer之间传输数据。

    TURN 服务器

     

    TURN(Traversal Using Relays around NAT)服务器作为中继服务器,以防P2P连接中断。当STUN服务器用于建立连接时,TURN服务器在整个连接过程中保持活跃。

    TURN服务器在WebRTC Peer之间不断中继数据。这就是为什么用 “中继 “一词来定义TURN。

    TURN 服务器如何工作

    这个中继服务器是在STUN服务器出现故障时用来中继流量的,同时也具有STUN的功能。

    TURN服务器是一个内置传输功能的STUN服务器。更具体地说,TURN是用来中继Peer之间的音视频/数据流,而不是信令数据。

     

    • 按照上文STUN服务器的步骤运行
    • 如果STUN失败,终端用户会与TURN服务器建立连接,通知所有Peer向服务器发送数据,服务器负责向第一个终端用户传输数据。

    为什么总是先使用STUN服务器,主要原因是TURN服务器成本太高,如果在线传输高清视频的话,会消耗大量带宽。

     

    VP9视频编解码器

     

    为什么很多人开始使用WebRTC,其中一个主要原因就是因为视频。随着视频直播越来越成为主流,视频质量的要求也越来越高,这就要求数据传输的速度要快,或者数据包的大小要小,才能方便传输速度高。

    VP9视频编解码器用于对音频或视频进行压缩和解压。音视频数据压缩后大大减小体积,因此VP9可以帮助流媒体视频更快传输。Safari 12.1(通过支持VP8)可以与其他Peer进行在线实时视频。

    VP9是在VP8的基础上改进而来的,是谷歌旗下的由On2科技公司创建的视频压缩格式。主要功能是隐藏丢包和清理嘈杂的图像,以及多平台的采集和播放功能。

    通过VP9,用户可以使用WebRTC传输720p视频,而不会出现丢包或延迟。同时,它还可以在同样的带宽下支持1080p视频通话,并帮助优化连接和数据使用,避免带宽成本过于高昂。

    JS APIs

     

    有三个主要的Javascript API可以处理音频捕获、视频会议和数据传输。

     

    MediaStream

     

    使用用户的摄像头和麦克风来获取和传输音频和视频。使用这个API可以让你获得麦克风和网络摄像头等设备的访问权限

    当开发人员将WebRTC集成到他们的网站中时,他们可以对他们想要的音频和视频流的参数进行设置,比如帧率、视频帧的大小、分辨率等。

    这个API是作为HTML 5的一部分提供的,而其他两个API是专门为WebRTC提供的。

    RTCPeerConnection

     

    将采集到的音视频流实时发送至另一个WebRTC Peer。使用该API,用户可以将getUserMedia捕获的音频和视频传输给其他Peer。

    该API具有连接到远程Peer,维护和监控连接,并在完成后关闭连接等功能。

     

    RTCDataChannel

     

    传输任意数据。每个数据通道都与一个RTCPeerConnection相关联。内置安全(DTLS)和拥塞控制。

     

    安全

     

    在实时通信的数据传输过程中可能会产生很多安全风险。因此,加密是WebRTC的强制性功能,并在所有组件上强制执行。

    WebRTC使用两种标准加密协议。

     

    数据报传输层安全协议(DTLS)

    • 一种建立在浏览器中的标准化协议。它用于加密数据流。它基于传输层协议(TLP)。
    • 保留了传输语义,DTLS使用用户数据协议(UDP)。
    • 它是安全套接字层(SSL)的扩展;任何SSL协议都可以用来保护WebRTC数据的安全,允许端到端加密。

    安全实时传输协议(SRTP)

     

    • 用于加密媒体流。
    • 它是实时传输协议(RTP)的扩展,RTP没有任何内置的安全机制。
    • 在RTP的基础上增加了保护、完整性检查和消息认证。
    • 缺点是 虽然它为RTP数据包提供了加密,但它并没有对报头进行加密。

    确保2个Peer之间连接安全的步骤

     

    1. 启动信令过程在两个Peer之间交换元数据。
    2. 执行ICE检查,ICE在双方之间建立通道。
    3. 进行DTLS握手。如果有多媒体传输,SRTP使用DTLS握手步骤中导出的密钥。
    4. 所有Peer都有安全通道。
    5. Peer之间交换密钥。

    使用WebRTC的应用

     

    • Google Meet/ Google Hangout
    • Facebook Messenger
    • Discord
    • Amazon Chime

    更多信息,你可以查看这个链接[1],了解使用WebRTC的应用程序列表。

    文中链接:

     

    [1] http://www.webrtcworld.com/webrtc-list.aspx

     

    原文链接 

    https://medium.com/swlh/webrtc-the-technology-that-powers-google-meet-hangout-facebook-messenger-and-discord-cb926973d786

    本站所有文章均由网友分享,仅用于参考学习用,请勿直接转载,如有侵权,请联系网站客服删除相关文章。若由于商用引起版权纠纷,一切责任均由使用者承担
    极客文库 » WebRTC,音视频会议底层支撑技术解读

    常见问题FAQ

    如果资源链接失效了怎么办?
    本站用户分享的所有资源都有自动备份机制,如果资源链接失效,请联系本站客服QQ:2580505920更新资源地址。
    如果用户分享的资源与描述不符怎么办?
    可以联系客服QQ:2580505920,如果要求合理可以安排退款或者退赞助积分。
    如何分享个人资源获取赞助积分或其他奖励?
    本站用户可以分享自己的资源,但是必须保证资源没有侵权行为。点击个人中心,根据操作填写并上传即可。资源所获收益完全归属上传者,每周可申请提现一次。
    如果您发现了本资源有侵权行为怎么办?
    及时联系客服QQ:2580505920,核实予以删除。

    参与讨论

    • 125会员总数(位)
    • 3725资源总数(个)
    • 5本周发布(个)
    • 0 今日发布(个)
    • 295稳定运行(天)

    欢迎加入「极客文库」,成为原创作者从这里开始!

    立即加入 了解更多
    成为赞助用户享有更多特权立即升级