vidyo的混音混频是怎么做的?与传统的混音混频有什么区别?

那么vidyo 视频会议的核心是混音混频。就是假如我们物理上是在不同地方,但是我们要达到同时化,要把声音混音。我要看多人视频就要混频。任何一个视频会议解决方案都得要解决混音混频。那么当时大家都是以中心架构MCU这种模式,我在中心放一个很强的服务器来处理混音混频。然后在客户端只是呈现。那么这种架构呢,首先对中心节点要求比较高,因为你要进行编解码。编解码实际是特别消耗资源的。这也就是说传统的MCU为什么必须用dsp芯片的一个主要原因。

但是这个编解码也带来了一个问题啊,视频会议的压缩是有损压缩,不能还原。所以视频会议的图像处理是有损的,视频进行一次这个压缩处理,质量会损失一次。然后他的算法比较复杂,也会造成了延迟,这就是我们说的二百毫秒的延迟。所以说MCU这种架构,它带来了一个问题是什么?就是以前会议量不是很大的,简单的还能支持。这种中心架构呢,只能够支持两级。大型会议MCU容量肯定有限的,怎么办?他就通过多个设备之间的节点接入。但是经过一次设备延迟一二百毫秒,完全不能适用于大型会议。

那中心不行,那肯定是在客户端去做混音混频。所以这就出了一种非MC U架构解决方案,这种解决方案就是中心是转发不进行编写。转发给客户端,客户端去解码。一种方式是不管客户端要什么我直接发送最高,最清晰的包。另一种是,客户端要多大的包,比如720p,那中心就做720p的包发过去。那这种非MC U架构解决方案的适应性太差。对终端的要求太高。实践上这就是对传统视频解决方案的一个优化。

实际上SVC可扩展编码,编了大图,这个大图里面是有几个小图中图互相关联组成的组成。那么当你需要多个视频流的时候,你需要看一个大图,别人需要看小图的时候,我只需要编一路大图,因为我大图里面包含了小图,和刚才那个多路是不一样的,它是一路。但是它里面是分层的,分为高可靠性路与低可靠性路。那么它这种解决了传统视频的中心全编全解带来的质量损失,延迟。打破了适应性,扩展性的局限。同时它对终端来说,只需要一路网络与流量,更高品质。路由规模大,网络适应性强。那么这就是SVC非常主要的特点。


2020-07-30
首页    问答    vidyo技术问题    vidyo的混音混频是怎么做的?与传统的混音混频有什么区别?

NEWS CENTER

新闻中心