2022-08-24 15:18:16 科技大世界
随着5G、云计算、大数据等新兴技术逐渐成熟，IoT产业发展驶入快车道，基于IoT平台的实时互动技术的重要性也日益凸显。
实时互动技术为IoT产业带来便捷性的同时，也同样带来了挑战。由于智能硬件终端对音视频SDK的功耗要求非常高，一旦视频通话的视频传输太占功耗，就会造成硬件的续航时间下降，发烫发热等。
对此，声网人工智能算法团队经过持续的技术钻研，正式推出了业内首个基于移动端实时处理的多倍超分算法，该算法的优势是成本低、功耗小，不需要部署 GPU 服务器，仅依靠移动端设备自身的 CPU、GPU 或 NPU 来实时超分，以较小的算法计算量实现视频分辨率的多倍超分，有效增强了视频的画质，并降低视频传输的成本。
声网多倍超分算法非常适用于IoT平台的实时互动场景，可以在不增加功耗的情况下实现硬件设备视频通话的画质增强，例如声网多倍超分可以将硬件设备端的720p视频以360p进行采集，并通过360p进行传输，在接收端将接收到的360p视频增强到720p，不仅保证了智能硬件终端的视频画质，还降低了SDK功耗，增加了硬件的续航时间。
声网多倍超分作为业内首个支持移动端实时处理的实时超分算法，拥有三大核心优势：
移动端最高支持3倍实时超分：声网多倍超分算法可以做到在移动端实时处理，支持2倍与 3倍超分，例如360p两倍超分720p，240p 3倍超分 720p，360p 3倍超分 1080p，并且经过测试，与行业其他超分算法相比，在同等计算量的条件下，声网的实时超分效果与画质表现更胜一筹。
覆盖机型广，中低端机型也能实时处理：声网多倍超分算法在移动端的机型覆盖非常广，iOS 可覆盖 iPhone6s 及以上机型，能够覆盖 95%以上的 iOS 视频用户;Android 覆盖所有中高端机以及部分低端机，能够覆盖 85%以上的安卓用户。
CPU 消耗、SDK 内存消耗低：声网多倍超分算法对移动端设备的性能消耗占比极低，有着出色的能耗表现，例如在移动端 360p 超分至 720p，超分的模型跑在设备的 GPU上，几乎不会增加 CPU 消耗，单帧处理耗时平均在 10ms 以内。在 1 对 1 视频通话场景中，360p/15fps 的视频开启 2 倍或 3 倍超分后，SDK 的内存消耗只增加 10%左右。
声网凭借移动端最高支持3倍实时超分、覆盖机型广，中低端机型也能实时处理、CPU 消耗、SDK 内存消耗低三大优势，声网在实际场景应用中也游刃有余。除了在IOT实时互动场景中的应用外，声网多倍超分算法还在带宽受限的实时互动场景、视频首帧出图清晰等场景应用中发挥着独有的优势。
不得不承认，随着移动端对视频画质要求的不断增长，未来基于移动端的超分技术的应用也将越来越广。
