声网RTE 2023 IoT论坛：RTC+IoT 构建万物互联互动底座

　　1994年，滚石乐队首次决定对他们的演唱会进行网络直播，在滚石登场前的半小时，处在不同城市的Severe Tire Damage(STD)乐队似乎是作为暖场嘉宾出现的，他们表演了20分钟，并且完成了很好的直播音画效果，自此被记录为世界上第一支现场音乐流，有关实时音视频技术的迭代与商业应用自此开启。

　　如今随着物联网带来巨大产业机遇，实时音视频在解决“人与硬件设备”交流沟通方面同样持续获得成果，不同种类的音视频智能硬件渗透到了人们生活的方方面面，并且它们仍在更新迭代，时刻刷新智能时代的产业面貌。

　　10月24-25日，RTE2023第九届实时互联网大会在北京隆重召开，其中25日上午举行的IoT专场以「RTC+IoT构建万物互联互动底座」为主题，邀请了中国信通院汽车云工作组组长马龙飞、声网IoT行业产品总监冯晓东、赋之大产品线与业务负责人夏大伟、移远通信云产品部高级产品经理方飞、声网平行操控技术负责人张乐陶、低速无人驾驶联盟秘书长李进科、驭势战略产品部负责人蔡尧、九号机器人自动驾驶与AI产品线负责人胡哲华等行业大咖出席并参与分享，分享主题涵盖消费端智能家居、产业端平行操控两大领域，全面展现RTC与IoT融合的价值与魅力。

　　智能家居下半场 进入真互动时代

　　随着各类型的音视频硬件设备充斥生活，声网IoT行业产品总监冯晓东表示智能硬件已进入真互动时代。在“人与物”的互动形式基础上，人们对互动体验的要求变得更加丰富、更加细致，比如期待能随时随地、远距离、多角度、多人完成互动;比如希望感受更低的延迟、更高清的画面、更高保真/立体的声音。

　　在用户需求升级的推动下，智能家居场景的设备也呈现出普遍的进化方向，即通过增加摄像头和屏幕来加强实时互动，最典型的是带猫眼和屏幕的智能门锁广受欢迎，其他品类如智能手表、智能音箱、智能宠物喂食器等也都有增加摄像头或屏幕的新品推向市场。

　　冯晓东介绍，过去硬件本身的性能可能决定了用户体验的上限，但声网的IoT解决方案通过软件算法打破硬件上限，在不增加硬件成本的情况下，通过客户端的视频增强方式，基于深度学习的自研超分算法，可以支持1.5倍、2倍、3倍的移动端实时超分，帮助硬件从360P增加到720P，提升画质清晰度。

　　不仅如此，声网的多项音视频黑科技不断刷新用户互动体验天花板，有专为实时互动打造的自研高清语音引擎、视频增强策略、实时美声算法、AI降噪和回声消除能力等技术，让用户拥有更高保真、更趣味、更高清画质的音视频体验。

　　在门铃门锁场景，声网联合信通院泰尔实验室联合发布门铃门锁新标准，为品牌厂商提供了从定义体验指标到测试体验指标的参考依据。

　　此外，声网的IoT解决方案拥有显著的跨平台互联互通能力，包括对Linux、Android、Harmony、FreeRTOS、AliOS、LiteOS等各类型操作系统都完成了深度适配，以及支持与Native、Web、小程序、Amazon Alexa、Google Assistant的互通。

　　用实时互动硬件设备 增强家庭情感连接

　　赋之科技选择切入家庭机器人赛道也是因为时下技术、需求和场景的推动。

　　在这之中，由于全球范围内宠物数量上升及整体消费能力升级，赋之科技首先推出宠物守护机器人，目前凭EBO Air、EBO SE两款成熟产品在全球获得35万用户，其中近80% 的用户为宠物主，剩余部分用户使用该类产品满足轻安防需求。

　　另外，赋之科技也计划把家庭机器人的服务场景扩大到所有成员，因此推出了EBO X 综合型家庭服务机器人，用户包括老人、儿童、宠物等。

　　EBO X的功能包括三大类：1)安全守护，支持老人跌倒提醒、婴儿/儿童哭声&呼救声提醒、特定区域闯入提醒、定点&移动巡航安防;2)温暖陪伴，支持远程双向实时通讯、多人共享登录、私人智能助理、宠物陪玩;3)娱乐酷玩，支持哈曼音质、丰富灯效、海量互联网内容服务等。赋之大产品线与业务负责人夏大伟表示：“在涉及产品音视频通话能力方面，声网为赋之科技提供了重要的经验分享和技术支撑。”

　　IoT+RTC 完整解决方案将推动产业升级

　　在智能硬件诞生的过程中，为设备获取通信能力都是必要的。此次大会上，移远通信云产品部高级产品经理方飞介绍了移远通信智能模组产品已经渗透到大多数智能硬件和智能设备中，并同时为客户提供开发者中心(IoTHub)、APP、SaaS垂直行业应用解决方案等一系列软件服务，全方位帮助智能硬件快速升级。

　　此外，方飞以移远通信低功耗可视门锁解决方案为例，表示智能硬件的完整功能构建需要IoT技术和RTC技术的互相融合。方飞表示，该门锁解决方案支持可视对讲、远程开门、异常告警、低功耗、设备分享、设备管理、设备OTA、云存储等，既需要移远模组及移远IoT基座能力，也需要声网专业的全场景实时音视频互动能力。

　　应用在家居安防、户外监控、在岗门卫、商超看店、梯控对讲等其他场景，IoT结合RTC都将为智能硬件创造新的功能和体验，IoT+RTC的融合范围实则非常广泛。

　　方飞形容：“如果我们把整个数字世界比作一个人，IoT是属于人的感官和认知，它去感知并连接物理世界;RTC就是关键环节中的血脉和神经，通过实时高密度的媒体数据来连接人和物理世界。”

　　RTC结合智能网联汽车 以标准规范产业发展

　　除了智能家居场景，本场大会的另一主题场景是平行操控。在提及与“车”相关的话题时，中国信通院汽车云工作组组长马龙飞表示汽车工业正在经历新四化变革(电气化、智能化、网联化、共享化)，随着自动驾驶技术的不断发展以及云计算、5G等通信技术的广泛应用，智能网联汽车已经成为汽车行业的重要发展趋势。随着智能网联汽车行业的快速发展，汽车云上远程运维能力的需求日益凸显，各种远程运维平台如雨后春笋般涌现，但由于行业内缺乏统一的标准，导致行业内大部分平台在技术、能力上存在较大差异，进而各大车厂远程运维能力参差不齐，其安全性和可靠性也难以保障。

　　在此背景下，由信通院牵头，联合头部整车厂、软件开发商、解决方案商、学术产业共同参与的《智能网联汽车远程运维能力总体要求》公开面世，《要求》分为功能性和保障性两大部分，其中功能性的包括车辆监测、远程排障远程干能预三项能力，保障性的包括平台管理和安全管理两项能力。

　　功能性能力要求主要关注远程运维平台直接服务于终端用户的能力，包括让用户“随时可看”的车辆监测能力、让用户在“运营结束后可管”的远程排障能力和在“运营过程中可控”的远程干预能力。

　　保障性能力要求则主要关注如何保障上述功能性能力可以在终端用户的基础设施中被安全地和可靠地使用，包括支撑运维服务运转的平台基础系统能力，保障运维功能模块可靠高效运行的平台管理能力，以及确保运维过程和数据安全的安全管理能力。

　　马龙飞进一步表示，声网在远程驾驶车辆的功能和分级指标等方面为《要求》做出了贡献，主要有：1)通过回传视频查看现场实时画面，并通过信令通道对车辆进行远程控制，以实现远程驾驶车辆的功能;2)建立3级指标，根据在弱网、延迟、卡顿率、画质、车速、指令延时等不同范围，提供标准支持。

　　超低延时助力平行操控极致体验

　　在现场，声网平行操控技术负责人张乐陶从低延时的技术层面，全方面讲述了平行操控的意义、应用场景与创新方案。

　　平行操控，指远程操控，通过超低延时视频传输技术结合实时信令技术，远程操控远端的无人车或者机械设备,使用户突破距离限制，可以操作几百甚至上千公里外的设备。

　　目前，平行操控的应用场景集中在机场、港口、物流配送等应急接管场景;矿区、化工等高危/恶劣环境场景;以及云赛车、无人机、机器人操控等远程服务场景。运维形式基本是机器替代人在当时场景下高可靠、高稳定地完成部分或全部作业。

　　声网平行操控技术负责人张乐陶介绍，网络的差异性和多样化给远程驾驶和操控带了很大的挑战，为保证车辆的安全运行，业务场景对音视频的延时需求较高。对此声网的平行操控解决方案给出了端到端的全链路延时优化方案，涵盖了设备端的深度适配、底层传输大网、操控端多端支持等全套解决方案。

　　在设备端，深度适配了Nvidia Jetson生态，提供从采集、编码到传输全套功能，支持车规级GMSL摄像头的采集，支持超低延时信令。在操控端，基于Native深度优化，提供主流终端平台的SDK。而依靠声网自研的SD-RTN传输大网，能实现全球端到端延时中位数76ms，能高质量保障远程操控过程中车辆画面的低延时传输。此外，该解决方案提供云端录制服务，支持记录用户每次远程遥控的全过程并提供回看。在部署形式上，方案支持公网和私有化部署两种类型。

　　“声网的平行操控方案，在大量实际常规场景下的性能表现为：在4G路测弱网环境，视频端到端延时低至100ms，95分位数为180ms，充分满足脱困场景下延时不能高于200毫秒的行业要求。”张乐陶介绍。

　　圆桌会议：平行操控如何助力无人车体验升级?

　　大会最后的圆桌环节由低速无人驾驶联盟秘书长李进科担任主持，中国信通信院汽车云工作组组长马龙飞、声网IoT行业产品总监冯晓东、驭势战略产品部负责人蔡尧、九号机器人自动驾驶与AI产品线负责人胡哲华作为嘉宾分享了一系列前沿观点和实践经验。

　　冯晓东：“从我们的角度来看，目前无人车体验上最关注两点要求，一是尽可能低时延获取实时画面，二是在弱网情况下也能做到实时传输。”

　　蔡尧：“在技术商业化过程中，除了平行驾驶技术和网络条件，实际可能还会引入更多策略。比如在极端网络条件下，系统有意识选择特定的摄像头进行监控，关闭其他短时非必要的视频流来减少带宽;又比如在车端增加基础的感知和边缘计算能力，确保在网络失效情况下也能保证基础安全。”

　　马龙飞：“无人驾驶场景的落地首先是涉及到数据采集，目前行业内标准化的动作和政策指导还不是特别完备，还需要做更好的分级规范。”

　　胡哲华：“无人车一定需要根据当地环境做很多本地化的工作，无论是气候温度、网络基础设施条件、社会稳定状况等，都可能会对无人车的运行效果产生影响。”