首页 > 技术

声网实时高清·超级画质 | 视频要高清 美颜也要养眼

2023-08-21 11:10:53      福建都市网   


  美颜是当今短视频、视频社交、直播等日常生活中经常使用到的一项技术,好的美颜可以给视频中自己的外貌、肤色、妆容等加分,进而带来更好的视觉体验。而然,美颜并不是万能的,我们平时看直播时,有的平台在主播开启美颜后,反倒出现了画面泛白泛红、屏幕有条纹刺眼闪烁、细节模糊等情况,导致美感消失,或者有的平台美颜参数配置不合适,主播看起来像整容失败。这种情况下,如果忽视了美颜和 RTC 集成过程的细节打磨,也将导致视频无法呈现出最佳画质,视觉观看体验大打折扣。长此以往,会导致主播的人气下降,平台的流水下滑等。

  声网近期发布的“实时高清·超级画质”解决方案,是面向实时视频场景提供的一套以提升视频画质和使用体验为核心的解决方案,包含至臻画质、美颜悦色、丝滑流畅、低码高清、PC 开播、玩法升级、数据监测、使用无忧八大礼包,其中“美颜悦色”就具备 RTC+美颜最佳实践、

  高精准五官贴合、高稳定点位追踪、美颜场景无死角覆盖等一系列能力,不仅可以给主播带来更美、更自然的美颜效果,还能帮助企业降低开发门槛,快速集成上线美颜。

  RTC+美颜最佳实践 杜绝美颜接入后黑屏、卡顿

  企业的直播/视频平台在接入美颜时,选择最佳的集成方式非常重要,美颜效果再好,接入方式出现问题,也是白忙活。声网作为实时互动云行业的开创者,积累了丰富的实时音视频集成美颜 SDK 的经验,并总结出实时音视频接入各家美颜过程的最佳实践方法。由于每家厂商集成方式不同,集成方式复杂,需要在不同视频格式来回切换和调用,容易出现接入处理方式错误,导致黑屏、卡顿、发烫等一系列问题。

  声网在不断的实践中总结出了多个最优技术路径,例如:

  ·告别黑屏:声网采用了RTC SDK直接采集,动态根据采集数据类型使用最佳的美颜处理方式,纹理输入处理或者I420输入处理,强大的兼容性大大降低黑屏概率。

  ·保证流畅:声网使用了多种处理方式组合,单纹理处理、I420处理和双输入处理,以及做了异步处理优化耗时,使美颜处理耗时降到最低,实现帧率足帧且稳定流畅,海外低端机也可以轻松享受高清画质。

  ·避免发烫:声网选择将更多部分美颜处理放在 GPU 处理,减少 CPU 占用,避免手机发烫,主播长时间开播也不用发愁,助力平台进一步提升主播活跃度和粘性。

  此外,在美颜最佳实践的加持之下,毛发、睫毛等细节清晰度上都实现了高保真还原;在色彩表现上,最大程度还原真实色彩的同时,实现了主播人像更白的效果,更符合亚洲人审美,同时满足国内和海外的审美需求;在帮助主播更高清地呈现主播人美同时,还兼顾了背景物品细节的细节真实还原,不仅适用于秀场、视频交友场景,还适用于电商场景。

  场景化美颜 API 显著降低开发门槛

  为了帮助开发者与企业有效降低开发成本,快速上线美颜功能,声网提供了美颜场景化API解决方案降低集成工作量与代码量。在集成方面,减少客户90%的集成工作量,原本需要7-14天的开发时间,优化后只需1-3小时完成。

  在代码量方面,原本需要的300+ 行代码,减少至10行以内,这其中声网解决了多个核心技术难点:不同美颜厂商之间的无脑切换、多种视频帧格式间的自动兼容、美颜 SDK 与 RTC 的最佳实践、预设的美颜参数最佳配置和镜像的通用配置。

  场景化美颜API 可以适配各种场景,已经包含秀场单主播、秀场PK、秀场连麦、秀场多人连屏、电商直播等,在各场景下均实现了低消耗、高稳定性的表现。

  高精准五官贴合、高稳定点位追踪

  美颜是对图像中人脸进行美化的综合技术,美颜的首要任务是准确定位图像中的人脸以及人脸的五官,然后根据人脸的特征,进行个性化的美化。美颜依赖的基础技术包括人脸检测、人脸关键点检测。人脸检测,是从图像中找到人脸的位置并采用矩形框的方式将人脸标示出来。由于人脸检测提供的信息比较粗糙,要想获取更精细、详细的人脸信息,比如,人脸的脸型、嘴巴、眼睛、鼻子的位置和几何形状,则需要进行人脸关键点检测。

  人脸关键点检测,也称为人脸关键点定位或者人脸对齐,是在人脸检测获取到人脸在图像中具体位置的基础上,进一步定位人脸五官的位置。这些人脸五官位置信息,是一些具有明确语议定义的离散点,因此称为人脸关键点。通常,人脸关键点定义在人脸的脸颊、嘴巴、眼睛、鼻子和眉毛区域,将人脸关键点连接起来,能够描绘人脸的几何特征。利用人脸关键点,可以定位嘴巴、眼睛、鼻子、眉毛的位置,以及推断脸型、嘴巴、眼睛的几何形态和头部的姿态。

  而声网“超级画质”的美颜能力可以实现高精准度的五官贴合,保持人脸的五官和轮廓各部位点位始终精准,并且无论是静止还是运动场景,均能保持点位始终稳定,拒绝抖动与延迟,最终实现在不同的表情、姿态、光照和遮挡条件下,准确、快速、稳定地定位人脸关键点,达到最佳的美颜效果。

  多场景、多人种最佳美颜效果

  在保证对人脸关键点的精准识别后,声网还能实现多场景、多人种的最佳美颜效果。一方面,声网可对复杂场景精细化调优,例如明暗光、大表情、大角度、大遮挡、小脸、运动变化等场景,均能保证最优美颜效果,同时在美颜场景上也实现无死角全方位覆盖。

  另一方面,针对多人种人脸特征,声网也能精准识别,并保证不同人种的最佳美颜效果,对于企业而言,可以将美颜功能更灵活的适配到出海APP中。

  如您想进一步声网的美颜方案以及“实时高清·超级画质”解决方案,可在声网微信公众号找到这篇文章,并点击最下方阅读原文,进一步咨询。

相关阅读