首页 > 技术

轻量级、可私有化部署!中科深智发布GenSense数智姜尚大模型,提供全流程、端到端的实时3D虚拟人服务

2023-05-16 17:49:31      西盟科技资讯   


  5月10日,中科深智在北京正式发布GenSense数智姜尚大模型,具备轻量级、可私有化部署等优势。基于GenSense数智姜尚大模型,其提出的“基于生成式AI提供全流程、端到端3D虚拟人服务”的战略正式达成,除了适用于虚拟直播、数字员工等成熟场景以外,还可进一步适用于对私有化部署需求更高的金融、医疗、政企等专业领域。

  深耕基于生成式AI的3D虚拟人赛道

  作为生成式AI虚拟人和3D AIGC技术领导者,中科深智此前已凭借自主研发的跨多模态深度学习算法——CLAP算法,通过持续的不同模态数据的关联和交叉训练,获得了优异的基于语音语义实时生成动作和表情能力。

  这些实时生成的动作和表情数据,通过中科深智自研的重定向算法介导,即可最终驱动虚拟人,从而完成生成式AI虚拟人的技术闭环。

  以生成式AI虚拟人技术为核心,中科深智打造了生成式虚拟人实时动作表情驱动业务中台Motionverse,可以使用音频源、文本源、传感器、语义、脚本等多模态输入方式,通过生成式AI技术方案,实现虚拟人的身体动作、面部表情以及口型的实时驱动,提供SDK和管理后台,解决产品和终端的虚拟人驱动问题。

  GenSense数智姜尚大模型赋予虚拟人实时互动能力

  本次发布会上,中科深智正式对外发布了GenSense数智姜尚大模型,并现场演示了其在数学运算、逻辑推理、日常对话等领域的互动表现。据中科深智CTO宋健介绍,GenSense数智姜尚是针对垂直领域、和虚拟人端到端应用而专门设计的大语言模型,可成为虚拟人的“大脑”,为其提供实时互动能力支撑。

  中科深智创始人兼CEO成维忠认为,ChatGPT对整个虚拟人市场的影响比想象中要大得多。这个组合让用户发现,虚拟人也是可以做实时交互的。不同于此前对于虚拟人的需求主要集中于“外在”表现,用户需要的是具有强大实时互动能力的虚拟人。

  而GenSense数智姜尚大模型将能填补以往数字人只能“依照”指令进行反馈、而无“自主”互动能力的缺陷,成为虚拟人真正意义上的“大脑”。而基于中科深智此前积累的跨多模态深度学习算法——CLAP算法,能够将虚拟人的“大脑”和形体表现进一步有机融合:由GenSense数智姜尚大模型对外界互动作出实时反馈、并直接驱动虚拟人进行生动地表达,复现一个有“智力”、有良好表现力和表达能力的3D虚拟人。

  可私有化部署,匹配专业级应用场景

  在与ChatGPT背后的GPT模型能力类似的前提下,中科深智GenSense数智姜尚大模型还具备轻量化、可私有化部署等特点。据宋健介绍,GenSense数智姜尚大模型更加轻巧便利,本场展示的分别是200亿和20亿两种参数量的大模型,占用资源相比前者极少,甚至只需要一块NVIDIA GeForce RTX 3090显卡便能良好运行。

  在现场,中科深智还重点将20亿参数量级版本的大模型,同ChatGPT及其他知名大厂的大模型进行了同场测试,来验证在参数量缩小的前提下效果如何,能否满足企业需要。从现场的对比表现来看,效果很不错,实际体验的差别并没有参数量级差别那么大。这也是国内商用大模型在轻量化领域内的首次尝试,有特别重要的商业意义。

  因此,GenSense数智姜尚大模型更加适合对数据安全性要求更高的金融、医疗、政企、能源等行业用户进行私有化部署应用。此类领域大多存在数据敏感性高等特点,而市场上大多数大模型产品由于对算力要求较高,难以进行私有化部署,导致无法满足此类客户的需求。

  而更加轻量化的GenSense数智姜尚大模型,不仅能够满足此类行业客户对于性能上的需求,同时可以进行私有化部署,可以更加深度地结合企业现有工作流,同时其训练方式简单,非常便于和现有数据进行集成。

  形成全流程、端到端的实时3D虚拟人服务能力

  在发布GenSense数智姜尚大模型后,中科深智已实现了包括自有大模型、自主核心算法、系列3D AIGC产品、生成式AI虚拟人解决方案的“全家桶”级服务能力。

  此前其基于自主核心算法、生成式AI虚拟人和Motionverse业务中台等底层技术,打造的超写实虚拟人生成系统Anyhuman,以及元宇宙电商百宝箱——自动播,支持电商全平台3D虚拟人主播、虚拟直播间、虚拟人客服、虚拟人直播助理等可视化RPA功能,可以大幅增强虚拟人电商直播交互及时性、播报趣味性,在电商直播领域服务客户3000+家,市占率超70%。

  而对于更广泛的行业用户,中科深智还提供了基于生成式AI技术的3D AIGC动画视频创作平台——自动画,是包括虚拟人捏脸、自动生成虚拟场景、自动生成物品等一站式3D动画创作平台。

  此外还有一款高效的虚拟人实时交互产品——云小七,支持自定义虚拟人形象和声音,通过生成式AI技术实时驱动虚拟人表情和动作,还会说不同的方言和口音。

  另外,通过发布会现场的演示环节可以看出,GenSense数智姜尚大模型和中科深智各项数字人技术及产品联动高效、流畅,展现了非常出色的实时互动效果和生动的表现、表达能力,非常有新意,也展现了中科深智在虚拟人方面的深厚积累。

  通过以上底层技术和产品,中科深智可以SaaS和PaaS模式、或提供垂直领域解决方案,赋能不同行业和场景,实现了基于生成式AI提供全流程、端到端3D虚拟人服务的战略目标。

  关于中科深智

  中科深智是一家专注于端到端生成式AI虚拟人技术的公司,从底层自研的大语言模型、动作和表情生成算法模型以及3D自动建模 ,到Motionverse虚拟人业务中台,再到3D AIGC产品和应用层。中科深智除了为生态合作伙伴提供AI虚拟人API外,还开发了一系列3D AIGC产品,包括超写实虚拟人生成系统Anyhuman、元宇宙电商和虚拟人直播工具百宝箱自动播、AI快速动画生成系统自动画、虚拟人实时交互和应答系统云小七等。

  中科深智成立于2016年,由中科大校友创建,曾获得北京市“专精特新”中小企业荣誉,拥有超过100项发明专利,与国际公司如英伟达、Unity、UE Metahuman合作,拥有数千家合作伙伴。中科深智的投资方包括英诺天使、金沙江创投、MYEG、晨山资本等知名投资机构。

相关阅读