2025-06-18 14:05:01 大众网
由想法流打造的“造梦次元”,是由多模态AI驱动的新一代内容平台,得益于商汤大装置AIGC解决方案从算力到模型的端到端支持,通过算力和模型、模型和应用之间的紧密协同,既创造了最佳的用户体验,又获得了最大化的成本效益,如今已成为一款日均活跃互动时间超过100分钟的现象级应用。
50%成本节省、3~5倍推理时延降低、100%的QPS(每秒请求数)提升!
想法流合伙人、Studio负责人张鸿表示:“商汤大装置展现出三重核心优势:一是算力与模型的深度协同,实现最高效的资源利用;二是针对文本、语音、图像等不同模态的协同,构建了流畅自然的交互体验;三是支持开源模型的完善生态,提供了多样化模型选择。这种多维度协同优势助力我们完成了‘算力、模型、应用’三位一体的全链条优化,推动技术效能向商业价值的高效转化。”
日均6000万次调用、千亿token消耗,带来三大「生存挑战」
基于对用户需求的洞察,想法流通过技术创新直击AI互动应用普遍存在的“沉浸感不足”和“门槛过高”两大核心问题。例如,通过提供文字、语音、文图结合的多模态交互,让用户与 AI 的互动体验趋近真实人际交流。此外,想法流还提供丰富的创作工具,用户只需套用相关模板,就可快速搭建完整互动内容,有效降低了创作门槛。
造梦次元每日平均模型调用量高达6000多万次,一天消耗的token达千亿级别。在如此庞大的规模下,任何卡顿、宕机、出错都会导致严重的用户流失;任何因模型能力不足造成的体验不佳,都会影响产品口碑;任何微小的资源闲置,都会累计成巨大的成本开销。摆在想法流面前的“生存挑战”,主要体现在三个层面:
2倍峰谷差的算力弹性战:造梦次元的平台流量有着鲜明的潮汐特征,周末和节假日高峰时段的流量可达低谷时期2倍,对基础设施算力资源有很强的弹性伸缩需求。
推理时延的2秒生死线:虚拟角色互动场景对时延极为敏感,要保证基本流畅的交互体验,模型推理时延需稳定控制在2秒以内。
模型迭代的稳定性挑战:想法流采用了很多开源模型,需要跟随社区节奏进行频繁升级甚至替换。需求多、更新频,如何保证业务稳定运行也至关重要。
高峰秒级响应不卡顿、低谷资源释放不浪费
商汤大装置作为“最懂大模型的AI基础设施”,为想法流提供了从算力到模型的全链路一体化AIGC整体解决方案,一站式支撑想法流的产品研发及运营需求,做到“高峰秒级响应不卡顿、低谷资源释放不浪费”。
秒级弹性伸缩:成本暴降50%,流量潮汐从容应对
面对流量峰谷波动挑战,商汤大装置通过实时监测、统一调度、智能扩缩容的组合策略,实现秒级弹性伸缩,为想法流的整体运营成本降低了50%。其中,智能化统一调度结合监测系统实时抓取的业务指标,根据推理业务扩缩容规则自动分配资源,实现算力与流量的精准匹配;并结合定时扩缩容与按需扩缩容的双重策略,进一步提升弹性伸缩的灵活性。
全链路优化:5倍推理时延降低、100%QPS提升
想法流将“人均互动次数”作为判断模型体验的综合指标,推理时延和QPS正是影响该指标的关键因素。商汤大装置通过硬件资源、软件框架、算法模型等多维度协同优化,使推理时延降低3~5倍。
另外,在秒级弹性伸缩的基础上,商汤大装置还通过全链路量化加速、流量分级与降级等专项优化,可在高峰期优先保障高价值业务的响应速度,最终将QPS提升100%,以更快的响应速度提升用户体验。
商汤日日新多模型组合,“人均互动次数”翻倍提升
“人均互动次数”另一个影响因素在于模型能力,商汤以商量语言大模型、商量拟人对话模型、文生图模型秒画等多模型组合,为造梦次元用户带来“更懂人心”的交互体验。
其中,商量语言大模型以精准的上下文语义分析、意图推理及对人类情感的细致感知与回应,助力造梦次元以拟人化思维打造沉浸式交流体验。同时,依托商量拟人对话模型领先的角色对话、人设、及剧情推动能力,帮助想法流用户打造IP角色,为用户提供高拟真对话体验。此外,创作者可使用秒画的普通生图、CN生图、换脸、扩图等功能,进行各类虚拟角色设计。
基于基础设施的系统优化和双方的模型共创,造梦次元的“人均互动次数”从初期 20 轮提升至 40~50 轮,用户粘性实现跨越式增长。
可靠全面稳定性保障:模型随时升,业务不断点
针对想法流高频次的模型切换,以及开源模型频繁的版本升级给业务运营带来的稳定性挑战,商汤大装置针对推理阶段构建了涵盖模型灰度发布、滚动升级与智能运维的全面稳定性保障体系,不仅为模型快速迭代提供了有效支撑,也确保了在线业务的稳定运行。
日均活跃超100分钟,构建新型内容消费生态
短短两年时间,“造梦次元”已发展成为拥有数百个万粉级别IP角色,日均活跃互动时间超过100分钟的应用平台,是大量年轻用户娱乐、情感表达和学习陪练的重要伙伴。未来,双方还将聚焦多模态模型能力深化合作,给用户带来更新奇、更有趣的AI互动之旅。
商汤科技联合创始人、大装置事业群总裁杨帆认为:“商汤大装置与想法流的合作,是对商汤科技‘大装置-大模型-应用’三位一体战略价值的最佳诠释。基于应用场景特点开展模型能力共创,训练高度贴合业务需求的垂类模型,并针对模型调用需求提供最优的基础设施支持,给予灵活的弹性伸缩、极低的推理时延和稳定性保障,最终实现降本增效和用户满意度的提升。大模型算法与基础设施的联合优化,不仅是驱动生成式AI发展的核心动力,也是实现最大化商业价值的最优路径。”