多项技术推动生成式AI扩展到终端，高通徐晧：创造更丰富多彩的应用场景

　　随着2024世界人工智能大会暨人工智能全球治理高级别会议在上海盛大举行，生成式AI再次受到广泛的关注和讨论。近年来，ChatGPT、Midjourney等生成式AI不断推陈出新，推动用户体验持续升级，而如何将云端的生成式AI模型扩展到人们日常使用的终端设备上也成为业界热议的话题。

　　在今年世界人工智能大会期间举办的人工智能赋能新型工业化主题论坛上，高通公司中国区研发负责人徐晧发表演讲时也提到了生成式AI的发展，包括更多更智能的语音支持、多模态模型、根据个人喜好打造的个人AI智能体等等。他同时也分享了将大语言模型落地到终端侧所需要的一些关键技术，包括量化和压缩、推测性解码、知识提炼、异构计算等等。例如知识提炼，可以通过对大模型的学习，将其改为可以在手机上运行的模型，让用户通过手机就能体验生成式AI。

　　还有异构计算，在生成式AI模型日益复杂、参数规模不断提升、许多用例需要同时运行多个模型等趋势下，生成式AI工作负载的复杂性、并发性和多样性需要终端侧所有处理器的能力，而支持处理多样性的异构计算架构能够发挥每个处理器的优势，包括以AI为中心定制设计的 NPU，以及 CPU和 GPU，每个处理器完成各自擅长的任务，实现最佳应用性能、能效和电池续航，赋能全新增强的生成式 AI 体验。徐晧在演讲中也介绍了高通正在做的规划器(Orchestrator)，当手机需要调用不同的程序时，需要将智能体作为底层架构，把所需的程序调用起来，同时将所需的资源放在一起，从而提供可满足用户需求的功能。

　　目前，高通已经与众多产业伙伴深入合作，推动生成式AI在终端设备上的落地应用。例如在个人电脑(PC)领域，今年6月，高通与微软、华硕、联想等PC厂商共同展示了20多款基于骁龙X Elite、骁龙X Plus平台的Copilot+ AI PC笔记本产品，采用了创新的系统架构，包括CPU、GPU和NPU，带来全新的AI体验。在智能手机领域，目前已经有超过20款搭载第三代骁龙8的旗舰手机产品发布，支持实时语音翻译、智能拍照等丰富的生成式AI用例。

　　在工业应用方面，徐晧表示，目前机器人通常利用计算机视觉或者深度学习完成理解和功能执行，随着近年来大语言模型突破性的发展，机器人能够更好地理解人们提出的一些基本要求，加上机器人学科实现的出色定位、导航和机械臂控制，可以打造非常智能的应用。此外，通过AI与5G的融合应用，机器人能够实现网络连接，赋能运维和质检等生产环节，从而打造更加智能和现代化的工业环境。在AI和5G的加持下，智能生产环境可以在国内外得到日益广泛的推广。

　　在本次论坛上，《中国AI大模型工业应用指数(2024年)》正式发布，该指数体系由大模型基础应用能力与行业应用能力构成，其中大模型基础应用能力涵盖了文生文、图生文等领域的准确性和稳定性能力，大模型的行业应用能力则涉及多个重要行业在研发设计、生产制造、运维管理等环节的具体场景中表现出的应用效果，挖掘大模型潜在工业应用场景。

　　演讲接近尾声时，徐晧也展示了一款AI服务机器人，可以根据用户需要前往房间另一侧选择相应的饮料并送给用户。他同时表示，未来，我们会看到越来越多这样的应用场景。希望人工智能不仅是在云端运行大语言模型，也能够把人工智能算法落地到终端，落地到手机、个人电脑、机器人、汽车、XR眼镜等产品上，创造出更加丰富多彩的应用场景。