Arm 计算平台加持，全新 Llama 3.2 LLM实现AI 推理的全面加速和扩展

　　新闻重点：

　　·在Arm CPU上运行Meta最新Llama 3.2版本，其云端到边缘侧的性能均得到显著提升，这为未来AI工作负载提供了强大支持

　　·Meta与Arm的合作加快了用例的创新速度，例如个性化的端侧推荐以及日常任务自动化等

　　·Arm十年来始终积极投资AI领域，并广泛开展开源合作，为1B至90B的LLM实现在Arm计算平台上无缝运行

　　人工智能(AI)的迅猛发展意味着大语言模型(LLM)的新版本不断推陈出新。要充分发挥AI的潜力并抓住其带来的机遇，需要实现LLM从云端到边缘侧的广泛部署，而这也伴随着对计算和能源需求的大幅增长。整个生态系统正携手寻找应对这一挑战的解决方案，不断推出新的更加高效的开源LLM，以便大规模实现各种AI推理工作负载，加快为用户带来全新、快速的AI体验。

　　为此，Arm与Meta展开紧密合作，在Arm CPU上启用新的Llama 3.2 LLM，集成开源创新与Arm计算平台的优势，显著推进了解决AI挑战的进程。得益于Arm的持续投资及与新型LLM的合作，Arm CPU运行AI的优势在生态系统中脱颖而出，使Arm成为AI推理开发者的首选平台。

　　加速云到边缘侧的AI性能

　　小型LLM(如Llama 3.2 1B和3B)能够支持基于文本的基础生成式AI工作负载，对于大规模AI推理的实现至关重要。通过Arm CPU优化内核在Arm技术驱动的移动设备上运行新的Llama 3.2 3B LLM，可让提示词处理速度提高五倍，词元(token)生成速度提高三倍，在生成阶段实现每秒19.92个词元。这将直接减少了在设备上处理AI工作负载的延迟，大大提升了用户整体体验。此外，当边缘侧能处理的AI工作负载越多，往返云端传输数据所节省的电量就越多，进而节省了能源和成本。

　　除了在边缘侧运行小型模型，Arm CPU同样支持在云端运行更大的模型(如Llama 3.2 11B和90B)。11B和90B的模型非常适合云端基于CPU的推理工作负载，可生成文本和图像，其中，在Arm Neoverse V2上的测试结果展现出了更大的性能提升。在基于Arm架构的AWS Graviton4上运行11B的图像和文本模型，可以在生成阶段实现每秒29.3个词元的表现，远远超出了人类大约每秒阅读五个词元的速度。

　　AI将通过开源创新和生态系统协作迅速扩展

　　能公开获取新的LLMs(如Llama 3.2)至关重要。开源创新正以迅猛速度发展，在之前的版本中，开源社区在不到24小时的时间内便能在Arm上部署并运行新的LLM。

　　Arm将通过Arm Kleidi进一步支持软件社区，让整个AI技术栈能够充分发挥这一优化的CPU性能。Kleidi可在任何AI框架上解锁Arm Cortex和Neoverse CPU的AI功能和性能，无需应用程序开发者进行额外的集成工作。

　　通过最近的Kleidi与PyTorch集成以及正在推进的与ExecuTorch集成，Arm正在为基于Arm CPU的开发者提供从云端到边缘侧的无缝AI性能。得益于Kleidi与PyTorch的集成，在基于Arm架构的AWS Graviton处理器上运行Llama 3 LLM的词元首次响应时间加快了2.5倍。

　　同时，在端侧，与参考实现相比，在KleidiAI库的加持下，使用llama.cpp库在新的Arm Cortex-X925 CPU上运行Llama 3的词元首次响应时间加快了190%。

　　构建AI的未来

　　Arm与Meta的合作成为了行业合作的新标杆，汇聚了Arm计算平台的灵活性、普及性和AI功能，以及Meta等行业巨头的技术专长，共同解锁AI广泛应用的新机遇。无论是利用端侧LLM满足用户的个性化需求，如根据用户所处的位置、日程和偏好来执行任务，还是通过企业级应用来优化工作效率，让用户能够更专注于战略性任务，Arm技术的集成都为未来奠定了基础。未来，设备不再只是命令和控制工具，更是能在提升用户整体体验方面扮演积极的作用。

　　在Arm CPU上运行Meta最新Llama 3.2版本，其AI性能实现了显著提升。这类开放式合作是实现无处不在的AI创新、促进AI可持续发展的最佳途径。通过新的LLM、开源社区和Arm的计算平台，Arm正在构建AI的未来，到2025年，将有1000多亿台基于Arm架构的设备支持AI。