2024-09-23 22:45:47 西盟科技资讯
新闻重点：
·Arm通过把Kleidi技术集成到PyTorch和ExecuTorch，将关键的AI性能优势从边侧拓展至云端，赋能新一代应用在Arm CPU上运行大语言模型。
·对普及ML工作负载的持续投入将使任一技术栈的开发者能够在最新的生成式AI模型上即刻获得显著的推理性能提升。
·通过扩大与云服务提供商以及主要的ML独立软件开发商合作，进一步赋能全球的AI开发者。
Arm控股有限公司(纳斯达克股票代码：ARM，以下简称“Arm”)近期宣布通过将Arm® Kleidi技术集成到PyTorch和ExecuTorch，赋能新一代应用在Arm CPU上运行大语言模型(LLM)。Kleidi汇集了最新的开发者赋能技术和关键资源，旨在推动机器学习(ML)技术栈中的技术协作和创新。通过这些重要进展，Arm致力于为任一ML技术栈的开发者提供更为顺畅的体验。
Arm战略与生态部开发者技术副总裁Alex Spinelli表示：“Arm正与领先的云服务提供商和框架设计者紧密合作，以打造便捷的开发环境，让软件开发者能够轻松地在基于Arm架构的硬件上加速人工智能(AI)和ML工作负载。自该技术推出的四个月以来，Kleidi已在Arm CPU上加速开发并显著提升主要的AI性能。Arm与PyTorch社区的紧密合作印证了该技术可以大大减少开发者利用高效AI所需的工作量。”
与领先框架集成，实现显著云端优势
在云端，Kleidi以利用Arm Compute Libraries(ACL)增强PyTorch带来的成果为基础，为世界各地在Arm平台上优化AI的开发者打造蓝图。通过为开发者免去不必要的工程工作，以便开发者能将Arm视为运行其关键ML工作负载的首选平台。作为实现这一愿景的关键一步，Arm直接与PyTorch和TensorFlow进行Arm Kleidi Libraries的集成合作，这包括将基本的Arm软件库直接集成到上述的领先框架中。
重要的是，这意味着当新的框架版本发布时，应用开发者能够自动从其大幅的性能提升中受益，而无需额外在Arm平台上重新编译。这项投入已对合作伙伴关系产生了积极影响：
·Arm聊天机器人演示由Meta Llama 3 LLM驱动，并运行在亚马逊云科技(AWS) Graviton处理器上，首次在主线PyTorch中实现了实时聊天响应。
o根据在AWS Graviton4上所测得的数据显示，通过将Kleidi技术集成到开源PyTorch代码库，词元(token)首次响应时间可提高2.5倍。
·通过优化torch.compile以充分利用通过ACL提供的Kleidi技术，在基于AWS Graviton3上所测得的数据显示，各类Hugging Face模型推理工作负载上的性能可提升1.35至2倍。
这些仅是出色的云端示例之一，却代表了在Arm平台上普及ML工作负载时可实现的性能加速类型。Arm将持续投入，以确保开发者的AI应用可以在其技术上从云到边都能完美运行，其中包括实现新功能的向前兼容，进而使得开发者能够即刻从中受益。
合作助力开发者紧跟生成式AI发展步伐
随着新的语言模型版本快速地推陈出新，生成式AI掀起了一波AI创新热潮。Arm持续与ML技术栈的各个关键环节紧密合作，携手AWS和Google等云服务提供商以及Databricks等迅速壮大的ML独立软件开发商(ISV)社区，进而帮助开发者立于技术前沿。
Google Cloud Compute产品管理高级总监Nirav Mehta表示：“Arm和Google Cloud致力于为开发者提升AI的可访问性和敏捷性，而Kleidi代表了通过软硬件协同优化满足AI需求所取得的重要进展。随着我们的客户正积极采用基于Arm架构的定制CPU —— Axion，我们期待在整个ML技术栈中为客户带来更加顺畅的集成体验。”
Databricks软件工程师Lin Yuan表示：“利用Databricks Data Intelligence Platform进行AI和ML工作流的企业，将受益于跨ML软件栈的Arm Kleidi集成所带来的性能优化。借助由Databricks ML Runtime集群提供支持的Arm架构AWS Graviton处理器，企业可以从各种ML软件库的加速中受益，同时降低云服务提供商的成本。”
协助开发者将Arm提供的资源应用到实际用例中至关重要，为此Arm创建示例软件栈和学习资源，向开发者展示如何在Arm CPU上构建AI工作负载，进而迅速推动了Arm系统的广泛采用，并加快了开发者在Arm系统上的部署速度。第一个案例是通过Kleidi技术加速聊天机器人的实现，今年晚些时候ML Ops和检索增强生成(RAG)也将添加至这些用例，并计划在2025年实现更多成果。
持续提升端侧性能
基于Kleidi在端侧的发展势头，KleidiAI还将被集成到ExecuTorch(PyTorch新的端侧推理运行时)。这项集成预计将于2024年10月完成，并有望为目前正在ExecuTorch中进行生产测试或实现的端侧应用带来显著的性能提升。目前已完成的多项KleidiAI集成包括与Google XNNPACK和MediaPipe，以及腾讯的混元大模型，为其实际工作负载带来了显著提升。
Kleidi将继续与PyTorch和ExecuTorch的各版本以及其他主要AI框架进行集成。从云数据中心到端侧设备，开发者现在可以即刻在各类设备上基于Arm平台高效运行高性能AI工作负载。Arm将继续积极地面向PyTorch社区推出增强功能，并专注于针对各种整数格式提供量化优化，进一步提高性能，赋能Arm CPU大规模无缝运行新一代AI体验。
实现更多成果以赋能开发者
PyTorch正在推动ML开发领域的开拓创新。近日，Arm加入PyTorch基金会成为Premier成员，这对于Arm的AI之旅来说，无疑是一个重要时刻。Arm将持续致力于赋能全球各地的开发者在Arm平台上充分发挥端到端AI的潜力，进而塑造前沿的AI和应用功能。
###
附加资源：
关于Kleidi:
Kleidi(古希腊语中意为“钥匙”)基于三大关键支柱而构建：
·开放的Arm技术直接集成至关键框架中，开发者无需任何额外工作，便能使LLM无缝取得Arm CPU性能。Arm将确保新技术始终向前兼容，以便开发者可以立即从中受益。
·通过提供使用指南、学习资源和技术演示等各种资源赋能开发者。
·借助由ML软件供应商、框架和开源项目所构成的活力十足的生态系统，从中取得各类最新的AI功能，让Arm平台成为开发者构建解决方案的首选平台。
