首页 > 技术

1颗X处理器相当几颗Y处理器?一云多芯算力评估计算器来了!

2025-01-06 15:29:27      互联网   


  近日,浪潮云海联合中国软件评测中心、腾讯云等10余家核心机构、厂商共同发布了《一云多芯算力调度研究报告》(以下简称报告)。报告指出,当前一云多芯正从混合部署、资源统管的第一阶段,向业务牵引、分层解耦、架构升级的第二阶段过渡,为保障应用高效适配、自由迁移与性能调优,算力量化调度成为当下重要关注点。因此,报告从算力调度架构维度,对一云多芯实际落地过程中存在的挑战进行详细剖析,针对算力等价调度难题设计了量化方法,推出算力评估计算器,并提出一云多芯算力调度整体参考设计,为行业用户实现应用的跨架构迁移提供重要的评估依据。

  1、中国软件评测中心、浪潮云海等联合发布

  一云多芯走向第二阶段算力量化调度成为关注重点

  当前,随着行业“上云用数赋智”进程的不断加速和深化,应用场景呈现多样化趋势,尤其是近几年AIGC大模型、跨学科科学计算等兴起,数据中心的计算场景呈现计算精度横向扩展与数据的数量级纵向增长相交织的态势,实时性要求不断提升。为更好地满足当前多元异构算力场景需求,越来越多的数据中心开始采用一云多芯架构,以确保多元异构算力即便在功能、性能和可靠性等方面存在差异,依然可以高效稳定地实现应用跨处理器低成本或自由切换,保障关键业务长期稳定运行。

  一云多芯并非一蹴而就,而是跟随用户需求的动态调整来持续演进。一云多芯需要基于以系统设计为核心的思维,采用以场景驱动的“硬件重构+软件定义”的融合架构,通过“三步走”实现最终的目标。当前第一阶段混合部署、资源统管的阶段目标基本实现,一云多芯正在向第二阶段过渡,围绕业务牵引、分层解耦、架构升级,实现应用跨架构平滑切换和线性弹性伸缩。

  一云多芯发展到当前阶段,用户已经不再满足于资源池的纳管,而是开始关注一云多芯场景下的算力如何更高效、高质量的使用,从而使得算力量化调度能力成为重要关注点。然而,在真实生产环境中,由于异构芯片在指令集上各有千秋,在性能上也存在较大差异,导致应用在跨架构切换时仍面临一些棘手难题。比如说,当应用跨架构迁移时,性能可能会出现较大波动,导致服务质量降低,无法达到预期;在新老副本切换流量过程中可能引发短暂的延迟、中断或错误,造成应用响应异常等等。

  2、一云多芯发展路线图

  报告指出,应从算力调度出发,建立多层次的算力衡量体系,实现应用性能的精确衡量,从而确保应用可以跨架构平滑切换及线性弹性伸缩,同时通过构建标准化的算力调度架构,提升整体系统的灵活与可扩展性。

  算力量化调度:从“等价”开始

  算力量化调度针对用户目前普遍面临的应用迁移效果难以预估的问题,希望通过对算力的精确衡量以及架构感知的算力有向调度等手段,实现应用的跨架构等价运行,从而确保应用的一致性体验并降低运维复杂度。

  应用的跨架构等价运行中的“等价性”主要体现在功能的等价性和性能的等价性,其目的是保障应用的跨架构高效稳定运行,从而实现用户体验的一致性。功能的等价性主要面临的挑战是异构处理器之间指令集的差异,对于操作系统及应用程序的跨架构可运行性提出了更高的要求;性能的等价性主要面临的挑战是异构处理器之间性能的差异,通过建立科学、全面的算力量化评估模型,准确分析不同架构的处理能力、运算速度等方面的特性,为应用在跨架构运行时提供资源分配(例如CPU、内存、副本数等)的依据,成为保障其在不同架构下性能等价的有效方法。

  报告指出,算力量化是实现应用等价迁移的基础,可使用两类算力量化方法,分别为基于测评反馈的算力量化方法和基于性能模型的算力量化方法。其中,基于性能模型的算力量化方法可通过建立典型应用性能模型的方式,避免在线测评的开销,实现跨架构资源封装规格的快速推理。

  同时由于不同芯片架构性能差异较大,为保障创新架构云平台与之前利旧平台保持相同的算力水平,保障整个迁移适配过程中业务、用户无感,浪潮云海创新自研了算力评估平台工具,初步实现基于性能模型的规格算力评估。该平台内置了整机性能模型,并使用智能化的计算工作流对影响整机性能的因子进行综合计算,定义了通用性能调度指数(GIPS,Generic Index for Performance Based Scheduler),实现了支持一云多芯算力调度场景的整机性能评估。

  3、浪潮云海算力评估工具

  发布首个一云多芯算力调度架构参考设计

  为保障客户应用跨架构平滑迁移,构建标准化的算力调度架构也至关重要。报告围绕多芯场景下的资源可管理性、程序可运行性及状态可迁移性三个核心方面开展最佳实践的探索,提出了一种一云多芯算力调度参考设计,涵盖基础设施层、服务器操作系统层、云操作系统层、基础应用层、业务应用层。

  4、一云多芯算力调度参考设计

  报告强调,基础设施层需要强化性能及RAS设计,提升性能、稳定性及可靠性,推动生态繁荣并构建整机开放标准;服务器操作系统是异构硬件与多样化的软件之间重要的桥梁,需要解决跨架构可运行性问题,并提供场景化的算力测算分析方法,指导应用的调优;云操作系统层作为把不同垂直技术栈拉通的核心层级,需要通过运行时的资源封装及架构感知的有向调度,实现应用的跨架构分发,并且提供层次化算力分析方法,实现应用跨架构等价调度;应用层则需要重点考虑有状态负载的数据状态同步及无状态负载的跨架构流量分发等问题。基于如上参考设计,实现基础设施层至应用层的各层级高效协同、广泛兼容。

  概括而言,一云多芯算力调度强调构建分层解耦、开放标准的整体架构,确保从基础设施至应用层的各层级能够独立运行、独立演化,同时通过标准化、规范化的协议、标准实现层间协同,并且兼容多样化的硬件平台,从而提升整体系统的灵活性与可扩展性。

  一云多芯是多元算力变革下的云基础设施演化的必经之路。不同的芯片技术与复杂的生态环境相交织,对云操作系统厂商的技术实力、实施能力与生态牵引力均提出了更高的要求,必须要依靠原始创新实现技术突破,以生态开放协同实现产品技术融合,通过产业链上下游协同,生态共建,形成完善的一云多芯行业标准,实现真正的应用跨架构自由切换,推动“一云多芯”向第三阶段迈进。

相关阅读

    无相关信息