首页 > 技术

昇腾超节点系统创新,加速Agentic AI跃迁

2026-09-19 11:20:06      中华网   


[中国,上海,2026年9月17日] 华为全联接大会2026期间,以“与时代 共昇腾”为主题的昇腾AI人工智能产业峰会同步在上海成功举办。会上,华为昇腾计算产品线总裁张迪煊发表《昇腾超节点系统创新,加速Agentic AI跃迁》的主题演讲。他表示,大模型每一波迭代都带来新的AI负载需求,昇腾以超节点大带宽、低时延和内存统一编址的确定架构来应对AI负载变化的不确定性。围绕昇腾“超节点+集群”,打造坚实算力底座,持续构建开源开放的昇腾生态,为世界提供新的选择。

640.jpg

华为昇腾计算产品线总裁张迪煊

以下是张迪煊的演讲全文

尊敬的各位来宾,女士们、先生们,大家下午好!时隔一年,非常高兴和大家再次相聚在华为全联接大会2026昇腾AI人工智能产业峰会的现场。

2026年是昇腾突破创新、拥抱开源、加速生态繁荣的一年。灵衢协议实现互联统一,打造以昇腾NPU为核心的超节点套片,构建了“计算+互联”为核心的大规模超节点架构。

去年,昇腾率先上市了昇腾910C超节点,也是国内唯一的超节点产品,展现出卓越的性能。今年,越来越多的厂商也在陆续跟进超节点路线,超节点已成为产、学、研共识。截止目前,昇腾910C超节点规模部署超1000+套,累计超过6.5亿在线卡时。已经有40多个大模型完成昇腾原生预训练,是国内唯一支持预训练的算力底座。

随着CANN的开源开放、社区化运作,当前已有30多个SIG组、70多个开源项目,覆盖90多个主流三方社区,CANN社区的月活开发者超过5千多个,成为中国最活跃的AI开源社区!

在今年7月份,昇腾正式成为PyTorch官方支持的技术路线,是官方唯一支持的中国硬件厂商,全球开发者可以共享昇腾的创新成果。

1.jpg

AI迭代演进加速智能跃迁,超节点是AI技术创新和价值变现的加速器

AI迭代演进加速智能跃迁,大语言模型Scaling Law持续加速,参数从1T走向10T,集群规模从万卡到十万卡,客户关注的是如何保持有效算力的线性增长。今年年初,SeeDance横空出世,效果惊艳,开启视频生成的黄金时代,MoE成为主流架构,大模型进入推理应用规模落地的阶段,如何提升单位 TCO 下的吞吐成为大家探索的方向。从数字世界走向物理世界,具身智能加速创新,世界模型初见雏形,Scaling Law仍是主要手段。

在这过程中,超节点以不同的架构组合匹配负载变化。超节点+集群,通过高效的大规模并行通信,实现训练集群的高MFU;超节点+大规模专家并行方案,以通信换内存,并结合内存语义的低时延访问,可在不同规模的配置上,都能达到最优的吞吐和时延;超节点+多层KV缓存能力,实现NPU对全局PB级缓存的一跳直连,应对超长上下文的极致低时延挑战。

大模型每一波迭代都带来新的AI负载需求,以超节点大带宽、低时延和内存统一编址的确定架构,来应对AI负载变化的不确定性,是昇腾多年探索与实践的经验。

昇腾950超节点正式上市, 为世界提供新的选择

面向未来AI演进,昇腾通过垂直整合、水平开放的超节点系统架构,引领技术创新,匹配AI负载的快速变化与不确定性:

第一,以计算和互联为核心,打造面向超节点的系列化套片。

第二,通过供电、散热、互联和部署等系统工程创新,打造系列化超节点产品,并开放超节点技术架构和套件,支持伙伴共同发展。

第三,以超节点系统软件释放硬件潜能,满足客户对集群高MFU、高可用度以及易用性的需求。

第四,围绕训练和推理解决方案持续创新,加速LLM、全模态和世界模型等全场景落地。

在客户的期待下,昇腾950的液冷超节点和风冷超节点提前上市。

2.jpg

Atlas 950 SuperPoD液冷超节点是当前业界最大规模商用超节点,支持256TB的统一内存编址,千卡MTBF高达300小时,领先业界25%以上。

超节点是个复杂系统工程,单个超节点集成了1024颗NPU、1300多个灵衢互联套片、4000多个光模块和19万根CableTray,通过灵衢高速互联,让它们像一台超级计算机一样协同工作。

NPU计算刀片,部署了8颗昇腾950 NPU,每个NPU模组950W功耗。通过低壳温铠甲冷板和多水路串联设计,单块冷板就能带走2000W的热量。

CPU计算刀片,在同样的散热工程能力下,搭载了2颗鲲鹏CPU。

灵衢互联刀片,采用柜级OD正交架构,Cable Tray免背板设计,把传统3级互联精简为2级。这样,单柜就可以减少6000多根线缆,一个1024超节点可以节省50千米的铜线,相当于从世博中心会场到浦东机场的距离。

灵衢互联设备,负责跨柜互联,采用VCSEL LPO光模块,通过线性直驱,省去传统光模块的ODSP,降低时延,4000多个光模块就减少了4万瓦的电力消耗,相当于数千户家庭的用电量。

3.jpg

昇腾是国内唯一商用支持mxFP8低精训练的厂商。950硬件架构原生支持mxFP8,一条指令即可完成计算与反量化,matmul等核心算子MFU达到95%以上。同时,通过3万多个泛化样本与正反向组合验证等精度看护技术,实现模型精度的全场景泛化,误差小于千分之五,极致场景小于千分之二。

昇腾也是国内唯一全流程支持mxFP4推理的厂商。其低精算子库与全链路量化算法覆盖KV Cache、通信和权重量化全流程,实现模型精度误差小于1%。实际测试中,基于Atlas 950 SuperPoD,训练MFU可提升1.5~1.7倍,推理吞吐可提升3倍,可更好支撑万亿、十万亿大模型的高效训推。

面向企业风冷机房场景,昇腾提供了Atlas 850E风冷超节点。通过灵衢互联设备,单层组网支持32、64和96超节点,双层组网可扩展至768超节点。在推理场景中,大家最关注的是单位TCO下的高吞吐和低时延。通过超节点的异构PD分离方案,将基于950PR的Atlas 850用于Prefill,将基于950DT的Atlas 850E用于Decode,可根据业务负载动态调整PD配比。再叠加大规模专家并行优化,在万亿MoE模型上实现5-10ms的极致低时延,单卡吞吐比业界风冷集群提升2.5倍。

4.jpg

昇腾超节点系统软件,依托高性能、高可用核心能力,充分释放超节点算力潜能

一个超节点系统除了硬件,还要有一套强大的系统软件来保障系统的健壮性和高性能。昇腾超节点系统软件包括灵衢总线管理、灵衢系统服务以及超节点管理等组件。基于灵衢系统高阶服务,支持跨物理节点统一内存编址,编程模式和执行模型与单系统语义一致,实现超节点域内的Load/Store内存语义访问。基于内存语义和拓扑编排等技术,1024卡超大Scale-Up域内集合通信性能提升1.6倍。实测中,在大EP的跨卡通信场景,包越小内存语义的时延优势就越明显。1K小包通信,耗时从70微秒降到8.6微秒,性能提升8倍。

昇腾950微架构升级,易用性全面提升,开源技术生态走向原生共建

昇腾始终关注每一位用户的体验。结合用户反馈,去年昇腾完成了CANN和Mind系列的全面开源开放。

在微架构上,昇腾950在设计之初,就考虑了编程的易用性。编程范式支持更灵活的SIMT,并首创SIMD与SIMT混合编程,可根据计算的不同特征,选择合适的编程语言。昇腾提供全流程 Agent 开发编程范式,重塑开发者研发体验:Vector 算子开发仅需 3 小时,模型适配最快 1 天即可完成。

经过几年的积累,昇腾已全面融入业界主流开源社区,走向原生共建。Mind系列软件持续演进,与社区联创并深度贡献。今年,与VeRL社区合作并主导落地了RL-Insight,从0到1补齐社区强化学习在线监测的空白,并已应用到客户的实际业务中。

开发者旅程全链路Agentic覆盖,编程与创新更简单、更自由

大模型开发链路复杂,高度依赖开发者经验积累。昇腾将专家在开发优化、安装部署等环节的实践经验沉淀为 Skills,现已开源 200 余个。基于这套能力,昇腾构建 Agentic 编程体系,覆盖算子生成、精度调试、性能调优、模型部署等 10 大核心开发场景。

针对算子开发场景,昇腾推出 CANNBot,打造从底层语料到上层评测的系统工程能力,支持昇腾全部算子编程语言,覆盖设计、开发、测试全流程。

昇腾通过算子样本筛选与专业数据清洗,构建算子专属数据集。今天,正式开源 48 亿 Token 算子数据集,助力业界大模型与 Agent 高效编写昇腾算子!同时社区上线 CANN-Bench 评测平台,提供分级评测体系,从功能、精度、性能多维度,评估算子生成质量。

昇腾坚持围绕5大原生方向,体系发展技术生态、协同构筑商业生态

昇腾生态发展离不开大家的支持。昇腾持续围绕硬件、算子、加速库、模型及应用五大方向,加速原生创新,促进商业共赢。

面向技术生态,昇腾联合高校与科研机构,开展 HiFP8/HiFP4 低精加速、算子自动生成等前沿 AI 技术研究;面向社区升级众智计划,依托开源项目鼓励各原生方向的技术深耕,坚持长期社区共建;面向商业生态,昇腾开放超节点技术,使能硬件伙伴打造超节点产品。AI Infra 伙伴可依托加速库、算子优化充分释放算力,提升 Token 产出;应用伙伴可基于超节点,打造代码生成、Chat对话、视频生成等场景化方案。

未来三年,昇腾将持续投入,提供生态样机、算力券、NRE等创新激励,加速原生创新。欢迎更多伙伴、开发者加入昇腾,持续创新,共同发展可持续、有韧性的AI产业生态!

人工智能的发展速度之快,变革之深,未来充满无限想象,但前路亦充有风浪。昇腾将坚持通过昇腾“超节点+集群”的系统工程能力,不忘初心、砥砺前行,打造坚实算力底座,构建开源开放的昇腾生态,为世界提供新的选择!

相关阅读

    无相关信息