2025-08-21 11:15:33 中华网
摘要:AI数据湖解决方案,加速行业智能化落地!
8月13日-16日,第21届CCF全国高性能计算学术年会(CCF HPC China 2025)于鄂尔多斯盛大召开。8月15日,华为数据存储解决方架构师李斌杰出席华为高性能计算创新论坛,发表“解锁数据潜能,领航AI时代”主题演讲。
华为数据存储解决方案架构师李斌杰发表演讲
AI时代,数据无所不在。新应用的爆发让数据的价值不断攀升,数据的规模增长催生了对数据基础设施的更高要求。传统架构已难以承载海量数据的价值释放诉求,存储创新由此成为AI行业化落地的核心引擎。
当下,在国家将数据列为新型生产要素的战略背景下,“以数据为中心”的存力中心建设恰逢其时,其已成为数据基础制度和先进技术落地的重要载体,旨在将数据资源优势转化为经济发展优势,激发数据要素活力。
对于企业而言,多模态数据治理、跨地域数据协同、复杂AI工程化已成为AI时代的三大首要挑战。以自动驾驶业务为例,虽然其数据质量较高,但由于多源异构、模态复杂(如激光、雷达、点云、视觉等),以及路测和研发中心分布于不同地域等因素,导致数据归集、调度、加工与处理的流程异常复杂,面临数据工程和模型工程挑战。
这揭示了AI规模化落地的核心路径:依托集成了AI工具链与先进数据存储的AI数据湖架构,由政府主导建设存力中心、由企业构筑行业数据湖,打通从数据治理到模型落地的全链路,破解AI落地的最后一公里难题。
基于此,华为推出了AI数据湖解决方案,提升数据价值密度。方案由数据湖存储、数据管理、AI工具链ModelEngine、数据应用与运营构成。
在AI时代,海量数据需要随时访问、长期留存,这使得热温数据存储空间需求急剧增加。为此,华为全闪分布式存储在高性能款型OceanStor Pacific 9920/9928的基础上,推出了全新款型OceanStor Pacific 9926,旨在加速SSD在海量数据场景下的广泛应用,加速实现HDD的升级替代。该产品搭载61.44/122.88TB高密大容量SSD,内置高效数据缩减算法,可提供高达8PB/2U的容量密度,较HDD机型提升16倍;并基于端到端的NVMe协议性能优化,单节点带宽性能达成15GB/s,较HDD机型提升4倍;此外,采用面向大容量SSD优化的专有EC算法、Die级数据重构设计, 10分钟/TB的重构效率也相对HDD提高3倍。与此同时,OceanStor Pacific 9926将配套可得容量保障服务,若达不到承诺容量即补盘,满足用户容量“所购即所得”。
针对AI训练/推理场景,华为OceanStor A800高性能AI存储以存强算,提升AI集群利用率30%,并通过多级KV Cache技术,让大模型推理具备长记忆能力,提升推理效率。
华为通过联合伙伴充分发挥数据聚合效应,实现数据全局可视、可管,落地数据高效应用与运营。同时通过ModelEngine工具链框架开源共建生态,使能数据工程和模型工程,帮助产业链伙伴和客户快速完成数据编排、模型编排以及应用对接,让天下没有难落地的AI。
AI时代,数据存储大有可为。华为数据存储将持续深化技术创新与生态协同,携手全球伙伴构建面向AI时代的数据基石,共同绘制数字经济发展的新蓝图。