2023-08-08 12:59:19 中华网
现在越来越多人意识到,数据已经成为了数字化时代的“石油”。
这也体现了数据的核心价值。如今随着大数据、云计算、人工智能等技术快速发展,数据与算力一同为智算应用提供基础,也成为了影响社会经济发展的重要科技因素。二伴随着新一轮科技革命和产业变革加速演进,社会经济各方面也正在向数智化转型迈进,数据的价值进一步凸显;但目前,我们对于数据应用的场景还很单一,更多时候存储只是作为算力的附属出现,难以体现数据的价值。这样一来,如何有效利用数据、“开采”数据也就成为了摆在所有管理者面前的新问题。
日前,第十八届中国IDC产业(大湾区)年度大典举行。大会以“绿色数智、生态共建”为主题,围绕算力产业的绿色化、智算化发展趋势,以及政策环境、技术创新、市场需求、生态建设等话题展开了精彩的演讲和讨论。现场,中国计量院发布《存储容量计量白皮书》总结了保证存储容量利用率的关键技术以及存储计量的一些关键指标,在数据量快速增长,所需存储容量快速膨胀的背景下,为存储容量计量提供关键指导。
当下数据存储与应用的三大难题
一直以来,整个行业对于数据存储依然存在不少误区。从个人到企业,从家庭到办公室,我们每天都在产生大量的数据,海量数据已经不是什么新概念,但如何存储这些数据并在实际业务中发挥其价值,依然是一个新课题,甚至我们还要直面许多数据管理上的不足。
首先就是数据的安全性、可靠性管理缺失。对于企业来说,云化管理带来了诸多便利,许多大规模云数据中心拥有海量服务器本地盘,每天成千上万块硬盘都在不停运转,出现故障也在所难免。一般运维人员只能单纯依靠简单的软件管理硬盘,只有在故障发生时才能采取亡羊补牢的措施,但往往这时无论是维修还是更换都已经对实际运行的业务产生了影响,很难做到防患于未然。
其次,多年来软件定义概念的普及让存算一体化成为了一种趋势,其代表性产品就是超融合。当然从用户的角度来看,存算一体非常方便,节约了空间提升了系统密度,但与此同时也带来了资源的浪费——相对于算力迭代来说,存储设备的生命周期更长,应用实践更久,同时两者的耦合也降低了系统的扩展性,不利于数字化时代特别是数据的有效利用,难以真正发挥数据价值。
最后也是最为人挠头的,则是资源的浪费。正因为数据的价值日益凸显,管理者对数据安全也格外重视,比如当下流行的3副本存储策略(即1份数据保存3份)就是一种基于可靠性的无奈选择,毕竟数据中心的存储空间是有限的,尤其是在北上广深这样的一线城市与长三角、珠三角这样的经济发达地区,数据中心价格可谓是“寸土寸金”,任何一个管理者都希望能有效提升数据密度,降低空间占用和能源消耗。如果能安全、稳妥的保存数据,我相信更多管理者会选择释放备份空间,尽可能多的存储数据。
那么是否真的有一种方式能解决上述数据存储与应用的难题呢?这一次发布的白皮书就给出了一种全新的思路。报告中明确提出了专业的事就要交给专业的设备来做,围绕应用场景数据特点构建真实数据模型,通过先进计量引导行业技术创新,通过Diskless技术理念使用专业的存储智能盘框进一步提升数据存储的安全性、可靠性与空间利用率,也为行业提供了全新的发展方向。
华为OceanDisk引领行业,让存储管理不再难
这几年Serverless的概念特别火,许多人都听过。与字面上“无服务器”的理解不同,Serverless其实是将服务器的管理、运维等工作都放在后端的云数据中心,这样用户就不需要关心这些“琐事”而是专注于业务本身,这样就可以获得弹性部署与资源池化,大大释放了算力。如今不少云服务商也都有相关的解决方案。
那么要解决存储问题,我们同样可以借鉴类似的理念,于是就有了“Diskless”。面对存储痛点,这些年整个业界都在积极探索突围之道,存算分离、池化运行、共享应用等思路与做法逐渐浮出水面,Diskless技术也应运而生。从理念和框架来说,Diskless技术的核心就是将本地盘或本地内存从服务器独立出来,远程形成共享存储池或共享内存池,这样就解决了上述我们提到的存储三大难题,无论是在运维、存算分离还是应用效率上都有了明显提升,也因此得到了行业的普遍关注和大力推广。
华为OceanDisk智能盘框就是基于Diskless技术的、非常具备行业代表性的。相比传统盘框来说,它以NoF+高速网络连接Diskless服务器,实现计算和存储资源独立弹性扩展。面向云和互联网的数据中心,OceanDisk可组合成高速可靠的共享存储资源池,帮助客户提高资源利用率。根据测试,华为OceanDisk 1500/1600智能盘框最大能够具备250万IOPS、50GB/s带宽的高性能,并提供了硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心10万级硬盘的性能稳定,大幅降低运维难度。这也同时化解了传统存储三大存储难题,真正实现了“各个击破”。
比如针对数据与磁盘的管理难题,刚才提到的硬盘亚健康管理、加密盘和慢盘智能优化等软硬协同技术就起到了关键作用。得益于这些技术,运维人员可以在硬盘故障前获得预警,并根据系统分析的硬件运行状况采取针对性措施,防患于未然,真正实现数据安全的有效管理。而对于那些已经存在故障的硬盘,系统也可以自动屏蔽底层硬盘故障,保持大规模数据中心海量硬盘的可靠稳定,让运维人员摆脱“焦头烂额”的工作苦恼。
管理硬盘只解决了眼前问题,而华为OceanDisk智能盘框”治标更治本“,从系统架构上下功夫。针对存算一体带来的困扰,OceanDisk智能盘框使用的是创新性的存算分离架构,通过Diskless技术将服务器内数据盘拉远,集中到智能盘框中统一管理,这样就实现了计算和存储独立更新换代,一方面不影响算力的正常应用,另一方面存储性能也得到了充分释放,同时解决了不同迭代周期的问题,真正实现了灵活扩展,按需更换。
最后,华为OceanDisk智能盘框要解决的就是数据存储的安全性与空间利用率之间的矛盾。针对传统数据存储造成的空间损失,华为OceanDisk智能盘框通过性能无损数据缩减、大比例EC等关键技术,在保证数据安全的同时最大限度的降低体积,从而节省了存储空间;同时智能盘框通过高速网络无缝对接Ceph、Lustre、GPFS等第三方平台,真正达到了上层业务无感知,这也正是Diskless技术的真正价值所在。
得益于Diskless技术,华为OceanDisk智能盘框最终在空间利用率上表现出色,大幅提升存储效率,实现了机柜空间和功耗分别降低40%。不仅如此,借助于虚拟存储技术、分层存储技术和容量缩减技术,用户的可得容量也获得了大幅度的提升——在简化数据管理的同时,删除待存储数据中重复的字节、数据块或文件,大大提升了空间利用率,让客户获得小空间大“肚量”,也有助于数据中心的绿色节能、低碳应用。
至此,华为OceanDisk智能盘框实现了真正意义上的技术创新与产业引领。一方面凭借Diskless技术,达成了全新的数据存储与应用形态,让用户从此不再担心数据的存储与安全性等问题;而另一方面,华为OceanDisk智能盘框也可以在云端随时随地进行数据处理,实现了用户端的无感知应用,凭借出色的性能最大限度的发挥数据价值,并大大优化数据存储空间,保障数据应用的有效性与绿色节能,把握住了数字化时代发展的脉搏。
时至今日,数据应用已经深入我们生活的方方面面,无论是智慧办公、智慧交通、智能制造等多个场景下都离不开数据的支撑。而在汽车仿真云、云硬盘、视频云等多个场景中也都有了华为OceanDisk智能盘框部署的身影,将Diskless技术应用于诸多行业当中,深度挖掘数据价值,也推动了数据应用的加速和效率提升,让客户业务更高效,也让数据真正成为数字化发展的驱动力。