2023-11-10 18:13:10 西盟科技资讯
近年来,随着全球数字经济浪潮的不断发展以及全域营销平台的迅速崛起,以数字营销为基点的品牌全球化,成为了越来越多企业进行数字化转型升级的重要选择之一。作为数字营销发展的关键支撑,数据要素与数字技术的重要性不言而喻,据《中国数字营销趋势报告》最新数据显示,目前已有超过95%的广告主认可营销数字化转型的重要性及其中数据的核心地位。
面向AI时代,得益于新一轮人工智能技术的突破性进展,中国出海企业通过自动化和数字化工具,快速管理和执行营销活动已成常态。但如何更高效地统一管理、分析、利用多源数据,助力企业实现业务敏捷、更好地迈向海外市场并非易事。
今天,我们将以易点天下基于DataOps的数据开发治理一体化实践为例,看企业如何打造一站式智能化数据管理平台,激活数据要素潜能、深挖数据资产价值,赋能业务创新发展。
作为一家全球领先的企业国际化智能营销服务商,易点天下业务流量分布于全球各地,在美国东西海岸、新加坡、东京、圣保罗、法兰克福等多个区域部署主要数据节点,每天拥有几十TB的增量数据和千亿的流量数据。
易点天下高级技术总监Infi He介绍到:“近年来,伴随着公司业务的全球化拓展,企业对于数据部门的诉求,也逐渐从更好的管理数据资产转化成为更快的产生业务价值。在这个过程中,我们的团队经过多轮的实践验证发现,在大数据时代,DataOps是数据平台成功的关键点和最佳路径之一。 ”
作为一种协作性的数据管理实践,DataOps适用于从数据准备到报告的整个数据生命周期,在提高数据团队的协作和效率的同时,可以有效确保数据系统的可靠性、可用性和可维护性。基于DataOps的底层方法论,易点天下逐渐搭建出符合自身业务场景的一站式智能化数据管理平台,也总结出了以下核心技术小纲领,一起来解锁。
Key Takeaways 01:统一的数据开发平台是提高开发效率的关键因素之一
在数据开发过程中,由于多技术栈导致的数据处理复杂度增加,已成为了影响开发效率的瓶颈。为了解决这个问题,易点天下基于DataOps,建立了一套标准的开发流程和统一的数据开发平台,该平台在实现数据清理、数据转换、数据可视化等多项功能的同时,还实现了数据的共享与协作,有效简化了数据开发流程,减少冗余工作,从而提高了人员开发效率,更快速地响应不断变化的业务需求。
Key Takeaways 02:多云环境下的任务调度是实现数据一致性的保障
此外,在多云环境中,任务调度至关重要,因此需要建立一个统一的任务调度平台,可跨越多个数据中心以便实现数据的一致。为此,易点天下自研了一套多云环境下的任务调度系统,在高效调度任务的同时,可确保数据在多云环境中的合理分布与管理,从而实现保障了数据一致性,大幅增强了业务决策的准确性。
Key Takeaways 03:完善的数据治理体系是实现数据决策准确性的基石
现代数据驱动的企业中,数据治理平台发挥着关键作用。在大数据时代,只有通过统一的数据开发、统一的元数据管理、统一的数据资产管理、便捷的数据服务以及自动化的数据治理等多个方面的实践,才能真正实现数据管理的一体化、智能化和高效化。目前,易点天下已通过自建数据治理平台,实现了数据治理的自动化。其中,血缘管理使数据流向清晰可追溯,有助于问题排查保证;统一的数据指标,也使得不同团队可使用相同的度量标准,从而提高数据可比较性和可信度。
数据治理是一项长期、动态的工作,基于从数据开发到数据调度再到数据治理的一站式智能化数据管理平台,目前易点数据团队在将数据开发效率提升80%的同时,也将整个成本降低了40%。
Infi He补充道:“为了提高DataOps运行的质量,我们期望以更低的成本,更快速的查询处理速度来应对大数据处理。下一步,我们将从日志接入到数据计算再到入库更多的尝试serverless化基础资源的方案,以做到快速弹性伸缩和更低成本;同时也将进一步尝试MMP数据库化,利用目前OLAP数据库的计算和新特性,更高效的快速响应用户的交互式查询需求。”