2023-01-11 14:45:18 科技讯
近期,由 SelectDB 主办,百度智能云、腾讯云联合举办的 Apache Doris (https://github.com/apache/doris)社区首届峰会 Doris Summit 2022 圆满落下帷幕。本次峰会以 Select Future From Doris 为主题,汇聚了来自 SelectDB、百度、腾讯、美团、小米、京东、字节跳动、阿里云、亚马逊云科技、网易、知乎、斗鱼、马上消费金融、易观、韵达、360 等行业领军企业的 40 余位资深数据专家。在为期两天的在线峰会上,众多专家共同探讨了业界最前沿数据分析技术的演进趋势以及数字化时代数据分析平台建设的最佳实践,为参会的数万名大数据领域开发者奉上了一份精彩的技术盛宴。全球大数据和数据库领域最活跃的开源社区之一
本次峰会在 Apache 基金会 2022 年董事姜宁的开场致辞中正式拉开序幕,Apache Doris PMC 主席陈明雨以 《New Journey of Apache Doris》 为题,详细回顾了过去一年 Apache Doris 社区所取得的成绩 —— 累计贡献者规模超过 420 位、同比增长超过 100%,每月活跃贡献者增长至 100 位、同样呈翻倍增长的趋势,GitHub Star 数量从 3.6k 增长至 7.6k,多次登上 GitHub Trending 榜单、受到全球开发者的关注……从多个社区活跃度指标看,Apache Doris 已经成为全球大数据和数据库领域最为活跃的开源社区之一!
“另外在 2022 年 6 月, Apache Doris 迎来了开源以来最重要的里程碑之一,正式从 Apache 孵化器毕业、成为了 Apache 顶级项目”,陈明雨说到,“ 所有取得的成就,都离不开社区所有开发者与用户的支持,也正是因为有了他们的贡献,才使得 Apache Doris 有如此快的发展,未来 Apache Doris 也会回馈所有用户以极致的数据分析体验。” 2022,更快、更实时、更统一
在主论坛的主题分享环节,来自 SelectDB、百度、美团、字节跳动等多家企业的社区核心贡献者带来了 Apache Doris 在性能和功能上的优化创新及取得的成效。
性能方面,SelectDB CTO 衣国垒介绍到:“通过向量化执行、内存管理优化、自适应字典计算、Global Runtime Filter 等一系列查询优化手段,Apache Doris 在单表场景斩获 Clickbench 全球数据库性能榜单前三的优异成绩,多表关联场景在 SSB 和 TPC-H 等标准测试数据集有数倍乃至数十倍的性能提升,跻身全球数据库性能最前列!”
功能方面,来自 SelectDB、美团、字节跳动、百度的多位技术专家介绍了全新 Unqiue Key 主键模型、全新查询优化器、数据湖联邦分析、半结构化数据分析以及多表物化视图等核心特性的研发进展,同时分享了社区在版本发布和代码质量保障方面的思考。这一系列工作使得 Apache Doris 在实时性、稳定性和易用性等多方面得到全面进化,同时也具备了更多数据分析场景的适应性,开始迈入极速实时统一的数据分析时代。 来自各行业用户最真实的声音
社区用户方面,在过去一年,Apache Doris 也收获到了更多开发者的认可,有越来越多的企业基于 Apache Doris 构建全新的数据分析平台架构。
“经过统计,在全球范围内 Apache Doris 的企业用户规模已经超过了 1000 家、被广泛应用于数十个行业中,成为最受人们认可的 OLAP 数据库之一!”陈明雨补充道,“同时 Apache Doris 社区已经聚集了数万人的用户社群,社区成立了一只专职的工程师团队在社群中为所有用户答疑解惑,同时也有许多开发者在社群中交流使用心得和分享实践经验,让更多技术爱好者有了一个自由交流数据库知识和提升技术水平的平台。”
在此次峰会的行业最佳实践论坛中,美团、京东、小米、腾讯音乐、360、马上消费金融、杭银消金、斗鱼、知乎、韵达、易观、同程数科等行业领军企业的多名参会专家,纷纷介绍了 Apache Doris 在企业内部大规模落地应用的实践经验,并深度解读了 Apache Doris 如何帮助企业实现降本增效。
在纵腾集团的案例分享中,Apache Doris 已经助力纵腾集团快速构建起一个全新的流批一体数仓架构,单日实时入库数据量可达上亿规模,同时支持上百个调度任务平稳运行,解决了随数据增长而日益复杂的业务需求。 在腾讯音乐的案例分享中,Apache Doris 助力腾讯音乐内容数据平台在百万分群圈选场景中实现了近 20 倍的性能提升,同时在存储和开发维护上降低了 40%以上的投入成本。在慧策的案例分享中,通过 Apache Doris 替代了原有的 Clickhouse,不仅极大提升了ETL效率,还极大降低了存储成本、存储空间仅原先40%不到。在美团的案例分享中,Apache Doris 已成为美团内部统一的OLAP引擎,支持外卖、买菜、优选等十余业务线,集群规模超百个、总机器规模数千台。在马上消费金融的案例分享中,基于 Apache Doris 全新的实时数仓架构极大提升了数据时效性,从数据生产至数据应用,整个数据处理链路时延不超过1分钟。在杭银消金的案例分享中,利用 Apache Doris 1.2 最新版本的数据湖分析功能,实现对ES/Hive等多种异构数据源的统一分析,并极大提升了查询性能,降低资源消耗的同时使系统稳定性进一步提升。在斗鱼的案例分享中,Apache Doris 解决了过去烟囱式开发和繁重架构带来的难运维问题,并实现标签圈选时间分钟级至秒级的进化,实时标签任务稳定性的同时产出时间也提升了40%。
除以上所摘选内容外,还有更多技术专家把自身真实业务场景的需求与实践沉淀成宝贵的经验,在峰会上分享给所有参会的开发者。 丰富的数据上下游与商业生态
数据生态同样是 Apache Doris 社区重点建设的方向。在商业与数据生态论坛上,来自 Apache DolphinScheduler PMC、Apache Kyuubi 、Apache Inlong、Dinky 社区、ClouGence 等开源社区及企业的多名技术专家为大家带来了数据分析与处理链路的深入思考,并解读了如何结合 Apache Doris 构建对用户体验更加的数据分析解决方案。
开源项目的成功离不开商业化力量的支持,如何通过企业级特性的增强为客户提供具备差异性价值的服务,以及如何将开源技术和云原生更好地结合、构建具有竞争力和影响力的产品和解决方案,同样是本次峰会的亮点。在商业与数据生态论坛上,来自 SelectDB 的技术副总裁杨勇强在峰会上介绍了基于 Apache Doris 内核打造的云原生实时数据仓库 SelectDB Cloud,采用完全存算分离的架构设计,是国内首款实现多云中立、全托管且 SaaS 化的云数据仓库。
此外 百度智能云、腾讯云以及火山引擎等国内一线云厂商分别介绍了基于 Apache Doris 打造的云数据仓库服务,可以快速助力企业建极速易用的云上数据分析平台。 全新定位,极速、易用、实时、统一的多模分析型数据库
在本次峰会上,Apache Doris PMC 陈明雨还代表社区首次发布了全新定位,并公布了社区 2023 年的研发计划。
“如果说过去 Apache Doris 更多是服务于在线报表场景和 Ad-hoc 分析的 OLAP 引擎的话,那么在所有社区和开发者的努力下,当前 Apache Doris 已经具备了更为广阔的定位,即极速、易用、实时、统一的多模分析型数据库。”陈明雨说道,“这其中的统一,既包含了架构的统一、也包含了业务和数据的统一。用户可以通过 Apache Doris 构建多种不同场景的数据分析服务、同时支撑在线与离线的业务负载、高吞吐的交互式分析与高并发的点查询;通过一套架构实现湖和仓的统一、在数据湖和多种异构存储之上提供无缝且极速的分析服务;也可通过对日志/文本等半结构化乃至非结构化的多模数据进行统一管理和分析、来满足更多样化数据分析的需求。这是我们希望 Apache Doris 能够带给用户的价值,不再让用户在多套系统之间权衡,仅通过一个系统解决绝大部分问题,降低复杂技术栈带来的开发、运维和使用成本,最大化提升生产力。”
在2023 年,Apache Doris 社区将开启更多有意义的工作,全年的研发计划主要会围绕高性能、高性价比、混合负载分析、多模态数据分析、湖仓一体、实时性以及易用性与稳定性等方向展开,将回馈所有用户以更佳的数据分析体验,致力于成为全球OLAP 数据库的新标杆。
至此,Doris Summit 2022 社区首届峰会圆满收官! 峰会的顺利举行,要特别感谢参与本次峰会分享的 40 余位技术专家以及 10 余位议题评审委员会专家,为所有社区用户、开发者、数据库技术从业者以及全体热爱开源的人士带来了一场如此精彩的技术盛宴,同样也要感谢所有参与本次峰会的合作伙伴以及工作人员。
2023 年是 Apache Doris 全新征程的开始,在未来的日子里,Apache Doris 必将本着为人们解决数据分析问题的初心,继续砥砺前行。相信在所有社区用户和开发者的帮助下, Apache Doris 会在更多的行业中和场景中得到更深度的应用。也期待 Apache Doris 走向全球,为更多不同地域的人解决数据分析难题,代表中国开源力量在全球舞台闪耀!
# 关于主办方
SelectDB 是 Doris Summit 2022 的主办方,也是 Apache Doris 背后的商业化公司。SelectDB 致力于为 Apache Doris 社区提供一个由全职工程师、产品经理和支持工程师组成的团队,繁荣开源社区生态,打造实时分析型数据库领域的国际工业界标准。基于 Apache Doris 研发的新一代云原生实时数仓 SelectDB,运行于多家云上,为用户和客户提供开箱即用的能力。
