首页 > 技术

国产数据库共话未来趋势,Zilliz分享向量数据库新思考

2023-12-07 18:08:17      天极网   


  无论是“海纳百川,有容乃大”的开源环境,还是“群英荟萃,百家争鸣”的技术氛围,属于国产数据库的时代大幕已经在每一位开发者的眼前缓缓展开。

  近期,【国产数据库·共话未来趋势】线下沙龙在西湖畔落下帷幕,国产数据库领域资深专家汇聚一堂,共同交流探讨数据库技术。本次内容涵盖 AI 时代的向量数据库、关系型数据库与 Serverless 等前沿技术分享,以及如何在 K8s上管理数据基础设施等议题。

  Zilliz 合伙人和技术总监 栾小凡 带来《当 AI-Native 遇到 Cloud-Native,向量数据库到底应该如何做》,分享 Zilliz 在 AI 时代做了哪些事情,以及从 Zilliz 的角度出发怎么看待向量数据库或者非传统数据库未来的发展。

  栾小凡首先提出, AI-Native 时代的到来对于数据库提出了更多要求,相应地开发者对其需求也发生了变化,具体包括以下四个方面:

  非结构化数据理解困难。非结构化数据(长文本、视频、图片、音频、生成分子式、推荐信息)无法通过简单的机器学习算法进行 Zero Shot 的理解,大模型的出现给非结构化数据理解和处理提供了新的思路,通过更加通用的方式处理非结构化数据成为了可能。

  语意正确。AIGC 时代,查询不再是准确 100% 的“正确性”,相关和上下文更加重要,基于向量检索的方案成为主流。

  数据体量庞大。未来超过80% 的数据属于非结构化数据,AIGC 时代数据的生成速度远超过去,系统扩展性性能至关重要。

  缺乏工具。虽然传统的结构化数据处理并不简单,但由于 ETL、数据库、数据仓库等工具在过去 30 年的发展,已经变得相对成熟。然而,非结构化数据处理的工具链才刚刚开始构建,这就使得结构化数据的处理变得更具挑战性(相较结构化数据)。

  随后,栾小凡深度剖析了向量数据库在 AI 时代的变化过程。AI 1.0 时代,向量数据已经被广泛应用于机器学习应用中,包括推荐、搜索、翻译、图搜、风控、安防等;大模型时代的到来,使得向量数据涌现出维度更高、体量更大、用途更广泛的特征。在此过程中,全球*的向量数据库 Milvus 也经历从了 1.0 架构向 2.0 架构演进的过程。

  提及当时重新搭建 Milvus 2.0 的决定,栾小凡感慨颇深。彼时,随着用户数据体量的增长,老的架构扩展性逐渐成为瓶颈;其次,随着 AI+大模型的快速发展,对向量数据库的功能要求越来越高,需要更加灵活的数据模型和 API;K8s 和云原生逐渐成熟,搭建分布式系统的难度逐渐降低……多种因素加持下,Milvus——这个集结了诸多优秀技术人的团队坚持向【做出世界*先进向量数据库系统】的理想靠近。*终,一个拥有 AI Native + Cloud Native 的 Milvus 2.0 诞生。

  Milvus 2.0 架构

  不过,栾小凡提到,向量数据库绝不仅仅是用来进行简单的向量检索,要想真正提升开发者的开发效率和使用成本,需要系统开发者深入理解硬件、存储、数据库、AI、高性能计算、分布式系统、编译原理、云原生等方方面面,以确保其稳定性、性能和易用性。一个理想的向量数据库应该具备以下特性:数据持久化和低成本存储、高性能查询、数据分布、易于使用、稳定可用。向量数据库是典型的 Big Data Serving 系统,可运维可观测、智能化。

  想要了解更多对于向量数据库的知识,可关注微信公众号 Zilliz 获取。

相关阅读