首页 > 技术

利用RAG有效解决大模型幻觉,向量数据库公司Zilliz做对了什么?

2024-01-16 10:29:00      西盟科技资讯   


  过去一年,大模型的爆火让越来越多的人关注到向量数据库这一赛道。一时间,与向量数据库有关的诸多问题频频引发热议:被 NVIDIA CEO 黄仁勋公开提及的 Milvus 是什么?向量数据库如何减少大模型幻觉?向量数据库的原理是什么?向量数据库的应用场景有哪些?向量数据库的排名如何?主流的向量数据库有哪些?云原生分布式向量数据库有哪些优势?……行业对于向量数据库的诸多讨论无不释放出一个信号:向量数据库正在大模型时代扮演着重要的角色。

  近期, 全球领先的向量数据库公司 Zilliz 发布了 2023 年度总结。作为赛道的龙头公司,Zilliz 的每一步都是业界关注的焦点,因此其年度复盘一经公布,便引起行业侧目。总体来看,Zilliz 无论在产品打磨、社区发展还是商业化进程方面,都取得了亮眼的成绩,具体可以从技术迭代、产品更新、商业化进程、社区发展、生态建设、技术布道等 9 个维度进行解读。

  1. 里程碑事件

  过去一年,Zilliz 经历了 4 个重要的节点:

  生态方面,与 OpenAI、NVIDIA 等成为战略合作伙伴;

  社区方面,Milvus 2.3.0 版本上线,Milvus Github Star 数实现 25,000,用户数超 10,000,000 人;

  商业化方面,Zilliz Cloud 在海内外上线,并覆盖全球 前TOP 四朵云,云上注册的企业用户数超 40,000 人;

  技术布道方面:全年举行/参与近百场线上线下活动、累计发布 百余篇 技术文章,赋能开发者。

  2. 社区建设再上新台阶

  Milvus 作为最受欢迎的开源向量数据库,全年共实现 20 次版本迭代,平均每 2 周迭代 1 次,持续建设强大的社区支持能力。

  3. 商业化实现从 0 到 1,迅速开疆辟土

  2023 年对于 Zilliz 而言是重要一年,不仅实现了从 0 到 1 的商业化进程的跨越,商业化产品 Zilliz Cloud 更是实现了 AWS、Azure、GCP、阿里云全球 4 大云 10 个节点的全覆盖,至此,Zilliz 成为全球首个提供海内外多云服务的向量数据库企业。2024 年,Zilliz Cloud 计划持续增加对更多云和节点的支持,满足用户进行全球化业务布局的需求。

  从用户方面来看,Zilliz Cloud 广受海内外用户好评,云上注册用户超 40K,覆盖全球大多数主流国家与地区。同时,Zilliz Cloud 的付费用户覆盖各行各业,分布在北美、欧洲、中国、日韩、东南亚等国家和地区,成为主流大模型公司及需处理不同规模的非结构化数据公司的首选产品。

  2024 年,伴随着 Zilliz Cloud 的海内外付费用户数量的不断增长,Zilliz 的商业化进程亦将踏入下一个快速发展的新阶段。

  4. 技术上新,从未止步

  Milvus 迭代

  过去一年,Milvus 始终保持着每 1-2 周更新一次版本的迭代速度,在 Zilliz 技术团队和社区成员的共同努力下,Milvus 也向着更稳、更轻、更强的方向演进:

  2023 年 2 月,Milvus 发布 2.2.3 系列,上线不停机滚动升级、Coordinator 高可用(HA)等新功能,后续通过在多个版本中持续改进,逐渐变得更加稳定,最终实现了零停机时间的滚动升级。

  2023 年 3 月,Milvus 2.3 Beta(GPU) 版本上线,相比于 CPU 版本,性能提升 10 倍。

  2023 年 4 月,轻量版 Milvus——Milvus Lite 上线,为没有专业运维团队支撑、安装部署环境受限的群体提供了新的可能。

  2023 年 5 月 Milvus 发布 2.2.9 版本,支持 JSON 数据类型,增加了 Dynamic Schema、PartitionKey 等。

  2023 年 8 月,Milvus 2.3.0 正式上线,带来了如 GPU 支持、Query 架构升级、更强的负载均衡调度能力、新的消息队列、Arm 版本镜像、可观测性、运维工具升级 MMap 等能力。其中,与传统的内存索引相比,MMap 可以实现内存节省10倍以上,对 RAG 应用尤其有益。

  2023 年 12 月,Milvus 2.3.4 版本上线,对内存管理、协程处理和 CPU 优化进行了显著改进。这些改进使得在单个集群中创建数万个 Collection 变得可行,从而可以使用一个 Collection 一个租户的方式支持多租户。

  向量数据库评测产品上线

  2023 年 6 月,全球首个向量数据库性能测评软件 VectorDB Bench 正式开源及上线,收录了包括 Milvus、Zilliz Cloud、Elastic Cloud、PgVector 、Redis 等在内的 9 大主流产品,可帮助开发者全面、客观、高效地评估向量数据库。

  大模型时代的其他开源产品

  除了 Milvus,在大模型浪潮下,Zilliz 技术团队也相应推出了如 OSSChat、GPTCache 这样适配技术趋势的产品:

  2023 年 4 月,业界首个服务于开源项目的知识问答机器人 OSSChat 上线,接入 Kafka、Elasticsearch、Spark 等热门开源项目,用户数量达 20K,覆盖中国、美国、印度、德国等多个国家。同时,Zilliz 也开放了 OSSChat 背后的技术——开源的 RAG 框架 Akcio,持续为大模型时代的开发者赋能。

  与此同时,大模型的语义缓存层 GPTCache 上线,在有效提升大模型性能、提升开发效率的同时,还可帮助用户减少开发成本。上线短短 30 天,GitHub Star 数便突破 3K,目前下载量近 1.35M。

  Zilliz Cloud 迭代

  2023 年,Zilliz Cloud 先后登陆 GCP、AWS、阿里云、Azure,为海内外用户提供基于 Milvus 的云原生服务。同时,Zilliz Cloud 通过一次次的技术迭代,真正实现了“更强、更快”“更易用、更智能”:

  更强、更快

  Zilliz Cloud 可提供百亿级向量数据毫秒级检索能力。

  Zilliz 综合性能是Milvus 开源引擎的 2 倍以上,引擎针对典型场景进行深度优化,性能可提升 3-5 倍。

  2023 年 9 月,支持 ElasticSearch to Zilliz Cloud、Data Migration Across Zilliz Cloud Clusters 和 Advance Pay。

  2023 年 11 月,支持系列内核新功能:Range Search、Consine、Upsert 等。

  更易用、更智能

  2023 年 5 月,上线 Serverless 免费实例,为用户提供企业级能力(Organization、Collaboration、RBAC)。

  2023 年 12月,上线全托管的 BYOC 向量数据库服务。

  2023 年 12 月,上线 Pipelines 助力 RAG 应用开发。

  5. 深入线上线下活动,赋能开发者

  2023 年,Zilliz 累计发布 100+ 技术文章,各个渠道累计阅读量 150K+:

  2023 年,Zilliz 共策划了 15 场线上直播 & 线下 Meetup,参与者超 30K:

  2023 年,Zilliz 在 Bilibili 共发布技术视频 25个,累计播放量达 47K+:

  此外,Zilliz 参与/举办了近百场技术大会、活动:

  6. 论文持续入选顶会

  截止目前,Zilliz 技术团队多篇论文入选数据库三大国际顶会,引领向量数据库技术的发展

  —— ICDE、VLDB、SIGMOD

  7. 合规方面成果显著

  在合规方面,Zilliz 也走在行业前列:

  通过 SOC 2 Type Ⅱ 有关安全性、可用性及保密性的体系认证

  通过 ISO27001 有关信息安全的 ANNB 和 UKAS 认证(美国和国际双认证)

  GDPR 合规标准完善中,并将于 2024 年上半年完成

  8. 获得行业及专业媒体的高度肯定

  9. 赢得 5000 +企业级用户信赖

  很荣幸,截止 2023 年 12 月31 日,Zilliz 已经赢得了 5000+ 企业级用户的信赖。

  踏上 2024 年的征程,Zilliz 期待与诸位继续同行,一路繁花!

相关阅读