首页 > 技术

直击亚马逊云科技生成式AI构建者大会现场,Zilliz分享新时代向量数据库

2023-11-03 09:30:18      飞象网   


  生成式 AI 应用落地已经从热火朝天的“百模大战”,步入到了少数优秀模型脱颖而出,工具链百花齐放,以及企业主管认真寻找生成式 AI 落地场景的新阶段。然而,大模型是否能够真正落地并应用于实践、如何基于开发者自身 IT 架构快速构建AI Native 应用、如何衡量引入生成式 AI 的价值等问题引发行业关注。

  在此背景下,亚马逊云科技举办亚马逊云科技生成式 AI 构建者大会。在本次大会中,众行业大咖和技术专家们深度聚焦生成式 AI 前沿技术,就生成式 AI 的热点技术话题和热门应用场景展开了深入分享与交流,为开发者们解读了当下应如何应对生成式 AI 带来的机遇,在 AI 时代保持强有力的竞争力。

  Zilliz 合伙人兼技术总监栾小凡、Zilliz AI 云平台负责人陈将受邀参加。

  以下是他们的精彩发言:

  栾小凡表示,向量数据库是一种将数据存储为高维向量的数据库,高维向量是特征或属性的数学表示。拆解来看,向量数据库有两个关键要素,一是面向高维向量数据的处理能力,二是具备一个数据库的基本能力。因此,作为向量数据库需要具备支持向量数据的增删改查、高性能的向量检索、支持数据的持久化、支持一种易用的查询语言的能力。

  此外,还可以从许多角度来评估向量数据库:系统的扩展性、弹性、可用性,所采用的向量检索算法,是否支持标量过滤、混合查询、多向量等功能,是否开源,是否提供云服务,以及是否有完善的生态支持等。Milvus 和 Zilliz Cloud 作为全球领先的向量数据库,能够从多个维度满足开发者对于向量数据库的需求。

  Zilliz 合伙人兼技术总监栾小凡

  当然,并非所有的向量数据库都生而平等。栾小凡认为,开发者评判自己是否需要真正的向量数据库时,需要着重考虑应用场景。向量数据库的传统应用场景包括文本类(如翻译和语义检索)、图片类(如去重和以图搜图)、视频类(如推荐和内容合规检测)、生物制药、自动驾驶等。随着大模型时代的到来,向量数据库的应用场景也随之拓展,包括 RAG(Retrieval-augmented generation)、AI Agent、多模态大模型等。

  陈将在进行主题分享时则对 RAG 应用于向量数据库的场景进行了详细拆解。陈将认为,LLM 的最大问题就是缺乏最新的知识和特定领域的知识。对于这一问题,业界有两种主要解决方法:微调和检索增强生成。业内许多公司(如 Zilliz、OpenAI 等)都认为相比微调,RAG 是更好的解决方法。归根究底是因为微调的成本更高,需要使用的数据也更多,因此主要适用于风格迁移(style transfer)的场景。

  Zilliz AI 云平台负责人陈将

  相比之下,RAG 方法使用例如 Milvus 之类的向量数据库,从而将知识和数据注入到应用中,更适用于通用场景。陈将提到,采用 RAG 方法就意味着使用向量数据库存储真理数据,这样可以确保应用返回正确的信息和知识,而不是在缺乏数据时产生幻觉,捏造回答。不过,随着越来越多的文档、用例等信息被注入应用中,越来越多开发者意识到信息来源的重要性,它可以确保信息准确性,使得大模型的回答更加真实。

相关阅读