2023-12-12 16:04:38 ZAKER新闻
在近期结束的机器之心 AI 技术论坛上,一场以向量数据库为主角的主题论坛引发业内广泛关注。该论坛不仅罕见地汇集了国内向量数据库赛道内的各式公司,更是邀请到行业巨头 Zilliz 参会。
现场,Zilliz 合伙人、技术总监栾小凡进行了一次揭秘式的前沿思考,为业界各开发者提供了不同于以往的参考。
栾小凡表示,海量非结构化数据检索面临以下挑战:
非结构化数据的理解成本更高,基于规则的处理方案难以适应;
海量非结构化数据的处理性能和成本越来越关键;
不同于传统数据处理,非结构数据缺乏好的工具,如 ETL、数据库、数仓
而处理非结构化数据的核心是概率。栾小凡解释道,非结构化的处理是相似度,NLP 中根据上下文推断可能性,图像处理关注像素的相似度;而相似度的核心是概率,理解概率的本质是基于大量数据进行 Pretrain 和 Finetune。
随后,栾小凡进一步解释了概率对于检索意味着什么。他表示,搜索和生成是一体两面,搜索是选择题,生成是填空题,本质都是概率问题。那么,概率对于检索意味着什么?想要做对搜索,本质需要挖掘两种信息:领域内知识和领域外知识。领域外知识见得越多,泛化能力越强,领域内知识见得越大,生成越精确。因为 Pretrain+Finetune 成为了搜索和生成共同的烦事。而搜索的特殊性在于,因为知道答案范围,所以可以利用概率提前构建范围,本质是利用 Corpus 的相似性概率。
接下来,栾小凡着重介绍了从概率 1.0 时代到 3.0 时代的主流算法变化,包括 TF-IDF、Word2Vec、BERT 等。在此过程中,向量数据库的出现,极大地加速了稠密向量查询性能,使得在生产中落地向量检索成为了可能。从业务效果角度来看,尽管单纯的向量检索要强于单纯的关键词打分,然而这并非最优实现。选择向量检索只是由于 cross encoder 等算法代价过高的无奈折中之举。栾小凡强调,向量检索不应该只是简单传统数据库 + 向量检索 Library,随着场景的不断发展,向量数据库应该从单纯的数学 recall 转向更加复杂的业务 recall。
在此背景下,向量数据库未来发展的一个重要趋势是【由数据库向服务转变】,具体体现在以下六个方面:
关注扩展性,更关注弹性
多云、多机房、异地多活
不仅支持实时写入,更能做到离在线一体化
开箱即用的 Pipeline 服务
向量数据湖与离线分析
关注向量数据的安全与合规
目前,Zilliz 正延续上述方向在产品上不断升级打磨,其产品 Zilliz Cloud 提供开箱即用的全托管向量检索服务,已覆盖全球主流的云平台,包括 AWS、GCP、Azure、阿里云、金山云。近期,Zilliz Cloud 更是上线了 Pipeline,为用户实现 RAG 奠定了坚实的基础。