2023-06-16 13:43:37 科技世界网
随着企业、机构中非结构化数据应用的日益增多以及AI的爆发式增长所带来的大量生成式数据，所涉及的数据呈现了体量大、格式和存储方式多样、处理速度要求高、潜在价值大等特点。但传统数据平台对这些数据的处理能力较为有限，如使用文件系统、多类不同数据库存储上述数据，在数据存储管理、查询分析效率、数据价值挖掘等方面都存在一定的瓶颈，例如传统数据库查询是点查和范围查的一种精确查询，无法满足大模型下如智能问答、智能推荐等场景。
因此，企业急需一款或数款管理好非结构化数据的数据管理平台。业内常用的做法，是利用人工智能中的表示学习，将这些非结构化数据抽象、转换为高维度的多维向量，由此可以结构化地在向量数据库中进行管理，实现快速、高效的数据存储和检索过程，结合相似性检索特性，进而更高效地支撑更广泛的应用场景，比如智能推荐场景等。同时，随着大语言模型应用中对长文本处理和领域知识表示使用的深入，对向量数据库的需求也日益迫切。
近日，在向星力•未来数据技术峰会上，星环科技正式发布了分布式向量数据库Transwarp Hippo。作为一款企业级云原生分布式向量数据库，星环分布式向量数据库Hippo支持存储、索引以及管理海量的向量式数据集，提供向量相似度检索、高密度向量聚类等能力，有效地解决了大模型在知识时效性低、输入能力有限、准确度低等问题，让大模型更高效率地存储和读取知识库，降低训练和推理成本，激发更多的AI应用场景。在赋予大模型拥有“长期记忆”的同时，还可以协助企业解决目前最担忧的大模型数据隐私泄露问题。
大模型的快速应用，推动向量数据库向高扩展、高性能、实时性方向发展
大模型正在与企业应用迅速结合，重塑企业应用中人与数据的交互方式。然而，不管是通用模型，还是微调出来的行业模型，都存在着一定的局限性：
* 实时性难题：模型训练需要很长的时间，可能需要半年或一年，实时资讯、新闻、市场行情等快速变化的信息，无法及时地内置到模型当中。
* 长Token难题：大模型的输入Token(文本中的最小单位)能力受到算力和工程化程度的限制。在这种限制下，例如无法将一家上市公司的全部年报数据输入进大模型，导致不能进行全面的分析。
* 精度校正难题：大模型虽然经过大量数据的长期训练，但很多场景下精准度还是不够，需要补充知识库进行校正，让其能够给出更准确的结果和更实时的信息。
目前，大模型训练所使用的数据包含了如文档、图片、音视频等各种类型的非结构化数据。用户可以通过表示学习的预处理方式将这些数据转化为多维向量，并存储在向量数据库中，从而可以很好地解决上述三个问题。比如，在应用端与大模型进行交互时，将输入的文字、图片等问题信息进行向量化，先进行语义搜索，找到相关的信息，将其拼接成提示词传递给大模型，大模型通过计算分析后反馈结果。
星环科技创始人、CEO孙元浩表示，“向量数据库承担了中间存储的角色，我们认为向量数据库就是大语言模型的海马体，是一个记忆体。其基本功能是能够存储多维向量，并提供进一步的检索。”
向量数据库早先被用于文本搜索或者语义搜索，过去不少公司用来做个性化推荐、构建知识图谱等。随着大模型的兴起，向量数据库可以让大模型更高效率地存储和读取知识库，并以更低的成本进行模型微调，进一步地激发AI应用场景。此外，几千、上万种应用带来海量的数据，需要一个高扩展的向量数据库来存放更多的数据信息。而向量数据复杂度的提升，模型推理速度的加快等也要求能够提供高性能的检索能力。实时动态变化的数据，对向量数据库的实时写入、实时更新、实现召回能力的要求变高，通过将实时资讯、实时新闻、市场行情等快速变化的信息及时地内置到模型中，使其能够提供更实时、更精准的结果。
星环科技分布式向量数据库Transwarp Hippo
星环分布式向量数据库Hippo作为一款企业级云原生分布式向量数据库，基于分布式特性，可以对文档、图片、音视频等多源、海量数据转化后的多维向量进行统一存储和管理。通过多进程架构与GPU加速技术，充分发挥并行检索能力，实现毫秒级高性能数据检索，结合相似度检索等技术，帮助用户快速挖掘数据价值。
与开源的向量数据库不同，星环分布式向量数据库Hippo具备高可用、高性能、易拓展等特点，支持多种向量搜索索引，支持数据分区分片、数据持久化、增量数据摄取、向量标量字段过滤混合查询等功能，很好地满足了企业针对海量向量数据的高实时性检索等场景。
* 云原生技术，支持弹性扩缩容
星环分布式向量数据库Hippo采用全面容器化部署，支持服务的弹性扩缩容，同时具备多租户和强大的资源管控能力。
* 高扩展性，海量向量数据存储
与直接利用各类算法lib不同，星环Hippo存储和计算都可以充分利用分布式特性，按需灵活扩展，满足大规模集群部署需求;通过Raft算法确保数据的强一致性;并提供故障迁移，数据修复等数据保障能力。
* 深度优化，高性能数据检索
星环分布式向量数据库Hippo支持多进程架构与GPU加速，充分发挥并行检索能力;支持基于检索速度和内存使用的特定优化，以及寄存器级算法优化;同时提供多类索引支持，满足不同需求不同体量的业务场景。
* 动态更新，实时检索
星环分布式向量数据库Hippo提供数据动态更新的能力，对于实时插入/更新的数据，可以快速完成数据的加载和索引的构建，解决向量数据T+1的传统处理逻辑，满足实时动态变化数据的向量检索分析。
* 多样化接口，丰富场景支持
星环分布式向量数据库Hippo供标准的Python、Restful、CPP、Java API等接口，可轻松对接各类应用和模型，提高应用开发和调用的效率。同时，提供类SQL接口，满足入库等特定场景，大幅降低使用和操作的难度。
* 多模型联合
基于TDH多模型统一技术架构，向量数据与关系型数据、图数据、时序数据等多种模型数据可进行统一存储管理，并通过统一接口实现数据跨模型联合分析。
具备高可用、高性能、易拓展等特点的星环分布式向量数据库Hippo，可以很好地满足企业针对海量向量数据的高实时性等场景。
* 文本检索
传统搜索引擎更偏向于词/句的精确查询，星环分布式向量数据库Hippo通过向量引擎提供自然语言处理能力，可以更好地支持基于语义的查询分析，让查询更满足人性化的需求。
* 语音/视频/图像检索
星环分布式向量数据库Hippo将多维向量特征构建成高效的向量索引，实现数据的相似性检索，可覆盖人脸识别、语音识别、视频指纹等多类AI场景。
* 个性化推荐
星环分布式向量数据库Hippo可与各类深度学习平台搭建的模型进行耦合，通过向量相似度检索，可以对用户行为与喜好等多方面进行分析、挖掘，做到千人千面的推荐效果。
* 智能搜索，智能问答
知识图谱的目的在于将结构化数据、非结构化数据以及这些数据、实体之间的关联关系进行存储和表达。通过星环分布式向量数据库Hippo可以将这些信息更好地进行表达和处理，给出符合需求的一系列近似答案和推荐查询。
向量数据库与图数据库联合，低成本、高效构建特定领域大模型应用
基于星环分布式向量数据库Hippo，可以有效地解决大模型在知识时效性低、输入能力有限、准确度低等问题。通过将最新资料、专业知识、个人习惯等海量信息向量存储在星环分布式向量数据库Hippo中，可以极大地拓展大模型的应用边界，让大模型保持信息实时性，并能够动态调整，使大模型拥有“长期记忆”。
通过建立垂直领域的知识库，对大模型输出结果进行校正，可以提高结果的精准度，在一定程度上解决“AI幻觉”问题。
此外，通过星环分布式向量数据库Hippo对向量数据进行存储，有效解除大模型对输入的限制，并且大模型在安全机制下访问向量数据库中的隐私数据，可以充分保证数据安全，杜绝隐私泄露风险。
然而，大模型只有向量数据库还不够。在召回的基础上通过提示工程确保数据更精确，更贴近实际场景，同样也是重要的一环。星环科技将分布式向量数据库Hippo和分布式图数据库StellarDB结合，并以此作为微调的数据凭依，可以更低成本、更高效地构建特定领域的大模型应用。
图数据库StellarDB和知识图谱联合，与大模型可视化端到端构建工具一起，提供了知识抽取融合、知识建模、知识图谱生成存储、基于大模型的知识问答等闭环功能。客户以知识图谱作为大语言模型提示即可发起模型微调，以较低代价就可获得行业的专属大语言模型问答应用。
将向量数据库、图数据库与大语言模型结合，可以构建业务域知识图谱和业务系统的应用服务，进一步提高人机交互的效率，提供更灵活的组合业务服务，激发出更多更深入的业务场景AI应用。
例如，在询问某开源通用大模型关于某集团玉米收储价格、某集团主要合作上下游企业等问题，通用大模型没有行业知识，无法给出准确答案。而把农业知识图谱和向量数据库结合后，可以从知识图谱中去获取或者补充大模型的答案，使其可以精确地回答新收猪价以及价格影响等。
通过这样的组合可以解决大模型目前存在的三大问题。一是能够把实时的知识、变化的信息放到大模型中，二是能够校正结果的准确性，极大地提升精准度，三是构建相应的知识图谱，增强大模型的能力。
在星环科技此次推出的金融领域大模型“无涯”中，基于星环科技自身在金融领域积累的上百万金融专业领域的语料，结合图数据库StellarDB、深度图推理算法技术，形成了大规模高质量的金融类事件训练指令集，共同铸就了星环开发金融领域大语言模型的坚实底座。星环“无涯”大模型能够理解金融行业的术语，也能够执行特定的任务，比如分析上市公司的年报、公告，生成新闻摘要，判断特定新闻事件产生的影响等，提升分析师、研究员、投资经理的效率。
