为什么RAG系统要拥抱向量检索?揭示关键字检索的致命弱点!


搭建RAG系统时,使用 向量检索 的原因主要在于其能够有效解决传统 关键字检索 的 局限性,并提升检索的准确性和效率。
那么关键字检索到底存在什么局限性?向量检索是如何解决的?这篇文章文章带你搞明白这背后的原因。

关键字检索的局限性
传统关键字检索依赖于词频统计,如基于BM25的倒排索引,这种方式无法理解语义信息,因此在处理复杂查询时存在以下问题:
语义理解不足:关键字检索仅 匹配字面相同 的词语,无法捕捉到 语义上的相似性。例如,查询 “苹果公司最新产品有哪些?”,关键词检索就可能返回关于水果“苹果”种植技术的文档。
模糊表达和拼写错误:对于模糊描述或拼写错误的查询,关键字检索容易返回不相关的结果。
长尾查询支持不足:当查询包含多个关键词或复杂结构时,关键字检索的召回率较低。
向量检索的优势
而向量检索是通过将文本转换为多维向量表示,并利用向量之间的相似度计算,比如:余弦相似度 来匹配查询,从而克服了关键字检索的局限性:
语义理解能力强:向量检索能够捕捉文本的语义信息,即使查询和文档中没有完全相同的词语,或是不同种类的语言,也能找到语义上相关的匹配项。
例如,查询 “为什么下雨前蚂蚁会排队搬家?”,即使文档中未明确提到“蚂蚁搬家”,模型仍能通过向量相似度关联到 “昆虫感知气压变化” 的科普内容。
处理模糊表达和拼写错误:向量检索对模糊表达和拼写错误具有一定的容错能力,能够通过语义相似度匹配到相关内容。
支持复杂查询:向量检索能够更好地处理包含多个关键词或复杂结构的查询,提高召回率和相关性。
向量检索与RAG系统
在RAG系统中,向量检索作为核心组件,负责从大规模数据集中快速找到与查询语义最接近的内容:

高效性:向量数据库支持高维数据的快速相似性搜索,能够在大规模数据集中快速找到最相似的向量。
灵活性:向量检索可以结合不同的嵌入模型和向量数据库技术,模型比如BGE-M3、text-embedding-3-small,向量数据库如 Milvus、Faiss等,灵活应对不同场景的需求。
提升生成质量:通过向量检索获取的相关内容作为输入,再结合大语言模型生成更准确、更丰富的回答。
课代表小结
尽管向量检索在语义理解上具有优势,但在某些情况下,如:专有名词、人名、缩写词 搜索,传统关键字检索可能更为有效。
因此,混合搜索方法:结合向量检索和关键字检索被提出,以弥补各自的不足,实现更广泛的文本搜索。
往期推荐:
1、开发RAG系统,知识库的文档应该如何切分?有哪些注意事项
2、刷爆全网的 Manus 又是什么技术?比DeepSeek还要厉害吗?
3、搞懂:生成式AI和决策式AI的异同点,以及生成式AI的核心优势?
好了,本期内容就是这么多,希望能够帮助到您,感谢您能读到最后,如果觉得内容不错,请您点赞转发给予鼓励,咱们下期再见。

到顶部