向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它¶
Ch01.1198 向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它¶
📊 Level ⭐⭐ | 4.9KB |
entities/向量检索知识图谱与-llm-wikirag-被嘲笑了三年但企业还是离不开它.md
向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它¶
RAG在网上已经死过很多遍了,谁用谁Low,但是实际上很多的企业知识库仍然在使用,并且依然是主流选择方案。
但是,这些论调会把很多人带偏,尤其是对知识库和RAG没有体系化认知的同学。
这里我们首先要理解一个问题:在AI时代,知识库为啥变得如此被需要?
大模型在回答问题时,它只知道公域知识,并不知道我们私域的知识,在这种情况下它就容易出现幻觉,胡乱编造一些看似正确的答案给我们。
为了缓解这个问题,我们可以给大模型外挂一个知识库,让大模型在回答问题时能够参考可信的知识来源。
但新的问题又出现了。
企业知识库中的内容往往很庞大,而大模型的上下文窗口是有限制的,就不可能把所有的知识一次性全部提供给模型。
因此,在回答问题之前,需要先从海量知识中找到与当前问题最相关的信息,再把这些信息作为上下文给到大模型参考回答。
这种解决方案,我们称之为RAG,即知识检索增强生成 ** 。 **
如果给它下一个定义的话: ** RAG 是一种通过动态检索外部知识,并将检索结果作为上下文提供给大模型,从而提升回答准确性、时效性和可解释性的系统架构范式。 **
在理解了这些知识后,我们在看前面的问题,RAG真的会死掉吗?
答案肯定是不会的,因为 RAG 并不是某一种具体的技术,而是一种检索 + 生成的架构范式。只要大模型无法穷尽所有私有知识、实时信息和动态变化的数据,检索的价值就不会消失:
只不过,这几年年RAG 内部采用的技术在不断的演进。
从最早的关键词检索,到向量检索;从单路召回,到混合检索;从传统 RAG,到 Graph RAG、Agentic RAG,本质上都是在不断提升信息获取和知识利用的效率。
接下来,我们就展开讨论下RAG体系下有哪些检索技术:
全文检索¶
全文检索在RAG检索策略中非常常用,可以说是元老级别的存在,其实现以Elasticsearch为代表,在企业内部文档搜索、电商商品搜索、法律案例检索、专利查重等场景的背后都有它们的身影:
它的大致原理是,对用户输入的问题进行分词,然后通过倒排索引找到包含这些关键词的文档,在根据BM25算法计算出每个文档的相关性得分,然后返回排序后的结果。
其中BM25算法公式如下,但对大多数同学来说略微复