跳转至

向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它

Ch01.1198 向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它

📊 Level ⭐⭐ | 4.9KB | entities/向量检索知识图谱与-llm-wikirag-被嘲笑了三年但企业还是离不开它.md

向量检索、知识图谱与 LLM Wiki:RAG 被嘲笑了三年,但企业还是离不开它

RAG在网上已经死过很多遍了,谁用谁Low,但是实际上很多的企业知识库仍然在使用,并且依然是主流选择方案。

但是,这些论调会把很多人带偏,尤其是对知识库和RAG没有体系化认知的同学。

这里我们首先要理解一个问题:在AI时代,知识库为啥变得如此被需要?

大模型在回答问题时,它只知道公域知识,并不知道我们私域的知识,在这种情况下它就容易出现幻觉,胡乱编造一些看似正确的答案给我们。

为了缓解这个问题,我们可以给大模型外挂一个知识库,让大模型在回答问题时能够参考可信的知识来源。

但新的问题又出现了。

企业知识库中的内容往往很庞大,而大模型的上下文窗口是有限制的,就不可能把所有的知识一次性全部提供给模型。

因此,在回答问题之前,需要先从海量知识中找到与当前问题最相关的信息,再把这些信息作为上下文给到大模型参考回答。

这种解决方案,我们称之为RAG,即知识检索增强生成 ** 。 **

如果给它下一个定义的话: ** RAG 是一种通过动态检索外部知识,并将检索结果作为上下文提供给大模型,从而提升回答准确性、时效性和可解释性的系统架构范式。 **

在理解了这些知识后,我们在看前面的问题,RAG真的会死掉吗?

答案肯定是不会的,因为 RAG 并不是某一种具体的技术,而是一种检索 + 生成的架构范式。只要大模型无法穷尽所有私有知识、实时信息和动态变化的数据,检索的价值就不会消失:

只不过,这几年年RAG 内部采用的技术在不断的演进。

从最早的关键词检索,到向量检索;从单路召回,到混合检索;从传统 RAG,到 Graph RAG、Agentic RAG,本质上都是在不断提升信息获取和知识利用的效率。

接下来,我们就展开讨论下RAG体系下有哪些检索技术:

全文检索

全文检索在RAG检索策略中非常常用,可以说是元老级别的存在,其实现以Elasticsearch为代表,在企业内部文档搜索、电商商品搜索、法律案例检索、专利查重等场景的背后都有它们的身影:

它的大致原理是,对用户输入的问题进行分词,然后通过倒排索引找到包含这些关键词的文档,在根据BM25算法计算出每个文档的相关性得分,然后返回排序后的结果。

其中BM25算法公式如下,但对大多数同学来说略微复

相关链接