今天使用kimi时，发现我依然还在 kimi 的200w字上下文排队申请中。这次的kimi chat 出圈儿实在是太火爆了，连官方都紧急扩容5次给用户使用了。
就在准备工作时，突然想到了一个问题，也是今天公众号文章的题目。
如果大模型都像 kimi 有200w字上下文，RAG还有意义吗？
一、什么是RAG？
简单来说，就是分三部分，从知识库检索信息，然后把信息作为prompt的一部分一同喂给大模型，相当于让大模型开卷考试，从比较准确的信息中给出回答。
检索（Retrieve）：从外部知识源检索相关信息。
增强（Augment）：将检索到的信息与用户查询结合。
生成（Generate）：利用结合的信息生成回答。
二、RAG解决了什么问题？
其实呢，RAG最主要是为了解决大模型两个问题：
大模型幻觉问题，
2.大模型本身知识库不全/不新。
因此，采用RAG，就相当于给大模型外挂一个可以经常更新的知识库，提高了大模型回答的准确性。
三、200w字上下文，有什么用？
而200w字的上下文，有没有解决大模型的问题呢？
在我看来，有点类似于“曲线救国”，只是把问题解决了一半。
为啥呢？
有了超长上下文，确实可以把整个知识库作为一个文件，比如txt文件喂给大模型，让大模型从中找到相关信息。
这也算是 few-shot，和RAG有异曲同工之妙。都是通过向量相似度匹配，只不过一个是大模型自己做的（kimi就可以这么理解），一个是在外部做好向量检索返回的结果再喂给大模型（RAG）
但是呢，幻觉问题也没解决，换言之也就是无损压缩问题没解决。
四、结论
其实我觉得，200w字上下文也是一个巨大的进步，和RAG应该是相辅相成的。
毕竟RAG的缺点是占用了prompt一定程度的 token 数量。
有了超长上下文支持，也不在乎这一点占用量了不是嘛。
毕竟，小学生才做选择，超长上下文和RAG我都要~
送上一句月之暗面CEO杨植麟采访名句： “所有问题都是文本长度的问题。如果你有10亿的 context length（上下文长度），今天看到的问题都不是问题”。
最后，如果你感兴趣的话，千万记得要加我 aiaiai2098，发送暗号：“芝麻开门”，我会拉你进 AI-RPA 群，一起交流。
另外，一群已经人满啦，现在是交流二群哦。
往期文章：
必看！RPA 自动化开发效率增加100%
RPA写的小红书AI Agnet，终于搞定了（文末自取）
我写了一款可以自动刷GPTs对话的机器人