RAG流程应用

学习笔记：https://www.bilibili.com/video/BV1Hk4y1X7aG/?spm_id_from=333.337.search-card.all.click&vd_source=3c19bea296aa9d52754bb4d59a391305
一般RAG中可能会出现的问题有：内容缺失，排序问题，整合策略限制，提取不到有用信息，格式不符，错误的具体度，不完整性

可使用的方法：多查询检索器，上下文压缩，集成检索器，长上下文重排，父文档检索器

多查询检索器：query→大模型→n个query→多次检索→合并去重
上下文压缩：1.query→检索→长的有噪声的语句→大模型（利用合适的prompt：1.提取有关信息 2.删除无关信息）→去除无效信息，提取有关信息
2.相似度得分阈值检索：query→检索→阈值过滤

集成检索器：query→检索器1 （稀疏），检索器2（密集）→检索结果加权排序
长上下文重排：如果检索到的文档过多，那么我们需要对收集到的文本进行重排，让有用的信息放在大模型更容易看到的地方。（研究发现：大模型会更关注文章开头和结尾的内容，而对中间部分会有遗忘，以此将检索到的比较重要的文章放在开头或者结尾
）

父文档检索：文档分割的冲突需求需求小型文档:可以更准确地反映它们的含义，如果文档太长，其嵌入可能会失去意义。需求足够长的文档:你希望文档足够长，以保留完整的每个块的上下文。在检案过程中，它首先获取这些小块，然后查找这些块的父ID，并返回那些较大的文档。
将一片大文档分为几个父文档，再分为子文档，根据不同的需求，返回不同长度的信息，并选择合适的划分方式