RAG理论基础总结

article/2025/7/5 18:56:42

目录

概念

流程

文档收集和切割

读取文档

转换文档

写入文档

向量转换和存储

搜索请求构建

向量存储工作原理

向量数据库

文档过滤和检索

检索前

检索

检索后

查询增强和关联

QuestionAnswerAdvisor查询增强

高级RAG架构

自纠错 RAG(C-RAG)

自省式 RAG(Self-RAG)

检索树 RAG(RAPTOR)

多智能体 RAG


概念

检索增强生成,给AI配个知识库,回答前先查一查特定的知识库然后结合获取的知识回答

流程

文档收集切片、向量转换和存储、将用户问题也转化为向量表示并过滤后进行相似度搜索(文档过滤和检索)、将检索到的相关文档与用户问题组合成增强提示然后喂给大模型得到结果(查询增强和关联)

文档收集和切割

ETL(抽取、转换、加载)

读取文档

使用DocumentReader组件从数据源(如本地文件、网络资源、数据库等)加载文档。

转换文档

根据需求将文档转换为适合后续处理的格式,比如去除冗余信息、分词、词性标注等,可以使用DocumentTransformer组件实现。

TextSplitter分割器

MetadataEnricher元数据增强器(补充更多的元信息)

  • KeywordMetadataEnricher:使用Al提取关键词并添加到元数据
  • SummaryMetadataEnricher:使用Al生成文档摘要并添加到元数据。

ContentFormatter内容格式化工具(用于统一文档内容格式)

写入文档

使用DocumentWriter将文档以特定格式保存到存储中,比如将文档以嵌入向量的形式写入到向量数据库,或者以键值对字符串的形式保存到Redis等KV存储中

FileDocumentWriter:将文档写入到文件系统

VectorStoreWriter:将文档写入到向量数据库

向量转换和存储

VectorStore接口:SpringAI中与向量数据库交互的核心接口,提供增删改查

搜索请求构建

SearchRequest构建相似度搜索请求

SearchRequest request = SearchRequest.builder()
.query("问题?")
.topK(5)                  // 返回最相似的5个结果
.similarityThreshold(0.7) // 相似度阈值,0.0-1.0之间
.filterExpression("category == 'web' AND date > '2025-05-03'")  // 过滤表达式
.build();List<Document> results = vectorStore.similaritySearch(request);
向量存储工作原理

向量数据库

直接使用阿里云百炼的VectorStore API

基于PGVector,是PostgreSQL的扩展

文档过滤和检索

Spring AI 把整个文档过滤检索阶段拆分为:检索前、检索时、检索后,并在每个阶段提供了一系列组件

检索前

优化用户查询,如查询重写、查询翻译、查询压缩

检索

文档搜索(DocumentRetriever)、文档合并

检索后

查询增强和关联

将检索到的文档和用户查询结合起来,为ai提供必要的上下文

QuestionAnswerAdvisor查询增强

把用户提示词和检索到的文档等上下文信息拼成一个新Prompt,再调用ai

高级RAG架构

自纠错 RAG(C-RAG)

生成后验证

自省式 RAG(Self-RAG)

看看是否需要RAG

检索树 RAG(RAPTOR)

拆解复杂问题

多智能体 RAG

多智能体协作


http://www.hkcw.cn/article/sjPxIKeBFQ.shtml

相关文章

pikachu靶场通关笔记09 XSS关卡05-DOM型XSS-X

目录 一、XSS 二、DOM型XSS 三、源码分析 1、打开DOM-X型XSS关卡 2、XSS探测 3、源码分析 四、渗透实战 1、Payload1 2、Payload2 3、Payload3 五、DOM型XSS与DOM-X型XSS区别 本系列为通过《pikachu靶场通关笔记》的XSS攻击关卡(共10关&#xff09;渗透集合&#xf…

3. TypeScript 中的数据类型

在 TypeScript 中&#xff0c;类型&#xff08;Types&#xff09;允许你定义并强制执行应用中数据的结构。通过使用类型&#xff0c;你可以在编译阶段捕捉错误&#xff0c;而不是等到运行时才发现&#xff0c;从而让代码更加可预测&#xff0c;也更不容易出现 bug。TypeScript …

【Java Web】速通Tomcat

参考笔记:JavaWeb 速通Tomcat_tomcat部署java项目-CSDN博客 目录 一、Tomcat服务 1. 下载和安装 2. 启动Tomcat服务 3. 启动Tomcat服务的注意事项 4. 关闭Tomcat服务 二、Tomcat的目录结构 1. bin 🌟 2. conf 🌟 3. lib 4. logs 5. temp 6. webapps 7. work 三、Web项目…

从零实现Python扫雷游戏:完整开发指南与深度解析

目录 一、游戏架构设计 1.1 核心组件 1.2 类结构设计 二、核心算法实现 2.1 地雷生成算法 2.2 数字计算算法 2.3 空白区域展开算法 三、图形界面开发 3.1 主界面布局 3.2 交互事件处理 左键点击事件 右键点击事件 3.3 游戏状态显示 四、游戏功能扩展 4.1 多难度…

hooks组件-useState

hooks组件-useState hook组件的本质就是函数组件&#xff0c;但是基于各种hook让其动态化&#xff01; 常用hook&#xff1a; useReducer&#xff1a;redux useCallback useMemo&#xff1a;去做一些优化。 useRef&#xff1a;使用ref useImperativeHandle&#xff1a;拿到子组…

X浏览器APP:轻巧快捷,畅享极速浏览

在移动互联网时代&#xff0c;浏览器作为我们获取信息、娱乐和社交的重要工具&#xff0c;其性能和功能直接影响着我们的使用体验。X浏览器APP正是这样一款专为移动设备设计的轻巧快捷的网络浏览器&#xff0c;它凭借独特的核心引擎和多项实用功能&#xff0c;为用户提供了极速…

一种基于性能建模的HADOOP配置调优策略

1.摘要 作为分布式系统基础架构的Hadoop为应用程序提供了一组稳定可靠的接口。该文作者提出了一种基于集成学习建模的Hadoop配置参数调优的方法。实验结果表明&#xff0c;该性能模型可以准确预测MapReduce应用程序的运行时间。采用提出的Hadoop配置参数方法调优后&#xff0c…

【001】利用github搭建静态网站_essay

文章目录 1. 简介2. 先了解网址规则2.1 文件及网址形式2.2 相互访问 3. 搭建网页的过程3.1 网页文件3.2 github搭建仓库及文件上传3.3 搭建网站 1. 简介 相信大家都有过想要自己搭建一个稳定可靠的网站&#xff0c;github是一个不错的选择&#xff0c;本来国内有gitee可以搭建…

太极APP:免Root,畅享Xposed模块的神奇魅力

在安卓系统中&#xff0c;Xposed框架一直以其强大的功能和高度的自定义能力受到众多用户的喜爱。然而&#xff0c;传统的Xposed框架需要Root权限和复杂的刷机操作&#xff0c;这使得许多普通用户望而却步。太极APP的出现&#xff0c;打破了这一限制&#xff0c;它为用户提供了一…

大学专业解读——电子信息

家里娃要高考了&#xff0c;面临专业和学校选择的问题。虽然我们家长做为职场人已经工作超过30年&#xff0c;但实际上对于专业和就业的问题&#xff0c;也不是太懂&#xff0c;网上有很多营销号在讲专业的志愿填报&#xff0c;但信息都比较碎片。所以&#xff0c;抽出一点时间…

实验一:PyTorch基本操作实验

import torch # PyTorch中初始化矩阵常见有以下几种方法 # 1. 直接使用固定值初始化 # M torch.tensor([[1.0, 2.0, 3.0]]) # 1x3矩阵 # 2. 随机初始化 # M torch.rand(1, 3) # 1x3矩阵&#xff0c;元素在0-1之间均匀分布 # M torch.randn(1, 3) # 1x3矩阵&#xff0c;元…

深入理解 C++ 中的 list 容器:从基础使用到模拟实现

一、list 的底层数据结构与核心特性 1.1 双向循环链表的物理结构 节点定义&#xff1a;每个节点包含三个部分 template <typename T> struct ListNode {T data; // 存储的数据ListNode* prev; // 指向前驱节点的指针ListNode* next; // 指向后继节点的指针L…

【iOS】YYModel源码解析

YYModel源码解析 文章目录 YYModel源码解析前言YYModel性能优势YYModel简介YYClassInfo解析YYClassIvarInfo && objc_ivarYYClassMethodInfo && objc_methodYYClassPropertyInfo && property_tYYClassInfo && objc_class YYClassInfo的初始化细…

nssctf第二题[SWPUCTF 2021 新生赛]简简单单的逻辑

这是题目&#xff0c;下载后得到一个python文件,打开 解读代码&#xff1a; for i in range(len(list)):key (list[i]>>4)((list[i] & 0xf)<<4)result str(hex(ord(flag[i])^key))[2:].zfill(2)list[i]>>4&#xff1a;从列表中取数字同时高4位向右位…

linux驱动 - 5: simple usb device驱动

参考第2节, 准备好编译环境并实现hello.ko: linux驱动 - 2: helloworld.ko_linux 驱动开发 hello world ko-CSDN博客 下面在hello模块的基础上, 添加代码, 实现一个usb设备驱动的最小骨架. #include <linux/init.h> #include <linux/module.h> #include <lin…

某电子计数跳绳的一次修复经历

引子 这阵子开始锻炼身体&#xff0c;感觉投入成本低的&#xff0c;就是跳绳了&#xff0c;所以从20块钱的竹节跳起&#xff0c;随着100、1000、2000、3000个数的加码&#xff0c;还是需要一个电子计数会更好些&#xff0c;不用心中默数了。 这样在某宝上购入一个电子自动计数&…

【设计模式-3.5】结构型——装饰器模式

说明&#xff1a;本文介绍结构型设计模式之一的装饰器模式 定义 装饰器模式&#xff08;Decorator Pattern&#xff09;也叫作包装器模式&#xff08;Wrapper Pattern&#xff09;&#xff0c;指再不改变原有对象的基础上&#xff0c;动态地给一个对象添加一些额外的职责。就…

交换机、路由器配置

四、交换机配置 1、以太网MAC地址 以太网地址用来识别一个以太网上的某个单独的设备或一组设备。 2、Ethernet II帧格式 3、交换机工作原理 初始状态 MAC地址学习&#xff08;源MAC&#xff09; 广播未知数据帧 接收方回应&#xff0c;交换机再次学习MAC地址 交换机实现单播…

业务系统-AI 智能导航设计-系统设计篇(上)

引言 在数字化转型加速推进的当下&#xff0c;企业业务系统正朝着复杂化、集成化方向快速发展。据 Gartner 调研数据显示&#xff0c;超过 68% 的企业业务系统因功能模块激增导致员工平均操作失误率上升 23%&#xff0c;传统菜单式导航与标准化培训模式已难以应对 "功能爆…

如何把电脑桌面设置在D盘?

一、桌面路径默认设置在C盘的问题 桌面路径默认设置在C盘的问题&#xff1a;如果你习惯于将重要文件存放在桌面上&#xff0c;那么在系统崩溃时&#xff0c;这些文件可能会遭受损失&#xff0c;因为只有重装系统才能解决问题。为了避免这种情况&#xff0c;你可以考虑将桌面路…