semaphore提示您:看后求收藏(新笔趣阁www.xbqg5200.com),接着再看更方便。
检索。把专业的知识和提问一起,送给大语言模型归纳生成,生成一个更准确的答案,是增强,最后返回给用户,即为检索增强生成。第三部分则是我的系统介绍。针对我的研究题目:基于大语言模型(LLM)的英文文献解析,我将我的研究系统分为了三个模块。数据处理模块主要包括对电力LCA这个特定领域的英文文献进行选择和初步处理,而后将有关数据全部转化成结构化数据。知识库构建模块主要是将数据向量化并构建向量知识库。Chatbot构建分为功能部分和前端部分,功能包括基于OpenAI的大语言模型基座调用、知识库检索、在线检索;前端部分为web可视化以及UI设计。首先是数据处理模块。数据的范围,我选择了常见的五种发电方式,火力,水力,太阳能,核能,风能。确定每个主题的关键词和大主题生命周期评价后记录所有可能出现的形式,比如说,生命周期评价出现在论文里,可能是LCA,也可能是lifecycle assessment,罗列所有可能性,做到不遗漏数据。
在 RAG 技术中,整个过程主要分为三个步骤如图 2.2 所示:索引( Indexing)、检索
(Retrieval)和生成(Generation)。首先,索引步骤是将大量的文档或数据集合进行预处理,将
其分割成较小的块(chunk)并进行编码,然后存储在向量数据库中。这个过程的关键在于将非结
构化的文本数据转化为结构化的向量表示,以便于后续的检索和生成步