semaphore提示您：看后求收藏（新笔趣阁www.xbqg5200.com），接着再看更方便。
索。最后是文献的精细筛选。因为RAG技术就是要增加大语言模型在专业领域的可信程度，解决大语言模型的幻觉问题。那在数据的选取上就要偏向于更为全面的文献数据。生命周期评价的本质是用来评估产品或服务从生产到消费再到废弃的整个过程对环境和社会的影响，它考虑了资源使用、能源消耗、排放物的产生等方面。那么为了提高最后基于电力LCA这个领域搭建的专业模型的准确度，对文献进行精细筛选，选取同时包括流程图，数据，各单元过程投入产出详细数据，数据时间地点落去方法，技术细节的文献，作为最终的数据。将精细筛选后的论文数据，结合unstructed库进行数据处理。进行信息精细化拆解与清洗，使以pdf形式存储的文献数据通过分割，分区，变成便于嵌入模型的结构化数据。对文字进行筛选与清理，图像的内容进行识别，存储图像的解释信息，表格转化为HTML格式。最后统一变成标题加内容的格式。在这里我列举了简单的数据处理流程。首先是对数据进行分割。随后是对文本进行拆分，识别内容是否为文本，如果是，就填进text_list。将表格转化为HTML格式，将图片变为图片解释信息。第二部分是知识库的构建。向量知识库，能将各类数据（如文本、图像、音频等）转化为向量形式进行存储。数据之间的相似性和关联性得以量化，不像平时你存储你的，我存储我的，向量数据库给予了一个统一的标准。也正是因为统一了格式，利用相似度对比，检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离