semaphore提示您：看后求收藏（新笔趣阁www.xbqg5200.com），接着再看更方便。
同时包括流程图，数据，各单元过程投入产出详细数据，数据时间地点落去方法，技术细节的文献，作为最终的数据。将精细筛选后的论文数据，结合unstructed库进行数据处理。进行信息精细化拆解与清洗，使以pdf形式存储的文献数据通过分割，分区，变成便于嵌入模型的结构化数据。对文字进行筛选与清理，图像的内容进行识别，存储图像的解释信息，表格转化为HTML格式。最后统一变成标题加内容的格式。第二部分是知识库的构建。向量知识库，能将各类数据（如文本、图像、音频等）转化为向量形式进行存储。数据之间的相似性和关联性得以量化，不像平时你存储你的，我存储我的，向量数据库给予了一个统一的标准。也正是因为统一了格式，利用相似度对比，检索更加高效。构建知识库的流程首先是提取分割文本进行向量化的操作。向量化的本质是将离散的符号信息，如词或句子，映射到连续的向量空间中，以便计算机能够处理。向量化将高维数据转化为低维数据，保留了数据的关键特征又降低了数据的复杂度。选择pipecone存储向量数据，它支持查询，**，删除等一些列操作。选择weaviate作为向量搜索引擎，可以通过主题的分类检索，进行语义搜索、问答提取等等功能。第三部分是chatbot的构建。先前已经构建好了针对电力LCA领域的专业大模型，但是缺少检验模型的手段，即缺少模型优化环节，本项目设置通过Chatbot模式，通过与用户进行问答的形式，检验模型是否能调用电力行业LCA领域向量数据库回答该领域专业性问题