semaphore提示您：看后求收藏（新笔趣阁www.xbqg5200.com），接着再看更方便。
3多模态检索-增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。3.1图像预训练模型的最新进展为一般图像-文本多模态模型提供了启示。
然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数--因为它们需要记忆大量的世界知识。更关键的是，它们无法有效处理新知识或领域外知识。为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加 "想象力"。视觉问题解答（VQA） 为了解决开放域的 VQA 问题，RA-VQA (Lin 和 Byrne, 2022b) 通过对检索到的文档进行近似边际化预测，联合训练文档检索器和答案生成模块。它首先利用现有的对象检测、图像标题和光学字符识别（OCR）工具将目标图像转换为文本数据。然后，它执行密集段落检索（DPR）。
也将 LLM 视为隐式知识库，并从 GPT-3 中提取相关隐式信息。即插即用 利用 根据初始问题定位相关部分。然后，它对检索到的图像补丁执行图像标题处理，以获取增强上下文。除了纯文本增强上 同时检索文本和图像数据，并将图像作为视觉标记。RAMM(Yuan et al., 2023) 检索类似的生物医学图像和标题，并
