多模态 RAG：图表、扫描件与截图的检索革命

为什么需要多模态 RAG

企业文档的一半以上是图表、扫描件、演示文稿——纯文本 RAG 对它们无能为力。多模态模型让这些内容第一次可检索。

技术路线

路线一：多模态模型直接理解图片内容生成描述文本再索引。路线二：图片作为多模态向量直接检索，由多模态模型生成回答。

质量关键

图表的结构化理解（表格还原、趋势描述）是难点；扫描件的 OCR 质量是地板。解析质量决定检索上限。