文档LLM校勘

Evo-Retriever——阿里巴巴云计算-CVPR-2026

研究目的

主要关注复杂视觉文档检索，即从大量的财务报表、合同、学术论文中，精准检索出包含图表、文本和特定排版的页面。

目的是解决三个问题

• 空间感知能力不足，即难以结合页面中空间距离较远但语义相关的节点共同理解，对复杂排版理解出现割裂

• 易受文本混淆影响，忽略了“文本相似但视觉不匹配”的样本

• 静态训练课程导致停滞，模型能力受限于初始的静态负样本，没有学习到更多知识

核心创新

提出了三个核心架构：

多视角图像对齐（MVA - Multi-View Image Alignment）

在训练时，除了原始图像外，还会通过水平拼接、降采样、旋转等方式构建出多视角复合图像。这些图像并行通过共享的视觉编码器，并利用一致性损失（Consistency Loss）强行让模型在不同尺度和旋转角度下都能与文本查询保持表示一致

构造多视角图像

• 多尺度与降采样（Multi-scale & Downsampling）： 将大图缩小或切片，模拟用户在不同分辨率或缩放比例下查看文档。

• 空间旋转与拼接（Rotation & Splicing）： 将图像进行水平拼接或角度微调，将空间上原本较远的节点以不同的相对位置呈现给模型。

原始图像 $I_i$ 和多视角图像 $I_i^{mv}$ 会被并行输入到同一个共享权重的视觉编码器（Visual Encoder，如 SigLIP）中，分别生成它们的多向量表征$E(I_i)$ 和 $E(I_i^{mv})$，同时，文本查询 $Q_i$ 也会通过文本编码器生成其表征 $E(Q_i)$。

双向对比学习（BCL - Bidirectional Contrastive Learning）

除了传统的“查询 $\rightarrow$ 文档”检索路径，引入了反向的“文档 $\rightarrow$ 查询”路径。论文利用一个自动化的“难负查询合成（HNQS）”流水线，让大模型（VLM）为每个正样本对合成语法或上下文极其相似、但语义实际上与该文档图片不符的“假查询”（Hard Negative Queries）

多视角图像对齐损失

通过引入多视角复合图像 $I^{mv}$ 来增强模型空间感知能力的一致性损失函数
$$
\mathcal{L}{mva} = \mathcal{L}{forward} + \alpha \cdot \mathcal{L}_{backward}
$$

$$
\mathcal{L}{forward}(Q，I{pos},{I_{neg}}) = \sum_{k=1}^{K}\log(1+\exp( \frac{sim(Q, I_{neg}^{(k)})-sim(Q, I_{pos})}{\tau}))
$$

$\mathcal{L}_{vc}$：视角一致性损失（Viewpoint Consistency Loss）。

$I_i^{mv}$：第 $i$ 个样本经过裁剪、拼接或旋转等数据增强后生成的多视角复合图像。

$\alpha$：平衡原始图像对齐与多视角对齐的权重超参数。

基于 ColPali 风格的 “Late Interaction”（晚期交互） 检索机制：

$$
sim(Q, I) = \sum_{i=1}^{L_{Q}} \max_{j=1}^{L_{I}} (E_Q(Q)_l \cdot E_I(I)_j^T)
$$

这个公式计算的是文本 $Q$ 和图像 $I$ 之间的相似度得分（Score）。

对于 Query 来说：$N$ 是文本 Token 的数量，对于 Image 来说：$M$ 是图像 Visual Token 的数量

它的计算逻辑称为 MaxSim（最大相似度操作）：

1. 挨个对比（矩阵乘法）： 拿 Query 里的某一个文本 Token 向量，去跟图像里所有的 $M$ 个视觉 Token 向量逐一计算相似度。

2. 找出最爱（$\max$）： 图像里总有一个格子和这个文本词最相关，通过 $\max_{j}$ 挑出那个最匹配的最高分。

3. 全部相加（$\sum$）： 文本里总共有 $N$ 个 Token，就把这 $N$ 个 Token 各自找到的最高匹配分全部加起来（$\sum_{i=1}^{N}$），这就得到了最终的总得分。

这里的思路明显利用的 ViT 的分块构建过程，通过一种与 RAG 向量数据库中计算 top-20 相似向量的方式计算图像和文字的相似关系，以此训练大模型，很有趣的观点

$$
\begin{gather}
\mathcal{L}{forward}= \mathcal{L}(Q{pos}，I_{ori},{I_{neg}})+\beta\cdot\mathcal{L}(Q_{pos}，I_{ori}^{{aug},{I_{neg}}{aug}}) \
{L}{backward}=\mathcal{L}(I{ori}，Q_{pos},{Q_{neg}})+\beta\cdot\mathcal{L}(I_{ori}^{aug}，Q_{pos},{Q_{neg}})
\end{gather}
$$

大模型引导的演进课程（LLM-EC）

类似于 RAG 该部分也分为离线和在线阶段

离线阶段

• 难负样本挖掘与划分：系统首先利用传统检索方法或基础 VLM，计算所有负样本（干扰文档/文本）与正样本之间的相似度。

  构建难度桶（Difficulty Buckets）：根据相似度得分，将这些负样本精准地划分到不同的“候选池”中（例如划分成 16 个从易到难的题目桶）。

  难负查询合成（HNQS）：利用高能力的大模型（VLM）离线为每个文档生成那些文字高度相似、但视觉事实冲突的“假查询”（Hard Negative Queries），并一同存入候选池。

在线阶段

• 实时监控：当模型在 GPU 上开始训练时，系统会实时收集模型在当前 batch 上的Loss 曲线和学习速度。

  动态调整：外部的 LLM 元控制器（Meta-Controller）作为一个在线的守护进程，每隔一段时间就去读取这些 Loss。过滤出产生“有效学习”（Loss 在 0.3 到 1.2 之间）的难度区间，并选择其中最具挑战性的区间作为主力训练的锚点。

  难度晋级（课程演进）：LLM 动态决定接下来从“离线候选池”的哪个难度桶里抽题喂给模型。如果模型学得好，LLM 在线修改采样权重 $w_k$，直接把更难的题发下去，如果学的不好就降低难度

实验结果与分析

用Qwen2.5-VL-3B-Instruct and Qwen2.5-VL-7B-Instruct作为基底，480k 个训练对，LoRA rank 为 32，模型有3B、7B，在8张H20显卡上并行计算，元控制器使用 Qwen3-235B-A22B，通过其 API 访问，alpha和beta超参数都设置为1

ViDoRe V2 榜单： Evo-Retriever-7B 取得了 65.2% 的 nDCG@5 得分，相比之前的最佳模型 llama-nemoretriever 提升了 1.7%

MMEB (VisDoc) 榜单： Evo-Retriever-7B 取得了 77.12% 的优异成绩

DocSeeker——华中科技大学，华为-CVPR-2026

研究目的

现有的多模态大语言模型（MLLMs）在处理“长文档”时性能会严重下降，面临两个问题：

低信噪比（Low SNR）：关键证据往往埋藏在大量无关的页面中。

监督信号稀缺（Supervision Scarcity）：现有的长文档问答（VQA）数据集通常只提供最终的简短答案，缺乏中间的推理和定位步骤。这导致模型容易死记硬背，不仅缺乏可解释性，而且在面对分布外（OOD）的长文档时泛化能力很差

核心创新

引入了一种模仿人类认知过程的“分析-定位-推理”（Analysis-Localization-Reasoning, 简称 ALR）视觉推理范式

页面感知的输入表示

DocSeeker 将文本页面标识符（例如 "Page i" 的文本嵌入向量 $e_i$）与该页对应的视觉 Token（图像经 Vision Transformer 和 Adapter 处理后的向量 $v_i$）进行了交织拼接 。
$$
X = e_Q \oplus \bigoplus_{i=1}^N (e_i \oplus v_i)
$$

其中 $e_Q$ 是用户问题的文本嵌入，$N$ 为总页数 。这种设计相当于在每个页面的视觉信息前加上了一个“指针”或“锚点”，强制模型在处理视觉 Token 时感知到当前处于哪一页 。

显式证据基础的结构化推理范式

将“思考过程（<think>）”与“最终答案（<answer>）”显式分离的做法 ，DocSeeker 强制模型输出一条严格、可解释且结构化的推理路径 $Y$
$$
Y = Y_{th} \oplus Y_{ans} = (Y_A \oplus Y_L \oplus Y_R) \oplus (Y_E \oplus Y_F)
$$
模型被要求规范化地输出以下五个部分 ：

• 问题分析 ($Y_A$, Question Analysis)：解构和分析用户的真实意图 。

• 证据定位 ($Y_L$, Evidence Localization)：扫描文档并显式报告哪些页面包含相关信息，以及为什么相关 。这是视觉证据落地的核心 。

• 推理过程 ($Y_R$, Reasoning Process)：综合来自这几页的证据进行深度逻辑推理 。

• 证据页码 ($Y_E$, Evidence Pages)：在 <answer> 标签中直接给出包含证据的页面 ID 列表 。

• 最终答案 ($Y_F$, Final Answer)：给出精简、准确的最终问答结果 。

训练流程

阶段 I：通过 SFT 注入 ALR 范式 (Injecting the ALR Paradigm via SFT)

由于现有的长文档数据集只提供“长文档输入 $\rightarrow$ 简短答案”对，缺乏中间的推理标签（即面临监督信号稀缺的问题） 。因此，第一阶段需要构建高质量的结构化数据 ：

• 高效数据蒸馏：作者并未使用传统昂贵的“全文档提示（Full-document prompting）”去让闭源模型生成数据。而是采用了极简上下文（Minimal Context）策略——只将真正的正确证据页（Ground-truth pages）以及极少数的干扰页输入给导师模型（Gemini-2.5-Flash），并让其生成完整的 ALR 格式响应 。

• 双重验证流水线：生成数据后，先进行自动的精确匹配（Exact Match）检查；对于未完全匹配的样本，再使用 GPT-4o 进行语义验证，挽救那些由于微小格式差异或同义改写导致的正确样本，最大化确保数据的高质量

• 全文档微调：利用这批高质数据对基座模型进行标准的交叉熵损失（SFT）微调 。在训练时，输入的是包含全部页面的完整长文档 ，以此训练模型的整体长文本推理能力，避免其死记硬背 。

阶段 II：证据感知的 GRPO 强化学习 (Evidence-aware GRPO)

单靠 SFT 的模仿学习，模型生成的推理路径往往是次优的 。为了进一步突破上限，作者引入了强化学习（RL）阶段，采用 GRPO（组相对策略优化） 算法，让模型直接从结果信号中学习 。 作者为长文档 VQA 任务量身定制了一个多维度联合奖励函数：
$$
R = \lambda_1 R_{format} + \lambda_2 R_{evidence} + \lambda_3 R_{answer}
$$

1. 格式奖励 ($R_{format}$)：二值奖励（0或1），确保模型输出完全符合 <think>、<answer> 及内部子模块的标签规范 。

2. 证据定位奖励 ($R_{evidence}$)：根据模型识别的证据页面准确率打分 。它使用了加权的 F1 分数（通常 $\beta > 1$），这意味着该奖励更看重召回率（Recall）而非精确率（Precision），鼓励模型“宁可多找，不能漏掉” 。

3. 答案奖励 ($R_{answer}$)：采用标准的平均归一化编辑相似度（ANLS）指标，评估最终文本答案的正确性 。

证据引导的分辨率分配策略 (Evidence-Guided Resolution Allocation, EGRA)

为了解决计算瓶颈（显存爆炸）而提出的关键工程策略，贯穿 SFT 和 GRPO 两个训练阶段 。

在训练阶段，若将长文档的每一页都保持高分辨率输入，会产生海量的视觉 Token，极易导致显存溢出（OOM）

• 实行差异化的图像分辨率分配

  • 真实证据页（Ground-truth evidence pages）：100% 保持原生的高分辨率（保留细节以供推理） 。
  • 非证据页（Non-evidence pages）：随机选择其中 70% 的页面，将其分辨率从 1024 猛烈降采样到 256（极大地削减了 Visual Token 数量）；剩下 30% 的非证据页保持原图高分辨率 。

• 在推理（Inference）时，所有页面都会恢复到原生高分辨率（因为推理不需要保存反向传播的梯度，显存占用低） 。实验证明，EGRA 策略不仅解决了显存问题，还因为在训练中提升了数据的信噪比，其最终性能甚至超越了“固定分辨率”或“直接删掉无关页”的朴素基线方法 。

实验结果与分析

使用 Qwen-2.5-VL-7B-Instruct 作为基底，在16 张NVIDIA A800GPUs上训练，SFT 两个 epoch，RL 6 个 epoch

格式奖励 ($R_{format}$)权重 0.1，证据定位奖励 ($R_{evidence}$)权重0.3，答案奖励 ($R_{answer}$)权重 0.6，加权 F1 分数 $\beta = 2$，文档页面分辨率为 1024 x 784，针对每一个训练提示词（Prompt），模型会同时采样并生成 16 个不同的答案候选（rollout group size of 16）

DUDE 和 MPDocVQA 采用 ANLS (Average Normalized Levenshtein Similarity, 平均归一化编辑距离相似度)，

MMLongBench-doc 和 LongDocURL 采用 Acc (Accuracy, 准确率)，SlideVQA 采用 F1 Score (F1 值)

ORCA——斯法克斯数字研究中心，突尼斯理工学校，迦太基大学，巴塞罗那自治大学，计算机视觉中心-CVPR-2026

像啊，很像啊

研究目的

现有的多模态视觉语言模型（VLM）虽然在文档理解上取得了长足进步，但在面对复杂的、多步骤的、涉及文档多种元素（如表格、图表、手写字体混合）的问答时，往往表现不佳：

1. 缺乏任务拆解能力： 现有模型往往习惯“一步到位”直接输出答案，在遇到复杂的多步推理问题时容易出错。

2. 缺乏领域特长： 传统模型用单一参数去处理所有类型的内容。实际上，处理手写字识别（OCR）和处理表格提取（Table Parsing）所需要的专业能力是截然不同的。

3. 缺乏自我验证与自适应性： 单一模型给出的预测答案没有置信度评估，生成了错误答案也无法自我纠正。

核心创新

将整个推理过程分为五个阶段

1. 上下文理解

基于具备强思考能力的模型，同时分析问题和文档。它会生成一条结构化的推理路径 （将复杂问题拆解为多个逻辑步骤，并给出一个初始答案 $a_{T}$。

2. 协作专家执行

在一个智能体池中包含了 9 个术业有专攻的特种智能体（分别负责处理：OCR、文档布局、表格/列表、图表/示意图、表单、图像/照片、自由文本、判断任务和其他）。路由智能体根据阶段一的推理路径，动态激活最相关的几个特种智能体；并决定它们的执行顺序，串联执行并输出一个专家答案 $a_{E}$

此处每个特种智能体都是由 Qwen3VL 8B 经过微调而来

这里的路由可以抽象为一个多标签分类任务，并且没使用 sigmoid激活函数，使用Turbo DFS 进行 decode

掩码机制

系统会将思考智能体推导出来的初始答案 $a_T$​ 隐去（遮蔽），传递给专家智能体的，只有分解后的推理路径（Reasoning Steps）和原始文档/问题。这样就强迫特种专家智能体必须“独立思考”，纯粹根据分配给它的子任务和文档图像去推导它自己的专家答案 $a_E$，为之后的辩论环节提供执行可能。

3. 压力测试

如果专家答案 $a_{E}$ 和初始答案 $a_{T}$ 一致，则直接跳到阶段五；如果不一致，则触发压力测试。辩论智能体（Debate Agent）会针对专家答案提出具有挑战性的追问，由评估智能体判断特种智能体能否顶住压力、逻辑自洽地维持原判。如果未通过，则说明存在不确定性，进入阶段四。

在这一环节，辩论智能体扮演“挑刺者”的角色，针对专家给出的答案 $a_E$ 提出带有挑战性的、批判性的追问（Challenge Question）以及一个针对原问题的可能经过修改的答案。判定分流： 评估智能体审视专家智能体在面对挑衅时的回答。如果专家答案展现出完美的逻辑自洽与高置信度，则测试通过，直接确认该答案并跳过后续复杂的辩论；如果专家答案被问动摇了，或逻辑出现漏洞，则测试失败，说明此题是个“硬骨头”，必须升级进入下一环节。

4. 多轮辩论

由正方智能体坚守专家答案 $a_{E}$，反方智能体提出替代答案 $a_{alt}$ 并给出反驳证据。它们在裁判智能体（Judge Agent）的监督下进行 3 轮结构化的辩论（包含引用、批判、结论）。最终由裁判根据辩论展现出来的置信度和语言逻辑决定最终答案 $a_{C}$。

5. 答案校对

由一个检查智能体（Sanity Checker）对最终答案进行标点符号、空格格式的微调，确保输出格式完全符合原文档的习惯（这对于测评指标 VQA ANLS 极为重要）

各个agent的LLM选型

实验结果与分析

实验平台

推理：≥ 48 GB VRAM，4 × L4 GPUs，兄弟，你占用还蛮大的

训练和实验：4 NVIDIA L4 GPUs, each with 24GB VRAM (96GB total VRAM) and 175GB RAM，WoW

实验结果固然很好，对于77%的样例推理延迟是 Qwen3VL-8B 的20倍

以下都是堆 agent 的论文

Resolving Evidence Sparsity——复旦，飞捷科思，字节

Visual Document Understanding and Reasoning——新加坡国立大学，腾讯优图，清华大学，中国科学技术大学，南阳理工大学，浙江大学，deepwisdom-CVPR-2026