SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding
arXiv · HuggingFace · ▲69
摘要（原文）
Vision language models (VLMs) have achieved strong performance on visual document understanding benchmarks such as DocVQA, ChartQA, and MMLongBench-Doc. However, real-world documents combine multiple factors such as length, layout complexity, modality, and question difficulty, which makes it difficult to attribute model failures to specific causes. We introduce SynthDocBench, a fully synthetic benchmark for long-context visual document understanding that systematically controls factors including document length, layout structure, modality composition, and question type. The benchmark is constructed using a combinatorial design, each factor is varied independently across generated documents, enabling controlled analysis of model behavior. Documents are generated end to end using an LLM pipeline across six layout archetypes, with a 40 percent random override to prevent models from exploiting spurious correlations. Additionally, SynthDocBench spans long-context documents with substantially greater length and structural diversity than existing benchmarks. Evaluating seven frontier VLMs, we uncover three failure modes that existing benchmarks cannot surface: sharp degradation with document length, a systematic positional sensitivity in which the middle third of a document is hardest for five of six models and five of six models show a negative Early-to-Late trend (steepest decline: 8.3 percentage points), and breakdown of chart comprehension in long-document settings. These results suggest that current models may be overfitting to benchmark artifacts rather than achieving robust long-context visual document understanding.
摘要（中译）
视觉语言模型（Vision language models, VLMs）在DocVQA、ChartQA和MMLongBench-Doc等视觉文档理解基准测试中取得了强劲的性能。然而，现实世界的文档结合了长度、布局复杂性、模态和问题难度等多个因素，这使得很难将模型失败归因于特定原因。我们引入了SynthDocBench，这是一个用于长上下文视觉文档理解的完全合成的基准测试，它系统地控制包括文档长度、布局结构、模态组成和问题类型等因素。该基准测试采用组合设计构建，每个因素在生成的文档中独立变化，从而可以控制分析模型行为。文档是通过LLM管道在六种布局原型上端到端生成的，其中40%是随机覆盖的，以防止模型利用虚假相关性。此外，SynthDocBench涵盖了比现有基准测试更长且结构更多样化的长上下文文档。评估了七个前沿VLM，我们发现了现有基准测试无法揭示的三种失败模式：随着文档长度的急剧下降，一种系统的位置敏感性，其中文档的中间三分之一对六个模型中的五个来说是最难的，五个模型中的五个显示出负的早期到晚期趋势（最陡峭的下降：8.3个百分点），以及在长文档设置中图表理解的崩溃。这些结果表明，当前的模型可能过度拟合基准测试工件，而不是实现稳健的长上下文视觉文档理解。
背景剖析
背景剖析
技术背景：视觉语言模型（VLMs）需要理解包含文本、表格、图表等复杂布局的长文档（如报告、手册），以支持企业文档分析、医疗记录处理等场景。这类任务要求模型同时具备长距离信息检索和跨模态推理能力（例如从数百页文档中定位并整合图表与文字证据）。
之前的问题：现有基准测试（如DocVQA、ChartQA）虽推动了技术进步，但存在两大缺陷：一是真实文档中长度、布局、模态等因素混杂，导致模型失败时难以定位原因（例如无法区分是长度问题还是布局复杂性导致错误）；二是现有长文档基准（如MMLongBench-Doc）未系统控制变量，无法单独分析某一因素的影响。此外，真实文档的生态有效性（如多页跨模态推理）与可解释性难以兼顾。
本文的解法：SynthDocBench通过合成基准解决这一问题。它利用LLM生成可控的文档，独立调整长度、布局、模态和问题类型，并引入随机覆盖防止模型依赖虚假关联。基准分为三个子任务：测试精确数值读取的“cross_modal”、跨页证据整合的“complex”等，覆盖24种图表类型和6种布局原型。通过自动化生成流程，确保答案确定性，同时支持细粒度分析。
切入角度：与前人不同，SynthDocBench不追求生态真实性，而是通过合成控制实现可解释性。它首次揭示了模型在长文档中的三个隐藏缺陷：性能随复杂度下降、中间位置敏感性、图表理解崩溃。这种分解能力是现有基准无法提供的，为模型改进提供了明确方向。
