TUA-Bench: A Benchmark for General-Purpose Terminal-Use Agents
arXiv · HuggingFace · ▲47
摘要（原文）
As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.
摘要（中译）
随着大型语言模型和利用框架的不断发展，终端中运行的代理越来越能够执行超出编码范围的更广泛的一般计算机使用任务。然而，现有的基准测试并不能充分评估通用终端计算机使用代理（TUAs）：一般计算机使用基准主要针对图形用户界面（GUIs），而基于终端的基准则主要强调历史上源于shell的技术和编程中心工作流程。我们推出了TUA-Bench，这是一个用于终端使用代理的通用基准。TUA-Bench包括五个任务家族中的120个实际任务，涵盖了日常数字活动——包括文档编辑、电子邮件管理和实时网络信息搜索——以及与博士级领域专家共同设计的科学和工程工作流程，这些工作流程需要专门的软件。这种广度使TUA-Bench与以前专注于shell或特定领域的基准测试区别开来。每个任务都是手动设计的，在具有确定性设置脚本的真实终端中运行，并通过基于执行的评分协议进行评估。我们发现，最强的前沿代理Claude Code在Claude Opus 4.8最大推理努力下，整体性能达到65.8%，两个轨道之间存在显著差距。通过提供广泛而现实的终端使用能力评估，TUA-Bench旨在加速从狭窄的任务特定助手向能够在多样化数字环境中可靠运行的一般用途代理的过渡。
背景剖析
背景剖析
1. 技术背景
随着大语言模型（LLMs）的发展，终端代理（Terminal-Use Agents）逐渐从单纯的编程助手进化为能执行复杂多步骤任务的通用工具。这类技术主要应用于需要高效操作计算机的场景，例如文档编辑、邮件管理、网页信息检索，以及科学研究和工程计算等专业工作。终端界面（CLI）因其文本驱动的特性，天然适合语言模型处理——命令明确、反馈结构化，且能通过脚本组合工具完成复杂流程。然而，现有终端基准测试大多局限于编程或技术性任务，无法全面评估代理在日常数字工作和专业领域中的表现。
2. 之前的问题
早期的终端基准（如Terminal-Bench）主要针对 shell 原生的技术工作流，忽略了更广泛的终端使用场景。例如，普通用户可能需要用终端编辑文档或查询网页信息，而科研人员可能依赖终端运行专业软件。这些任务不仅需要技术能力，还涉及长链条规划、工具协调和错误恢复，但现有测试未能覆盖这些能力。此外，GUI 基准虽然贴近人类使用习惯，但其视觉感知要求会分散对语言模型核心推理能力的评估。
3. 本文的解法
TUA-Bench 通过设计 120 个真实任务（涵盖日常和专业场景），填补了这一空白。任务由领域专家（如生物、工程博士）共同设计，确保专业性，并通过自动化环境验证结果。评估协议基于实际执行结果，而非主观判断，从而更准确地反映代理的能力。研究团队还测试了前沿模型（如Claude Code），发现即使是最强的代理也仅能达到 65.8% 的成功率，暴露出规划、工具使用等方面的不足。
4. 切入角度
与以往工作相比，TUA-Bench 的关键差异在于其通用性和真实性。它不仅包含传统终端任务，还扩展到非技术场景（如文档编辑），并通过与领域专家合作引入专业工作流。此外，任务经过严格筛选，确保难度合理且指令清晰，避免了先前基准中常见的模糊性问题。这种设计使 TUA-Bench 成为评估终端代理综合能力的可靠平台，推动其向更通用的方向发展。
