VeriCUA：Agent 说做完了，先别信

2026 年 10 月 29 日，一篇题为 VeriCUA 的论文上了 arXiv（编号 2610.40578）。它要解决的是一个很具体、也很容易被忽略的问题：电脑操作 Agent 说「任务完成了」，你怎么知道它真的完成了？

论文的作者来自 Google 与香港大学，包括 Qiushi Sun 等八人。它把验证本身当成一次探索，而不是一次打分。

现有验证错在哪

论文先列了两类常见做法：

• 用视觉语言模型（VLM）当裁判，看 Agent 的轨迹。问题是裁判只能看到被喂给它的观察，关键证据可能根本没进画面。
• 让模型生成程序去检查应用状态。问题是程序只能读它能访问到的状态，访问不到的地方就变成了盲区。

两类方法都依赖「部分视图」。当任务复杂、跨应用、或者证据藏在另一个界面里时，验证器就可能在没有证据的情况下签字。

VeriCUA 怎么做

它的流程可以拆成四步：

• 先看现有上下文，为这个任务建一份 rubric，明确「怎样才算完成」。
• 对 rubric 里还没解决的要求，选择 GUI 检查或代码检查。
• 执行检查，把找到的证据收集起来。
• 按明确的证据规则合并结论，给出判定。

关键点是「动态」。验证器不是看完一段轨迹就下结论，而是像人一样，缺什么证据就去找什么证据。论文说这套流程同时适用于在线和离线、桌面/移动/网页，以及不同的观察模态。

数字

论文 Table 1 的在线验证结果，假阳性率（把没完成的任务判成完成）下降明显：

• AndroidWorld：VeriCUA 准确率 90.5%，假阳性率 7.7%；自动生成脚本的基线是 82.4% 和 16.9%。在它决定给出结论的样本里，准确率是 95.1%。
• OSWorld：VLM 裁判的假阳性率是 27.9%，VeriCUA 是 13.9%。
• ScienceBoard：VLM 裁判的假阳性率是 24.8%，VeriCUA 是 5.4%。

论文还说，VeriCUA 拒绝了大约 80% 的「假完成报告」，并且在三个在线环境里都优于两个基线。离线设置下，收益主要集中在困难样本上。

这些数字的方向一致：验证器越愿意去找证据，越不容易被 Agent 的自述骗过去。

为什么这件事重要

电脑操作 Agent 正在被拿来做数据标注、评测和强化学习。这三件事都依赖「任务是否完成」的标签。如果验证器本身不可靠，会出现两种后果：

• 训练数据里混进「没做完但被标成做完」的轨迹，模型学会的是错误的成功标准。
• 评测分数虚高，看起来 Agent 很强，实际一换环境就露馅。

VeriCUA 的价值不在于又一个更高的分数，而在于把「验证」从一次判断变成一次取证。对做 Agent 产品的人，这个思路可以直接借用：别只看 Agent 的最终回复，去读应用状态、文件、日志，找到能支撑结论的证据。

需要保留的地方

• 论文标注的是 Work in progress，未经同行评审。
• 表格里的数字来自论文自己的实验设置，本文没有独立复跑。
• 「假阳性率」的定义依赖数据集里的参考标签；标签本身有噪声时，结论会被稀释。
• 动态探索会增加验证成本和时间。论文没有给出大规模部署下的开销数据。
• 方法在不同平台上的可迁移性，仍要看它接入了多少种 GUI 与代码检查工具。

参考来源

本文基于以下公开报道整理：

• VeriCUA: Verification as Agentic Exploration for Computer-Using Agents — arXiv 摘要，2026-10-29
• VeriCUA（HTML 全文） — arXiv，2026-10-29
• Google and University of Hong Kong researchers want AI agents to show their work — Crypto Briefing，2026-11-02

本文由 AI 辅助整理，事实与引文来自 arXiv 摘要、HTML 全文与 Crypto Briefing 报道；未独立复跑实验，配图后续补充。