Journal / 2026 / AI技术
Claude Code 团队怎么看验证:可以这样自试
2026 年 11 月 17 日,Claude 官方开发者博客刊出《How the Claude Code team thinks about verification》。我们未读博文正文,只按标题与来源整理一套读者可以自己试的验证流程:怎么写 CLAUDE.md 规矩、怎么改测试、怎么记误报率变化。

目录 · 1614 字 / 4 分钟
2026 年 11 月 17 日,Claude 官方开发者博客刊出一篇题为 “How the Claude Code team thinks about verification” 的文章,在 Hacker News 上引起了不少讨论。讨论的核心不是某个新功能,而是一个更基础的问题:agent 说自己做完了,凭什么算做完了?
我们只读了这篇博文的标题与链接,没有读正文,也没有照文中的做法改过自己的流程,更没有误报率数据。所以下面不转述「团队是怎么做的」,只写一套读者可以自己试的验证规矩,以及怎样量化它有没有用。
验证为什么值得单独当成一件事
coding agent 的问题不是不会写,而是会自信地报告「已完成」。写完代码、跑不跑得通、需求对不对,是三件不同的事。把三件混成一件,最典型的失败长这样:
- 功能写了,但一次都没执行过。
- 执行了,但只跑了最顺利的那条路径。
- 测试通过了,但测试本身被改成迁就实现。
- 需求理解错了一半,输出却很完整。
验证要做的,是把「完成」从模型的自述里拿出来,换成外部可检查的证据。
把验证规矩写进 CLAUDE.md
CLAUDE.md 是每次会话都会读的上下文文件,最适合放「不许跳过的步骤」。可以这样试:
- 定义完成的判据:不是「代码写完」,而是「指定命令执行过,输出贴出来,退出码为零」。把判据写成可执行的句子,而不是形容词。
- 指定必跑命令:格式化、静态检查、单元测试、构建。写清楚失败就停,不许改测试来绕过。
- 要求贴证据:执行的是哪条命令、输出是什么、涉及哪些文件。没有输出就等于没跑。
- 要求自审改动:列出改动的文件,说明每个文件为什么改,检查有没有残留的调试输出、注释掉的代码、临时文件。
- 要求复述需求:动手前把用户的要求拆成条目,做完逐条对应到改动或测试。
- 禁止没有根据的断言:「应该可以」「理论上没问题」不算验证结果。
规矩要短、可执行、能判断真假。写成长长一页、每条都靠自觉,agent 会挑容易的做。
测试流程怎么改
先红后绿是最省事的验证:先写一个会失败的测试,确认它确实失败,再改实现让它通过。顺序反过来,测试就变成了给实现补一个通过的仪式。
几个可以直接借用的检查:
- 反向验证:修好之后,把修复临时回退,测试必须重新失败。如果回退之后测试还通过,这个测试并没有真正覆盖 bug。
- 边界与失败路径单独测:空输入、超长输入、网络失败、权限不足。正常路径通过率高,说明不了什么。
- 把测试分层:单元测试跑得快、覆盖逻辑;集成测试覆盖接口与数据流;端到端测试只覆盖关键链路。分层是为了让你知道失败时该看哪里。
- 覆盖率当参考,不当目标。覆盖率高的项目照样可以几乎没有断言。
- 记下不稳定的测试:哪些测试时好时坏、在什么条件下坏。不稳定测试被忽略之后,整套测试的可信度就没了。
误报率怎么记
想证明这套规矩有用,就得有一个数字。可以这样记:
- 定义误报:agent 声称完成,人工或自动复查发现没完成。
- 一次任务记一行:任务名、agent 的自评、复查结论、失败原因分类。
- 按周算比例:误报任务数除以总任务数。
- 同时记漏报:说没做完、其实做完了。漏报的代价通常是多花时间,误报的代价是把没验证的东西带进主干,两者不要合在一起算。
- 样本少的时候看移动平均。一周只有几次任务时,单周比例会剧烈跳动。
记录本身比数字更重要:分类完之后你会发现,失败集中在少数几种模式上,比如「只跑了顺利路径」「改了测试迁就实现」。把这些模式写回 CLAUDE.md,才是下一次真正降低误报率的地方。
我们核实了什么
- 标题、来源站点与发布日期取自博文条目与讨论页的元数据,未读博文正文。
- 本文没有引用博文中的任何做法或数字,也没有把它写成「Claude Code 团队的官方流程」。
- 我们没有照这套办法改过自己的流程,因此不提供任何误报率实测数据;上面的记法是通用做法。
- 文中每条建议都可能被你自己项目的失败模式推翻,请以自己的复查结果为准。
参考来源
本文基于以下公开报道整理:
- How the Claude Code team thinks about verification — Claude 官方开发者博客,2026-11-17
- Claude 开发者博客 — 来源站点
本文由 AI 辅助整理,事实与标题来自 Claude 官方开发者博客条目;我们未读博文正文,未照其方法改造自有流程,文中不含误报率实测数据。
所属主题
TopicsAI 观察 AI Insights
智能体 AI Agents


