Journal / 2026 / AI技术

Claude Code 团队怎么看验证:可以这样自试

2026 年 11 月 17 日,Claude 官方开发者博客刊出《How the Claude Code team thinks about verification》。我们未读博文正文,只按标题与来源整理一套读者可以自己试的验证流程:怎么写 CLAUDE.md 规矩、怎么改测试、怎么记误报率变化。

Claude Code 团队怎么看验证:可以这样自试
封面 取自本文正文首图,点击可放大
目录 · 1614 字 / 4 分钟

2026 年 11 月 17 日,Claude 官方开发者博客刊出一篇题为 “How the Claude Code team thinks about verification” 的文章,在 Hacker News 上引起了不少讨论。讨论的核心不是某个新功能,而是一个更基础的问题:agent 说自己做完了,凭什么算做完了?

我们只读了这篇博文的标题与链接,没有读正文,也没有照文中的做法改过自己的流程,更没有误报率数据。所以下面不转述「团队是怎么做的」,只写一套读者可以自己试的验证规矩,以及怎样量化它有没有用。

验证为什么值得单独当成一件事

coding agent 的问题不是不会写,而是会自信地报告「已完成」。写完代码、跑不跑得通、需求对不对,是三件不同的事。把三件混成一件,最典型的失败长这样:

  • 功能写了,但一次都没执行过。
  • 执行了,但只跑了最顺利的那条路径。
  • 测试通过了,但测试本身被改成迁就实现。
  • 需求理解错了一半,输出却很完整。

验证要做的,是把「完成」从模型的自述里拿出来,换成外部可检查的证据。

把验证规矩写进 CLAUDE.md

CLAUDE.md 是每次会话都会读的上下文文件,最适合放「不许跳过的步骤」。可以这样试:

  • 定义完成的判据:不是「代码写完」,而是「指定命令执行过,输出贴出来,退出码为零」。把判据写成可执行的句子,而不是形容词。
  • 指定必跑命令:格式化、静态检查、单元测试、构建。写清楚失败就停,不许改测试来绕过。
  • 要求贴证据:执行的是哪条命令、输出是什么、涉及哪些文件。没有输出就等于没跑。
  • 要求自审改动:列出改动的文件,说明每个文件为什么改,检查有没有残留的调试输出、注释掉的代码、临时文件。
  • 要求复述需求:动手前把用户的要求拆成条目,做完逐条对应到改动或测试。
  • 禁止没有根据的断言:「应该可以」「理论上没问题」不算验证结果。

规矩要短、可执行、能判断真假。写成长长一页、每条都靠自觉,agent 会挑容易的做。

测试流程怎么改

先红后绿是最省事的验证:先写一个会失败的测试,确认它确实失败,再改实现让它通过。顺序反过来,测试就变成了给实现补一个通过的仪式。

几个可以直接借用的检查:

  • 反向验证:修好之后,把修复临时回退,测试必须重新失败。如果回退之后测试还通过,这个测试并没有真正覆盖 bug。
  • 边界与失败路径单独测:空输入、超长输入、网络失败、权限不足。正常路径通过率高,说明不了什么。
  • 把测试分层:单元测试跑得快、覆盖逻辑;集成测试覆盖接口与数据流;端到端测试只覆盖关键链路。分层是为了让你知道失败时该看哪里。
  • 覆盖率当参考,不当目标。覆盖率高的项目照样可以几乎没有断言。
  • 记下不稳定的测试:哪些测试时好时坏、在什么条件下坏。不稳定测试被忽略之后,整套测试的可信度就没了。

误报率怎么记

想证明这套规矩有用,就得有一个数字。可以这样记:

  • 定义误报:agent 声称完成,人工或自动复查发现没完成。
  • 一次任务记一行:任务名、agent 的自评、复查结论、失败原因分类。
  • 按周算比例:误报任务数除以总任务数。
  • 同时记漏报:说没做完、其实做完了。漏报的代价通常是多花时间,误报的代价是把没验证的东西带进主干,两者不要合在一起算。
  • 样本少的时候看移动平均。一周只有几次任务时,单周比例会剧烈跳动。

记录本身比数字更重要:分类完之后你会发现,失败集中在少数几种模式上,比如「只跑了顺利路径」「改了测试迁就实现」。把这些模式写回 CLAUDE.md,才是下一次真正降低误报率的地方。

我们核实了什么

  • 标题、来源站点与发布日期取自博文条目与讨论页的元数据,未读博文正文。
  • 本文没有引用博文中的任何做法或数字,也没有把它写成「Claude Code 团队的官方流程」。
  • 我们没有照这套办法改过自己的流程,因此不提供任何误报率实测数据;上面的记法是通用做法。
  • 文中每条建议都可能被你自己项目的失败模式推翻,请以自己的复查结果为准。

参考来源

本文基于以下公开报道整理:

本文由 AI 辅助整理,事实与标题来自 Claude 官方开发者博客条目;我们未读博文正文,未照其方法改造自有流程,文中不含误报率实测数据。

§

所属主题

Topics

主题只是把现有标签归并后的浏览方式,标签本身不变;全部标签 · 画廊

← 全部文章