30秒看懂这篇测试变红后,最省力的一句话是:“AI,修到通过。”最危险的结果也是:它真的变绿了。一个越权删除Bug,可以被一次waitFor、一条放宽的断言和三次重试藏得无影无踪。问题不在于AI会不会修代码,而在于你让它优化的是绿色,还是正确性。flowchartTBA["失败现场"]-->B["保
30秒看懂这篇mock掉认证、只断言函数被调用、删除真实文章——这些测试都可能短暂变绿,却不能提供可靠保护。自动化前必须先定四件事:测试层级、现有设施、行为断言、数据隔离。flowchartTDA["一条文本用例"]-->B{"要验证哪一层契约?"}B-->C["单元:纯业务规则"]B-->D["接
30秒看懂这篇“管理员删除成功、列表消失、弹窗出现”三条用例看起来完整,却可能同时漏掉权限、状态、并发和副作用。问题不在测试语法,而在没有从需求系统展开场景。flowchartTBA["Spec中的REQ"]-->B["逐条展开六个维度"]B-->C["正常·权限·异常"]B-->D["边界·并发·
30秒看懂这篇测试全绿只说明已执行的断言通过了。它不会自动告诉你:是否改了Plan禁止触碰的文件、是否引入了新依赖、是否把关键逻辑mock成了空转。flowchartTDA["一份待合入Diff"]-->B["第一层:范围<br/>文件与Plan授权一致?"]B-->C["第二层:基本真实
30秒看懂这篇Plan通过后,真正危险的不是AI不会写,而是一次写太多:越界文件、顺手重构、改宽松断言全混在一个Diff里,评审变成考古。flowchartTBA["取Plan的一小步"]-->B["声明允许/禁止修改范围"]B-->C["实现+同步测试"]C-->D["跑当前相关检查"]D-->E
30秒看懂这篇一份Plan可以每栏都填满,却仍然漏掉最关键的问题。Gate1与Gate2是本流程在实现前设置的两次主要人工评审;自动检查、架构评审和安全评审还可以提供其他拦截点。flowchartTDA["AI生成Spec/Plan"]-->B["AI预审<br/>结构·编号·明显矛盾"]
30秒看懂这篇一份只有“写接口、写按钮、写测试”的Plan,看起来完整,却回答不了三个关键问题:现状是什么、边界在哪里、出事怎么退。flowchartTBA["已批准Spec"]-->B["只读研究<br/>事实+文件证据"]B-->C["影响面<br/>新增/修改/不碰"]C-
这是“AINative开发”系列的第5篇。上一篇的Spec模板最后留了一栏“待确认问题”,并说:如果某个问题不是“需求没想清”,而是“技术上不知道可不可行”,它不该靠拍脑袋写进Spec。本篇就处理这类问题——AI能更快生成实现,也会更快放大未经核实的技术假设及其返工范围。Spike就是专门隔离和清除
这是“AINative开发”系列的第3篇。前两篇建立了SDD的四阶段与四道闸门,并用一次完整交付演示了错误如何被拦在闸门之外。但那次演示有一个隐含前提:AI开工前就理解了这个项目。本篇专门讨论这个前提——如果它不成立,再好的Spec也会被错误实现。30秒看懂这篇答案通常不只在模型,也在它动手那一刻能
这是“AINative开发”系列的第2篇。前两篇分别讨论了AINative开发改变什么,以及AI为什么会把未决策的问题直接做成代码。本篇完整走一遍“删除草稿文章”的交付过程。**案例说明:**本文的删除接口、鉴权、Vitest/Playwright测试均为一个假想全栈项目的示意产物,不是本博客当前仓
这是“AINative开发”系列的第1篇。上一篇提出:可靠交付的最小单元不再只是代码。本篇通过一个订单取消案例,说明AICoding最难防的错误,往往不是语法错误,而是未经授权的产品决策。30秒看懂这篇一句“增加订单取消功能”,AI可以很快交出页面、接口和测试。代码没有语法错误,测试也全绿,但它可能
这是“AINative开发”系列的第0篇。本系列讨论一个具体问题:当AI成为软件生产过程中的重要执行者,我们如何用SDD开发、验证并交付传统软件产品。30秒看懂这篇一个越来越常见的场景:AI用20分钟生成了800行代码,团队却需要两天确认它到底改了什么、有没有权限漏洞、测试是不是真的有效。生成加速了
这是“智能体测评”系列的一篇番外。前面我们讲完了测评集方法论(第7篇),下一篇就要动手搭流水线了。但很多人照着流水线代码搭起来之后会发现一个尴尬的问题:任务能发出去,结果也能收回来,但中间的过程数据一律拿不到,想mock工具也无处下手——流水线跑成了黑盒。这篇番外补上缺失的一环:在测评之前,被测的智
这是“智能体测评”系列的第10篇,也是收官篇。第9篇讲了不同场景的测评方案差异,那些主要发生在发布之前。但Agent真正的考验从上线那一刻才开始——用户不会按你的测评集提问,环境会变化,模型会更新。这一篇我们讲四层框架的最后一层L4:Agent上线之后,怎么持续知道它好不好,以及怎么让生产环境反哺你
这是“智能体测评”系列的第9篇。第8篇给了一套通用的测评流水线骨架。但骨架不能直接套用——不同类型的Agent,“成功”的含义天差地别。这一篇我们挑三个最典型的场景,给出各自定制化的测评方案,包括任务设计、评分逻辑、轨迹指标和常见陷阱。为什么不能用一套尺子量所有Agent一个看似显然但经常被忽视的事