Home
avatar

.Sam

【AI Native开发-12】“修到通过”为什么会把真 Bug 修没?

AI Native开发

【AI Native开发-12】“修到通过”为什么会把真 Bug 修没?

30秒看懂这篇测试变红后,最省力的一句话是:“AI,修到通过。”最危险的结果也是:它真的变绿了。一个越权删除Bug,可以被一次waitFor、一条放宽的断言和三次重试藏得无影无踪。问题不在于AI会不会修代码,而在于你让它优化的是绿色,还是正确性。flowchartTBA["失败现场"]-->B["保

【AI Native开发-11】测试全绿,也可能什么也没测到:问题出在哪?

AI Native开发

【AI Native开发-11】测试全绿,也可能什么也没测到:问题出在哪?

30秒看懂这篇mock掉认证、只断言函数被调用、删除真实文章——这些测试都可能短暂变绿,却不能提供可靠保护。自动化前必须先定四件事:测试层级、现有设施、行为断言、数据隔离。flowchartTDA["一条文本用例"]-->B{"要验证哪一层契约?"}B-->C["单元:纯业务规则"]B-->D["接

【AI Native开发-10】为什么“管理员删除成功”不是一套测试设计?

AI Native开发

【AI Native开发-10】为什么“管理员删除成功”不是一套测试设计?

30秒看懂这篇“管理员删除成功、列表消失、弹窗出现”三条用例看起来完整,却可能同时漏掉权限、状态、并发和副作用。问题不在测试语法,而在没有从需求系统展开场景。flowchartTBA["Spec中的REQ"]-->B["逐条展开六个维度"]B-->C["正常·权限·异常"]B-->D["边界·并发·

【AI Native开发-05】技术不确定时,为什么不该让 AI 直接开写?

AI Native开发

【AI Native开发-05】技术不确定时,为什么不该让 AI 直接开写?

这是“AINative开发”系列的第5篇。上一篇的Spec模板最后留了一栏“待确认问题”,并说:如果某个问题不是“需求没想清”,而是“技术上不知道可不可行”,它不该靠拍脑袋写进Spec。本篇就处理这类问题——AI能更快生成实现,也会更快放大未经核实的技术假设及其返工范围。Spike就是专门隔离和清除

【AI Native开发-03】同一个 AI,为什么换个项目就“变笨”?

AI Native开发

【AI Native开发-03】同一个 AI,为什么换个项目就“变笨”?

这是“AINative开发”系列的第3篇。前两篇建立了SDD的四阶段与四道闸门,并用一次完整交付演示了错误如何被拦在闸门之外。但那次演示有一个隐含前提:AI开工前就理解了这个项目。本篇专门讨论这个前提——如果它不成立,再好的Spec也会被错误实现。30秒看懂这篇答案通常不只在模型,也在它动手那一刻能

【AI Native开发-02】一句需求到可靠交付,中间要过哪四道闸门?

AI Native开发

【AI Native开发-02】一句需求到可靠交付,中间要过哪四道闸门?

这是“AINative开发”系列的第2篇。前两篇分别讨论了AINative开发改变什么,以及AI为什么会把未决策的问题直接做成代码。本篇完整走一遍“删除草稿文章”的交付过程。**案例说明:**本文的删除接口、鉴权、Vitest/Playwright测试均为一个假想全栈项目的示意产物,不是本博客当前仓

【AI Native开发-01】AI 把没决定的事做成代码,代价有多大?

AI Native开发

【AI Native开发-01】AI 把没决定的事做成代码,代价有多大?

这是“AINative开发”系列的第1篇。上一篇提出:可靠交付的最小单元不再只是代码。本篇通过一个订单取消案例,说明AICoding最难防的错误,往往不是语法错误,而是未经授权的产品决策。30秒看懂这篇一句“增加订单取消功能”,AI可以很快交出页面、接口和测试。代码没有语法错误,测试也全绿,但它可能

【AI Native开发-00】代码生成变快之后,为什么交付反而更难了?

AI Native开发

【AI Native开发-00】代码生成变快之后,为什么交付反而更难了?

这是“AINative开发”系列的第0篇。本系列讨论一个具体问题:当AI成为软件生产过程中的重要执行者,我们如何用SDD开发、验证并交付传统软件产品。30秒看懂这篇一个越来越常见的场景:AI用20分钟生成了800行代码,团队却需要两天确认它到底改了什么、有没有权限漏洞、测试是不是真的有效。生成加速了

【智能体测评-番外】测评之前:让智能体可测的工程准备

智能体测评

【智能体测评-番外】测评之前:让智能体可测的工程准备

这是“智能体测评”系列的一篇番外。前面我们讲完了测评集方法论(第7篇),下一篇就要动手搭流水线了。但很多人照着流水线代码搭起来之后会发现一个尴尬的问题:任务能发出去,结果也能收回来,但中间的过程数据一律拿不到,想mock工具也无处下手——流水线跑成了黑盒。这篇番外补上缺失的一环:在测评之前,被测的智

【智能体测评-10】生产环境的Agent可观测性与持续测评

智能体测评

【智能体测评-10】生产环境的Agent可观测性与持续测评

这是“智能体测评”系列的第10篇,也是收官篇。第9篇讲了不同场景的测评方案差异,那些主要发生在发布之前。但Agent真正的考验从上线那一刻才开始——用户不会按你的测评集提问,环境会变化,模型会更新。这一篇我们讲四层框架的最后一层L4:Agent上线之后,怎么持续知道它好不好,以及怎么让生产环境反哺你

【智能体测评-09】三类典型场景的测评方案:Coding Agent、客服Agent、深度研究Agent

智能体测评

【智能体测评-09】三类典型场景的测评方案:Coding Agent、客服Agent、深度研究Agent

这是“智能体测评”系列的第9篇。第8篇给了一套通用的测评流水线骨架。但骨架不能直接套用——不同类型的Agent,“成功”的含义天差地别。这一篇我们挑三个最典型的场景,给出各自定制化的测评方案,包括任务设计、评分逻辑、轨迹指标和常见陷阱。为什么不能用一套尺子量所有Agent一个看似显然但经常被忽视的事

1 24