【智能体测评-01】从模型跑分测到智能体测评的范式断裂

一个让人不安的现象

2024 年以来，几乎每个月都有新的 Agent 产品发布，几乎每个发布都配了一张亮眼的 benchmark 成绩表：SWE-bench 涨到了 70%+，GAIA 涨到了 60%+，WebArena 也在缓慢爬升。数字看起来一片大好。

但如果你真的在生产环境里跑过 Agent，你会有一种强烈的割裂感：benchmark 上 70% 的 Coding Agent，让它修一个真实仓库里的 bug，十次有八次修不对；GAIA 上 60% 的 General Agent，让它帮你订一趟差旅，它能把航班时间搞反、把酒店订到同城另一家。

这不是“模型还不够强”的问题。这是测评范式和真实能力之间出现了断裂——benchmark 测的东西，和 Agent 实际需要的能力，正在渐行渐远。

要理解这个断裂，得先搞清楚：大模型测评到底在测什么，智能体测评又到底需要测什么。

大模型测评：一场闭卷考试

过去几年我们熟悉的那套测评体系——MMLU、MMLU-Pro、GPQA、HumanEval、MATH、GSM8K——本质上是同一种范式：

输入一道题，输出一个答案，判对错。

这套范式有三个隐含假设。

假设一：所有解题所需信息都在题面里

MMLU 的一道医学题，四个选项，所有答题需要的信息都包含在题干和模型的参数知识里。模型不需要上网、不需要查数据库、不需要调用任何外部工具。这是一场闭卷考试。

假设二：解题过程是一次性的单步推理

题目进去，答案出来。中间可能有 Chain-of-Thought，但那是模型内部的思考过程，对外界没有副作用、不需要和环境交互、不需要根据中间结果调整策略。一步到位。

假设三：答案有客观的对错标准

一道单选题选 B 就是 B，一道数学题答案是 42 就是 42。评分可以完全自动化，不需要人的主观判断，也不存在“部分正确”这种模糊地带。

这三个假设在大模型时代基本成立。模型就是一个“答题机器”，给它题，它答，判分，排名。简单、清晰、可复现。

这套范式催生了整个大模型的“刷榜文化”，也确实推动了模型基础能力的快速进步——没人能否认，从 GPT-3 到 GPT-4，MMLU 从 20 多分涨到 90 分，对应的是真实的能力跃升。

但智能体不是答题机器。

智能体面对的是什么

把一道 MMLU 题和一个真实的 Agent 任务放在一起对比，差异是结构性的。

MMLU 题目：

下列哪种药物是 β-受体阻滞剂？A. 硝苯地平 B. 美托洛尔 C. 依那普利 D. 氯沙坦

Agent 任务：

帮我查一下最近三个月深圳南山区合租公寓的价格走势，对比自如和贝壳的报价，如果自如溢价超过 15% 就推荐贝壳，否则推荐自如，最后给我一个可以直接看房的房源链接。

后者和前者相比，多出来了什么？

多了环境：信息不在题面里

任务需要的所有信息——房价数据、两个平台的报价、房源链接——都不在题面里，也不在模型的参数知识里。Agent 需要主动去搜索、抓取、读取。它面对的不是一张静态试卷，而是一个动态的、开放的、信息不完整的环境。

这意味着测评不能只看“模型知道什么”，必须看“它能不能获取到它不知道的东西”。

多了工具：模型不是一个人在战斗

Agent 需要调用搜索引擎、浏览器、数据库、API、代码执行环境。工具能不能选对、参数能不能传对、返回结果能不能读懂、工具失败了能不能换一种方式重试——这些能力在闭卷考试里完全不被考察，但在真实任务里是决定性的。

一个模型可能 GPQA 满分，但如果它不会构造搜索关键词、不会处理网页的反爬、不会从 JSON 报错中恢复，它在真实任务里就是个废物。

多了多步：不是一锤子买卖

上面那个租房任务，至少需要：搜索价格趋势 → 打开自如 → 搜索南山合租 → 记录价格 → 打开贝壳 → 同样操作 → 对比 → 计算溢价 → 按条件推荐 → 找房源链接。十步起步，中间任何一步出问题都可能导致整个任务失败。

更关键的是，这十步不是预先规划好就能照做的。搜索结果可能和预期不一样、某个页面可能改版了、某个工具可能超时了——Agent 需要根据环境反馈动态调整计划。这是一个序贯决策问题，不是单步推理问题。

多了副作用：行动会改变世界

答题选错了，扣一分，结束。Agent 选错了呢？它可能真的下了一个订单、发了一封邮件、删了一条数据、转了一笔钱。行动是有后果的，而且很多后果不可逆。

这意味着测评不能只看“最终结果对不对”，还必须关注“过程中做了什么不该做的事”。一个成功完成任务但中途删了用户数据的 Agent，比一个直接说“我做不到”的 Agent 危险一万倍。

多了模糊性：什么叫“做对了”

那道医学题有唯一正确答案。但“帮我订一趟差旅”什么叫做好？航班时间合适但贵了 200 块，酒店位置好但房间小，行程紧凑但没留午饭时间——这些 trade-off 没有客观标准，取决于用户的隐性偏好。

真实任务的评分函数是模糊的、多维的、因人因境而异的。 这是闭卷考试范式根本无法处理的。

范式断裂的五个维度

把上面的差异系统化，大模型测评和智能体测评之间的断裂可以归纳为五个维度。

这不是“把题目出难一点”就能桥接的差距。这是两种完全不同的测评哲学。

为什么 Chatbot Arena 式的众包打分对 Agent 失效

Chatbot Arena 的模式很成功：两个人匿名对话，用户投票哪个更好，用 Elo 分数排名。这套模式对聊天机器人有效，因为对话本身就是终端产品，用户的主观感受就是质量标准。

但把这套搬到 Agent 上会出问题：

第一，用户看不到过程。 Agent 可能在后台调用了 20 次工具、绕了 3 个弯、花了 10 倍的 token 成本，但最后给出了一个看起来还行的答案。用户只看到最终结果，会投它一票。但一个高效的 Agent 和一个浪费资源的 Agent，在用户眼里可能没区别。

第二，用户难以判断任务是否真的完成。 “帮我查一下南山合租价格”，Agent 给了一个数字，用户怎么知道这个数字对不对？他可能需要自己再去查一遍才能验证——那还要 Agent 干什么？很多 Agent 任务的质量验证成本比执行成本还高。

第三，单轮体验无法覆盖长程任务的可靠性问题。 一个 Agent 可能 10 次里成 8 次，用户在 Arena 里恰好碰到一次成功的，给了好评。但 20% 的失败率在生产环境里是不可接受的。众包打分的样本量和任务分布，根本无法稳定估计失败率。

第四，安全和副作用问题在 Arena 里几乎不被触发。 沙盒环境里的 Agent 不会真的删数据、不会真的花钱、不会真的发邮件。那些“偶尔做危险操作”的 Agent 在 Arena 里看起来和安全的 Agent 一样好。

不是说主观偏好不重要——它重要，尤其是终端用户体验层面。但它不能作为 Agent 测评的全部，甚至不能作为主要部分。

Agent 能力的六维模型

如果大模型测评的“知识 + 推理”二维模型不够用了，我们需要一个什么样的能力模型？

我们在实践中把 Agent 的能力拆成六个正交维度。它们不是层次关系，而是一个 Agent 在执行任何任务时都同时在运转的六个面。

graph LR
    P[感知 Perception] --> PL[规划 Planning]
    PL --> T[工具 Tool Use]
    T --> E[执行 Execution]
    E --> R[反思 Reflection]
    R --> PL
    M[记忆 Memory] -.-> PL
    M -.-> T
    M -.-> E
    M -.-> R

感知（Perception）

理解环境状态的能力。包括解析网页、读取文件、理解 API 返回、识别 UI 元素、从多模态输入中提取信息。感知失败是 Agent 最常见的失败模式之一——它“看”到了页面，但没“看懂”页面。

规划（Planning）

把一个模糊目标分解成可执行步骤的能力。包括任务拆解、优先级排序、依赖识别、条件分支设计。规划能力弱的 Agent 要么东一榔头西一棒子，要么死磕一条走不通的路。

工具（Tool Use）

选择和使用外部工具的能力。包括在正确的时机选择正确的工具、传对参数、解读返回、处理工具报错、在工具不可用时找替代方案。这是当前 Agent 最容易“看起来会但实际不会”的能力。

记忆（Memory）

在多步任务中保持和利用信息的能力。包括短期工作记忆（当前任务的中间状态）和长期记忆（跨任务的用户偏好、历史经验）。记忆问题表现为：刚查到的价格转头就忘、用户说过的偏好反复问、第三步的结果在第八步丢失。

执行（Execution）

把计划落地为具体行动的能力。包括生成正确的代码/API 调用、在正确的页面点击正确的元素、处理执行过程中的异常。执行层的失败往往很“低级”但很致命——按钮点错了、参数传反了、少了一个必填字段。

反思（Reflection）

监控自己的执行过程、发现错误、调整策略的能力。包括判断“这条路走不通”、从报错中推断原因、回退到上一个正确状态、换一种方法重试。没有反思能力的 Agent 会在死循环里耗尽 token，或者带着错误一路狂奔到最终输出。

这六个维度不是凭空想出来的分类，而是从大量真实失败 case 中归纳出来的。后面第 2 篇《Agent 失败分类学》会把每个维度的典型失败模式逐一拆开。

这个模型怎么用

六维模型的价值不在于“分类好看”，而在于它直接指导测评设计：

1. 每个维度都可以单独测试。 比如给 Agent 一个结构混乱的网页测感知，给一个需要回退的任务测反思，给一个需要记住用户偏好的多轮任务测记忆。
2. 不同场景的维度权重不同。 Coding Agent 的工具和执行权重大，客服 Agent 的记忆和反思权重大，Deep Research Agent 的感知和规划权重大。不能用同一套权重给所有 Agent 打分。
3. 失败归因有章可循。 一个任务失败了，不是笼统地说“Agent 不行”，而是定位到是感知没看懂页面、还是规划拆错了步骤、还是工具调用参数传错了。归因越精确，改进方向越明确。

总纲里画的那张三维框架图——层次（L1-L4）× 能力（六维）× 场景——这里的六维就是它的第二个轴。后面所有测评方法的设计，都会回到这六个维度上来。

小结：断裂意味着什么

从模型跑分测到智能体测评的范式断裂，本质上是从**“测知识”到“测行动”**的转变。

闭卷考试有标准答案、零副作用、一步到位；开放环境中的行动没有标准答案、有真实后果、需要持续调整。用前者的方法测后者，就像用笔试考驾照——交规考满分的人，上路可能连车库都倒不出来。

承认这个断裂，不是要否定大模型测评的价值。MMLU 们依然是衡量模型基础能力的有效标尺。但当我们谈论“智能体”——一个能自主规划、使用工具、在环境中行动、产生真实后果的系统——我们需要一套全新的测评语言。

这套语言的核心是：

• 测任务完成，不只测知识掌握
• 测过程轨迹，不只测最终结果
• 测多维权重，不用单一分数
• 测持续可靠性，不测一次表现
• 测安全边界，不只测能力上限

下一篇《Agent 失败分类学》，我们会从六维模型出发，逐一拆解 Agent 在每个维度上的典型失败姿势，建立一套可操作的失败分类体系。因为搞清楚“怎么败的”，是搞清楚“怎么测”的前提。