在数十亿个Agent广泛运行之前，亚马逊云科技CEO Matt Garman曾预言这一未来，这一前景固然令人振奋，但也需泼一盆冷水。去年7月，MIT Project NANDA发布的报告指出，尽管企业对生成式AI投入了300亿至400亿美元，但仅有5%的组织实现了规模化部署并获得显著回报。这种现象被称为“GenAI鸿沟”，绝大多数组织仍被困在“高采用率、低转化率”的试点阶段。
细分到Agent领域，同样存在这一鸿沟。许多Agent在Demo中表现优异，但一旦接入真实场景便失效。未来即便出现数十亿个Agent，其可用性也难以保证。问题的根源往往不在于模型不够强大，因为Agent需要深入具体的业务场景，工程问题可能比模型能力更重要。AWS发布的《企业生产级智能体开发部署指南》指出，传统软件工程方法对Agent失效，源于两者间的三个本质差异：非确定性、Prompt即源代码以及隐式依赖。
首先，非确定性是首要挑战。传统软件运行逻辑是确定的，而Agent基于大模型，输出具有概率性。同样的输入未必产生相同的输出，昨天测试通过不代表今天依然稳定，目前主流模型提供商并未承诺完全确定性输出。
其次，Prompt即源代码。传统软件代码有版本控制和静态分析工具，而Prompt没有。自然语言提示词的微小改动都可能引发Agent行为的剧烈波动，目前行业缺乏成熟工具来评估这种改动的影响。
最后，隐式依赖。Agent对底层大模型存在隐式依赖。模型提供商可能在后台悄悄升级，代码未动，Agent服务质量却已改变。
这三个差异叠加导致传统评估测试体系对Agent全面失效，致使企业Agent在进入生产环节时陷入停滞。
面对这一挑战，企业该如何应对？亚马逊全球副总裁储瑞松曾提出，企业构建Agent时，底层技术平台可以采购，但评估标准必须自主掌控，核心壁垒在于自有的黄金数据集和评估标准。随着AI智能体承担更多工作，传统的SDLC（软件开发生命周期）演变为ADLC（Agent开发生命周期）。ADLC与SDLC最大的区别在于它是一个飞轮而非流水线，包含定标准、开发实现、效果评估、灰度上线、持续监控、改进循环六个环节，形成闭环。
在启动开发前，需先定义什么是“好”的Agent，包括定义、语气、工具参数及基准数据集。上线后，生产环境数据必须回流至评估体系，建立完善的可观测性系统。此外，系统架构必须具备可评估性，推荐采用认证层、授权层和会话隔离层三层设计。
Agent做出来后，如何判断其优劣？指南提出了评估方法论的“两根支柱”：粒度与证据强度。
Agent的能力与一致性并不等同，“能做到”不等于“每次都能做到”。任何一环的随机性都会被放大，必须依靠大规模反复评估。
第一根支柱是评估粒度。从黑盒（看最终输出）到玻璃盒（看完整执行轨迹），再到白盒（看单步细节）。三种粒度分别回答“结果对不对”、“过程对不对”、“每一步对不对”。日常开发以玻璃盒为主，黑盒和白盒作为补充。
第二根支柱是证据强度。从机械可验证（代码规则）到半客观（固定评估器打分），再到主观默认评判（人工判断）。它们对应三类打分器：代码规则、模型和人工。
两根支柱互相正交，形成一个矩阵。例如，AWS客服Agent通过“真实数据+虚拟客户模拟”双轨评估方法，测试意图识别准确度和多轮对话连贯性。
值得一提的是，评估数据集的质量决定了评估的上限，企业需建设高质量测试集。虽然不同Agent关注维度不同，但核心原则不变：Agent是生产力工具，能否交付可衡量的业务结果是最终标准。进入Agent时代，企业面临技术和商业的双重挑战，唯有决心与投入才能让Agent真正落地。