Google提出持续评估工程方法，应对AI代理生产环境评估挑战

ME News 消息，4 月 4 日（UTC+8），近日，GoogleCloudTech发文指出，在生产环境中依赖手动聊天和主观感受（即’氛围检查’）来评估AI代理是不可靠的，并可能引发灾难。文中观点认为，生成式AI基于概率的特性，使得微小的提示或模型权重变化都可能导致性能显著衰退。为解决此问题，文章提出了应用持续评估（CE）的工程方法。该方法区分了AI工程的两种模式：探索模式（实验室）和防御模式（工厂）。探索模式侧重于通过少量示例和氛围检查寻找模型潜力；防御模式则关注稳定性，通过基于数据集的评估、严格门控和自动化指标确保系统满足服务等级目标（SLO）。文章警告许多团队长期停留在探索模式。文中还以基于Cloud Run和Agent2Agent协议构建的分布式多代理系统（课程创建者系统）为例，说明了通过关注点分离原则和专门代理（如研究员、法官、内容构建者、协调器）实现可靠、可扩展生产级AI部署的防御模式实践。（来源：InFoQ）