AWS 推出跨框架 AI 智能体闭环评测系统 UAEF

UAEF（Universal Agent Evaluation Framework）是 AWS 介绍的一套开源 AI 智能体评测系统。不同开发框架记录消息、工具调用和智能体交接的方式不同，过去为某个框架编写的指标和存储逻辑，换框架后往往需要重做。UAEF 的作用是把这些差异隔离在适配器中，让团队能用相同尺度比较提示词、模型或工具改动前后的表现。

原文称，电信、医疗和金融服务行业的 12 家组织客户曾使用 UAEF 在发布前评测智能体。该表述说明已有客户使用案例，但不能据此推断它已在这些组织中全面投入生产运营。

评测需要两个基本输入：待测智能体和测试数据集。数据集必须提供每个测试用例的问题，也可以提供标准答案；只有需要与参考答案比较的指标才依赖标准答案。若要评测工具调用，还要写明预期调用哪些工具、顺序和参数。

适配器读取智能体的消息、工具调用及智能体之间的交接，将其转换为统一的 AgentTrace。已有日志可以直接导入；没有轨迹时，UAEF 也能通过 HTTP 端点或运行时调用智能体并收集结果。后续指标都针对统一轨迹计算，因此本地智能体、托管运行环境及不同框架可以沿用同一评测流程。

系统内置 36 项指标，分为工具调用、回答质量、负责任 AI、性能、多轮对话、多智能体协作和推理七个维度。每项指标给出 0 到 1 的归一化分数，1 为最佳。团队不必全部启用，应根据智能体场景选择指标；没有标准答案时，依赖参考答案的指标会自动跳过。

指标分为直接从轨迹计算的确定性指标，以及由 Amazon Bedrock 上的大语言模型充当评委的指标。后者适合判断相关性或安全性等难以用固定公式描述的质量，但其分数只是评测信号，不应作为安全控制的放行依据。

设置持久化后，每次评测会成为一个实验：Amazon DynamoDB 保存用于检索和比较的实验元数据，Amazon S3 保存完整结果。运行记录还可关联框架、模型、工具、系统提示词、参数、配置快照和 Git 提交，从而把评分变化与具体改动联系起来。

比较引擎以共同指标的平均分为基础，计算绝对变化和百分比变化，并按可配置阈值判断退步、改善或不变，默认阈值为 5%。退步还会按幅度分为轻微、中等和严重。只有已持久化的运行能够用于后续比较。

UAEF 可通过 Python 库用于笔记本、脚本和持续集成流程，也可部署为带网页界面的 AWS 服务；两种方式共用评测引擎和存储。测试数据以 CSV 或 XLSX 提供，每行一个用例，只有问题字段必填。多轮数据还需用 session_id 分组、用 turn_id 排序，而且智能体端点必须自行维持会话状态。

轨迹在存储前可检测个人身份信息，保存副本时也可开启脱敏。部署或持久化会产生 DynamoDB、S3 等资源；删除服务栈后，采用保留策略的表、存储桶和用户池仍可能存在并继续产生费用，需要另行清理。