返回行业动态
智能体与应用

两百多个 AWS 服务的模拟器,代码与测试全部由智能体写成

AWS 于 11 月 11 日发布 AWS Emulator,一个可在本机离线运行 AWS API 的模拟器,覆盖 400 多个 Smithy API 模型、200 多个服务,采用 CC0 许可开源。项目代码与保真度测试全部由自主智能体编写,团队称未写也未审核任何一行。仓库在 61 天里累积近 3 万次提交、322 个版本;随包发布的保真度文件显示 42937 个测试单元通过 56.5%。未实现的操作返回 501 而非伪造成功,这一点比覆盖率更值得关注。

来源:AWS News Blog:Test your applications against AWS locally with AWS Emulator原标题:Test your applications against AWS locally with AWS Emulator查看原文
俯视的巨大机房网格,成排机柜之间无数发光粒子汇聚到画面中央由光点构成的立方体骨架,青绿色光流沿地面扩散

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

11 月 11 日,AWS 在其新闻博客发布 AWS Emulator 并正式可用:一个跑在开发者本机上的 AWS 模拟器,AWS CLI、各语言 SDK 与编码智能体通过本地 HTTPS 端点与它通信,用的是与云端相同的 API 形态。它没有附加服务费,源码以 CC0 1.0 公共领域奉献方式开在 GitHub 的 aws/aws-emulator 仓库。

工程细节很具体:实现语言是 Rust,为的是在笔记本上少占 CPU 与内存;Linux 走 RPM 或 Debian 包,macOS 与 Windows 需要自己构建 Docker 镜像;启动后在 127.0.0.1:9297 提供 HTTPS,用自签证书,每次启动重新生成密钥,访问密钥以 EMULATOR 开头以免与真实密钥混淆,请求必须按 SigV4 签名;全部资源归属单一账号。

代码是谁写的

这是本次发布最不寻常的部分。AWS 说明该模拟器由智能体基于公开的 AWS API 模型构建与维护,运行在 Amazon Bedrock AgentCore 的运行时实例上,配合 CodeCommit 与 CodePipeline。分工是三组:一组通过对比模拟器与真实 AWS 的响应、并静态比对已发布的 Smithy 模型来找缺口,为每个缺口开一个 issue;另一组领走 issue、写测试、实现行为,并复核正确性、性能与安全;改动推送到源仓库后触发流水线跑保真度测试,通过才发布到公开 GitHub。

项目负责人、AWS 高级首席工程师 Matt Goldberg 的说法是,团队既没有写、也没有审阅其中任何一行代码。仓库的提交记录给了一个可核对的侧面:项目 9 月 11 日创建,到发布时约 61 天,累积 29684 次提交、322 个版本,平均每天近 490 次提交、5 个版本。

覆盖率与它的诚实之处

  • AWS 官方口径是覆盖 400 多个 API 模型、200 多个服务;有媒体按发布说明统计为 426 个服务
  • 官方每次发版按服务公布保真度,形如「50 个测试通过 40 个」,并公开评测集仓库,包含尚未通过的用例
  • 第三方下载随包发布的分数文件自行统计:42937 个测试单元中通过 24243 个(56.5%)、失败 18614 个(43.4%);按步骤计 68007 步通过 49810 步(73.2%);分数文件覆盖 355 个服务,与宣称的服务数仍有差距
  • 未实现的操作直接返回 HTTP 501,让测试当场失败,而不是返回看似合理的假数据——对一个测试工具来说,这比覆盖率更关键

边界与企业采用建议

AWS 自己把限制写得很直白:模拟器不按 AWS 的方式评估 IAM 与资源策略,因此「在 AWS 会被拒绝的请求,在模拟器里可能成功」;每个实例是单账号,没有跨账号与跨区域行为;各服务与各特性的接近程度不一;默认会上报匿名的使用与错误数据,可以关闭;不要用它测试应用是否安全。此外它支持嵌入式模式,Rust SDK 可把模拟器放进测试进程内,各自独立状态、可并行。

对国内做智能体工程的团队,这次发布的参考价值不在工具本身,而在流程:AWS 把「什么算对」写成了可执行的保真度测试与合并门禁,人的工作是定义规格与阈值。AWS 数据战略负责人 Swami Sivasubramanian 在客座文章里给了一个对照——他曾让编码智能体重建内部 Paxos 复制引擎,没有本地环境可跑时连续四夜无进展,补上精确规格与本地测试台后两小时完成。

需要保留的疑问是可持续性:仓库不接受外部 PR,维护依赖同一批智能体;保真度分数会因新增测试而下降,短期数字不能当作质量趋势;「数千个 issue 每天修复」这类说法目前只有厂商口径。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。