Midscene完整指南用一句自然语言驱动界面自动化【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个开源的视觉 UI 自动化框架核心思路简单截个屏让 AI 照着操作。你不用写选择器直接用一句点击登录按钮这样的自然语言它就会自己看懂页面并完成操作。最值得一提的卖点是Web、Android、iOS、桌面端全部支持且用的是同一套指令写完基本可以跨平台复用。当页面上的元素根本找不到想象你在给一个电商页面写自动化测试。你精心写好的脚本某天早上一看全挂了——前端重构后原来那个#login-btn选择器没了。更头疼的是页面上有些按钮只有一枚图标没有任何语义化标记还有些内容是用 canvas 画出来的靠读页面结构根本看不见。传统方案要么追着改选择器要么只能放弃这类元素。Midscene 换了一条路它不读页面结构只看截图。屏幕上人眼能看见的它就能定位到。所以界面改版、图标按钮、canvas 内容对它来说都一样处理。对新手来说这意味着什么你不再需要花时间研究 DOM直接像口头描述那样告诉它要做什么就行。三步完成安装与第一次操作第一步安装。最轻量的方式是装 Chrome 扩展Midscene不用搭建任何项目环境如果你想跑脚本也可以在终端里执行一行命令安装 SDKnpm install midscene/web。第二步配置模型。Midscene 靠多模态大模型理解界面打开扩展的设置页粘贴你申请到的模型配置支持 Qwen、Doubao、GLM、Gemini 等也有可自托管的开源模型并保存。第三步运行第一条指令。打开任意网页在扩展侧边栏里输入一句当前页面能对应上的话比如点击登录按钮点 Run。几秒后你会看到它规划步骤、高亮定位元素、完成点击——你的第一次视觉自动化就完成了。核心功能走查自然语言操作像吩咐同事一样驱动界面你把目标说出来Midscene 自己拆解步骤。比如对着一个表单说填写用户名和邮箱然后提交它会逐个定位输入框、填入内容、找到提交按钮。页面布局变了也不用改这句话维护成本比选择器低得多。数据提取把页面变成结构化数据不只是操作它还能读页面。你可以要求提取页面中的商品包含名称和价格它会扫一遍截图把结果整理成结构化的数据返回。做竞品价格监测、爬取没有 API 的页面时特别顺手。界面断言验证用户真正看到的东西测试里最常见的诉求是页面上应该出现某样东西。Midscene 的断言是视觉层面的你可以写页面顶部显示导航栏结果里出现了天气信息它核对的是渲染出来的画面包括颜色、高亮、布局而不只是节点存不存在。跨平台一套指令Web 到手写应用通吃同一套 API 覆盖浏览器、Android、iOS、HarmonyOS 和桌面应用。你在网页上验证过的打开设置页并开启深色模式这类指令换个平台接入后照样能跑不用为每个端重写一遍用例。常用指令速查指令类型你能用它做什么一句话示例aiAct 交互操作执行任意界面操作点击登录按钮aiQuery 数据提取从页面获取结构化数据列出商品名称和价格aiAssert 界面断言校验画面是否符合预期页面顶部显示导航栏YAML 脚本把流程写成文件批量执行在脚本文件里写步骤一条命令跑完可视化报告查看每次运行的回放运行结束自动生成可逐步回放Bridge 模式让脚本远程接管浏览器在扩展里填入本地终端地址即可连接进阶一下写 YAML 脚本跑批量测试。如果你的流程超过三五步与其每次手输指令不如写一个 .yaml 文件声明目标页面然后按顺序列出搜索某内容断言结果出现等步骤保存后一条命令就能反复执行非常适合纳入日常回归。利用回放报告定位失败。每次运行结束后Midscene 都会生成一份可视化报告左侧是带耗时的步骤清单右侧是每一步的屏幕截图。测试挂了不用猜打开报告逐步回放看到底是规划错了还是点歪了失败原因一目了然。适合谁它适合 QA 工程师、前端开发以及任何想自动化重复性界面操作但又不想被选择器绑架的人——尤其是产品迭代快、页面经常改的团队。如果你的场景是超大规模、对单次操作成本极其敏感的纯爬虫可能更倾向于传统脚本方案而需要看懂界面再动手的任务Midscene 基本是目前最省心的选择。想继续深入可以从 官方文档 开始里面有各平台的上手指南和完整的 API 参考。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考