一、Midscene.js是什么
一句话:一个“长了眼睛”的 UI 自动化框架——你用自然语言描述要做什么,它靠截图 + 多模态大模型自己看懂界面、定位元素、执行点击/输入/断言。
它不读 DOM、不写 XPath/CSS 选择器,界面长什么样它就“看”什么样。HTML、Canvas、原生 App、桌面程序都能用同一套思路驱动。
二、安装
在谷歌浏览器上安装Midscene.js插件

设置中配置好AI,这里我用的是智谱的glm-v

三、使用
在系统页面上,点击插件,对话框中直接输入操作指令。
(1)测试:日期选择




如图在执行到日期选择时,该AI模型在面对复杂控件时元素定位能力不足,无法正常进行下去。
(2)测试:连续点击导航栏

执行到第二步,发生错误。
四、小结
midscene.js执行的情况可能与AI视觉模型的强弱以及指令输出有关,执行结果存在不确定性,也有token成本。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/weixin_44686138/article/details/170700590




