大大Cameo头像
Midscene.js 体验封面图

Midscene.js 体验

一、Midscene.js是什么

一句话:一个“长了眼睛”的 UI 自动化框架——你用自然语言描述要做什么,它靠截图 + 多模态大模型自己看懂界面、定位元素、执行点击/输入/断言。

它不读 DOM、不写 XPath/CSS 选择器,界面长什么样它就“看”什么样。HTML、Canvas、原生 App、桌面程序都能用同一套思路驱动。

二、安装

在谷歌浏览器上安装Midscene.js插件

设置中配置好AI,这里我用的是智谱的glm-v

三、使用

在系统页面上,点击插件,对话框中直接输入操作指令。

(1)测试:日期选择

如图在执行到日期选择时,该AI模型在面对复杂控件时元素定位能力不足,无法正常进行下去。

(2)测试:连续点击导航栏

执行到第二步,发生错误。

四、小结

midscene.js执行的情况可能与AI视觉模型的强弱以及指令输出有关,执行结果存在不确定性,也有token成本。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/weixin_44686138/article/details/170700590

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--