Midscene.js - 开源 AI 自动化测试与 Web/Android 操作工具 - 数智AI导航

浏览次数

7

收藏次数

0

点赞次数

0

Midscene.js

Midscene.js 是一款开源的 AI 驱动的自动化测试与操作工具，支持 Web 和 Android 平台。它提供自然语言编写自动化脚本、可视化调试报告和多模态模型集成，帮助开发者高效完成界面测试与任务编排。

标签： Midscene.js AI 自动化测试 Web 自动化工具 Android 自动化 JavaScript SDK UI 测试框架

介绍详情

Midscene.js 核心功能解析

一、产品定位

Midscene.js 是由 web-infra-dev 团队开发的开源 AI 自动化操作框架，主要面向：

‚úî Web 自动化测试（支持 Puppeteer/Playwright）
üì± Android 设备控制（通过 adb 连接）
üí° 跨平台任务编排（支持 YAML/JS 脚本）

二、核心特性

1. 智能自动化

自然语言编程：直接描述操作目标，AI 自动生成执行步骤

await aiAction('点击所有未完成的记录')

多模态模型支持：集成 GPT-4o/Qwen2.5-VL 等视觉语言模型

2. 开发者工具

üéû 可视化调试报告
üîÑ 执行缓存加速
‚ù§ MCP 协议（支持跨设备控制）

3. 三种 API 体系

API 类型	功能	示例
Interaction	界面交互	`aiClick()`/`aiScroll()`
Data Extraction	数据提取	`aiQuery('获取商品价格')`
Utility	工具方法	`aiWaitFor()`/`aiAssert()`

三、技术架构

运行模式

Auto Planning（全自动规划）
Workflow Style（分步骤控制）

安卓控制方案

graph LR
  A[Web Browser] --&gt; B[ADB Protocol]
  B --&gt; C[Android Device]

四、竞品对比优势

‚òÜ 开源免费（MIT License）
üìö 可视化调试工具链
üíú JavaScript SDK 深度集成

五、应用场景

üëç 电商价格监控
üîå App 自动化测试
üïÑ 跨平台数据采集

üìÑ 资源获取

> 提示：最新 v0.26.6 版本已支持 Gemini 2.5 模型集成（2025年8月发布）

热门网址

Galacean Engine

Galacean Effects

相关导航