使用 Android Playground 快速体验

通过使用 Midscene.js Android 设备,你可以快速在 Android 设备上体验 Midscene 的主要功能,而无需编写任何代码。

该 Playground 和 @midscene/android 包共享一份代码,因此你可以将其视为 Midscene Android SDK 的一个 Playground 或调试工具。

准备工作

安装 Node.js

安装 Node.js 18 或以上版本

准备 API Key

准备一个视觉语言(VL)模型的 API Key。

你可以在 选择 AI 模型 文档中查看 Midscene.js 支持的模型和配置。

安装 adb

adb 是一个命令行工具,允许你与 Android 设备通信。有两种安装 adb 的方法:

验证 adb 是否安装成功:

adb --version

当你看到以下输出时,表示 adb 安装成功:

Android Debug Bridge version 1.0.41
Version 34.0.4-10411341
Installed as /usr/local/bin//adb
Running on Darwin 24.3.0 (arm64)

设置环境 ANDROID_HOME 变量

参考Android 环境变量,设置环境变量 ANDROID_HOME

验证 ANDROID_HOME 变量是否设置成功:

echo $ANDROID_HOME

当上述命令有输出时,表示 ANDROID_HOME 变量设置成功:

/Users/your_username/Library/Android/sdk

连接 Android 设备

在 Android 设备的开发者选项中,启用 'USB 调试',如果存在 'USB 调试(安全设置)',也启用它,然后使用 USB 线连接 Android 设备。

android usb debug

验证连接:

adb devices -l

当看到以下输出时,表示连接成功:

List of devices attached
s4ey59	device usb:34603008X product:cezanne model:M2006J device:cezan transport_id:3

启动 Playground

npx --yes @midscene/android-playground

配置 API Key

点击齿轮按钮,进入配置页面:

参考 配置模型和服务商 文档,配置 API Key。

开始体验

配置完成后,你可以立即开始使用 Midscene。它一共有三个关键操作 Tab:

  • Action: 与网页进行交互,这就是所谓的自动规划(Auto Planning)。比如
在搜索框中输入 Midscene 点击登录按钮
  • Query: 从界面中提取 JSON 数据
提取页面中的用户 ID,返回 \{ id: string \}
  • Assert: 验证页面
页面标题是 Midscene
  • Tap: 在某个元素上点击,这就是所谓的即时操作(Instant Action)。
登录按钮

快来试试吧!

关于自动规划(Auto Planning)和即时操作(Instant Action)的区别,请参考 API 文档。

想将 Midscene 集成到代码?

插件体验结束后,你可能想将 Midscene 集成到代码中。这里有几种不同集成形式的文档: