For AI agents: the complete documentation index is available at /zh/llms.txt, the full documentation bundle is available at /zh/llms-full.txt, and this page is available as Markdown at /zh/get-started/harmonyos-playground-chatgpt.md.
  • 简体中文
  • 开始使用:HarmonyOS · Playground · ChatGPT 订阅

    本页是在 HarmonyOS 上使用 Playground、通过 ChatGPT 订阅接入模型的配置步骤。如需其他组合,请修改下方的选择,或查看全部配置路径。

    要自动化哪个平台?
    你想先做什么?
    如何接入模型?

    第 1 步

    连接 HarmonyOS 设备

    运行 Midscene 的电脑需要通过 hdc 连接目标 HarmonyOS NEXT 设备。如果已安装 hdc 并连接好设备,可直接跳至确认设备连接。

    安装 HDC

    HDC(HarmonyOS Device Connector)是 HarmonyOS 官方提供的设备连接命令行工具,可通过以下任一方式安装:

    在终端运行以下命令,验证 hdc 是否安装成功:

    hdc version

    终端输出版本号即表示安装成功。

    配置 HDC 路径

    如果 hdc 未加入系统 PATH,可以通过设置 HDC_HOME 环境变量指向 hdc 所在的目录:

    export HDC_HOME=/path/to/hdc/directory

    开启调试并连接设备

    1. 在 HarmonyOS 设备的系统设置中进入「系统 > 开发者选项」,开启 USB 调试。
    2. 使用支持数据传输的 USB 数据线将设备连接到电脑。
    3. 保持设备解锁亮屏,并在设备弹窗中允许 USB 调试授权。

    确认设备连接

    在终端运行以下命令检查连接状态:

    hdc list targets

    终端输出设备序列号(Device ID)即表示连接就绪:

    0123456789ABCDEF

    如果同时连接了多台设备,请记录目标设备的序列号,以便后续在 Playground 或项目配置中指定该设备。若输出为空或显示 [Empty],请检查 USB 数据线、连接模式、USB 调试开关及手机端的调试授权弹窗。

    第 2 步

    使用 ChatGPT 订阅登录

    登录命令需要 Node.js ^20.19.0 || ^22.12.0 || >=24.0.0 和 pnpm。请确认终端中可以执行 node -v;如果尚未安装 pnpm,请运行 npm install -g pnpm。

    首先,在终端运行:

    pnpm dlx @midscene/cli model siwc login

    按照终端提示,在浏览器中登录 ChatGPT 并授权使用订阅额度。授权时可以自行设置 Agent 名称;完成后,可在 ChatGPT 的使用情况页面查看已授权的 Agent。

    命令会将凭据保存到 ~/.midscene/siwc.json。首次使用前需要手动完成这一步登录。

    Playground 会读取该命令保存的凭据。请先保留以下配置,后面的步骤会把它粘贴到 Playground 设置中:

    MIDSCENE_MODEL_AUTH_MODE="siwc"
    MIDSCENE_MODEL_NAME="gpt-6-sol"
    MIDSCENE_MODEL_FAMILY="gpt-6"

    可用模型以你的 ChatGPT 账号为准。凭据与额度说明请参阅使用 ChatGPT 订阅。

    第 3 步

    启动 Playground

    请确保已安装 Node.js(版本要求 ^20.19.0 || ^22.12.0 || >=24.0.0),且终端中可正常执行 node -v。下方命令使用 pnpm,如果尚未安装,请运行 npm install -g pnpm。

    1. 在终端运行以下命令启动 HarmonyOS Playground:
    pnpm dlx @midscene/harmony-playground
    1. 在打开的 Playground 页面中,点击右上角的齿轮图标,粘贴模型配置并保存。
    2. 若浏览器未自动打开,请手动访问终端打印的本地地址,并保持该终端进程持续运行。
    3. 在左侧连接面板中选择目标 HDC 设备并创建 Agent(设备 ID 与 hdc list targets 的输出一致)。
    4. 确认预览区域已正常显示当前手机屏幕画面;若画面未显示,请先排查 HDC 连接与设备调试授权。

    第 4 步

    执行操作并验证结果

    在目标设备上打开系统浏览器,跳过首次启动引导,然后在地址栏中输入以下 TodoMVC 地址:

    https://todomvc.com/examples/react/dist/#/

    保持设备处于解锁亮屏状态且浏览器位于前台。

    1. 在 Playground 中选择 aiAct,输入以下指令并运行:
    添加一个名为“体验 Midscene”的待办事项,然后将它标记为已完成。
    1. 待页面中出现已勾选完成的待办事项后,切换到 aiAssert,输入以下断言并运行:
    列表中存在名为“体验 Midscene”的待办事项,且它已被标记为完成。
    1. 确认断言执行通过,并在结果面板中查看各步骤的截图与执行过程。至此,设备连接、屏幕截图、触控输入和模型调用均已验证完毕。

    2. (可选)切换到 aiQuery,输入以下查询并运行:

    列表中可见的待办事项,返回 {name: string, completed: boolean}[]。

    结果会包含待办事项名称及其完成状态。aiQuery 用于从当前界面提取数据,不会修改页面。

    如果执行失败,请结合报错信息排查:若无画面或无法操控设备,请查看常见问题;若模型请求报错,请参考模型连接检查。

    验证结束后,请在 TodoMVC 页面中删除刚才创建的“体验 Midscene”待办事项。如果接下来要运行 Midscene Test 的 HarmonyOS 示例,请切换到 All 视图并确认列表已完全清空(包括已完成事项),因为示例模板在运行前会校验初始列表为空,且不会主动覆盖已有数据。

    第 5 步

    下一步

    • 查看更多案例:案例展示收录了各平台的演示视频和完整执行报告。
    • 编写可重复运行的用例:使用相同的平台和模型创建 Midscene Test 项目。用例是 YAML 文件,可以在本地或 CI 中运行。
    • 了解 Midscene 的工作方式:基本概念介绍了基于视觉的方案,以及 aiAct、即时操作和洞察类 API 的适用场景。

    想尝试其他平台或使用方式?回到顶部修改选择。