#像人一样看懂界面
用自然语言完成 E2E 测试

Midscene.js 提供基于视觉的 GUI Agent 和自然语言 E2E 测试框架，支持 Web、移动端和桌面应用。

#用自然语言描述步骤与预期

按用户的操作意图写步骤，按用户看到的结果写预期。同一个测试意图，可以用 YAML 表达，也可以接入现有 JavaScript 测试。

YAML · @midscene/test

Rstest + JavaScript

Vitest + JavaScript

beforeEach:
  - gotoUrl: https://your-shop.example

cases:
  - name: "筛选 100 美元以下的耳机"
    steps:
      - aiAct: "搜索耳机，然后将结果筛选为价格低于 100 美元"
      - aiWaitFor: "筛选后的搜索结果已显示"
      - aiAssert: "搜索结果中有商品，且每件商品价格都低于 100 美元"

import { test } from '@rstest/core';
import { PlaywrightAgent } from '@midscene/web/playwright';

// 省略模型配置、page 初始化与资源清理
test("筛选 100 美元以下的耳机", async () => {
  const agent = new PlaywrightAgent(page);
  await agent.aiAct("搜索耳机，然后将结果筛选为价格低于 100 美元");
  await agent.aiWaitFor("筛选后的搜索结果已显示");
  await agent.aiAssert("搜索结果中有商品，且每件商品价格都低于 100 美元");
}, 180_000);

import { test } from 'vitest';
import { PlaywrightAgent } from '@midscene/web/playwright';

// 省略模型配置、page 初始化与资源清理
test("筛选 100 美元以下的耳机", async () => {
  const agent = new PlaywrightAgent(page);
  await agent.aiAct("搜索耳机，然后将结果筛选为价格低于 100 美元");
  await agent.aiWaitFor("筛选后的搜索结果已显示");
  await agent.aiAssert("搜索结果中有商品，且每件商品价格都低于 100 美元");
}, 180_000);

#为测试而生的 GUI Agent

Midscene 的 GUI Agent 为已有的 JavaScript 测试提供视觉操作与断言能力。Web 场景推荐接入 Playwright Test，移动端和桌面端推荐接入 Rstest 或 Vitest。

#像人一样观察、操作并验证结果

E2E 测试的初衷是从用户视角验证完整流程，所以 Midscene 按用户的方式来测。

#一套 API，覆盖不同平台

视觉定位不依赖界面渲染结构，同一套 API 可用于 Web、移动端、桌面端以及 canvas 等自定义界面。

#模型选择与成本

支持多种模型

支持豆包、DeepSeek、Qwen、GPT、Gemini、Kimi 等模型，按效果与预算选择。

查看模型配置

评测案例 · AppControlBench

$0.59/ 60 项任务

模型调用总费用

低模型调用成本

以豆包 Seed 2.1 Turbo 为例：该次 AppControlBench 评测中，60 项任务通过 58 项，模型调用总费用为 $0.59。

查看评测报告

#Benchmark 成绩

• AndroidWorld：Pass@1 为 93.1%，Pass@3 为 97.4%。查看评测报告
• MobileWorld：Pass@1 为 78.6%，完成 117 项任务中的 92 项。查看评测报告
• AppControlBench：Pass@1 为 96.7%，通过 60 项任务中的 58 项。查看评测报告

#全新设计的自然语言 E2E 测试框架

Midscene Test（@midscene/test）是面向自然语言的 E2E 测试框架。用 YAML 描述操作和预期，需要精确控制的逻辑交给 TypeScript。开始使用 Midscene Test

#AI 操作与业务操作写在同一个 YAML 里

YAML 中的每个步骤都调用一个 Node：AI 操作、平台操作或自定义业务操作，组合起来就是一个用例。

1beforeEach:2  - order.prepare: { status: paid }业务3  - gotoUrl: ${shopUrl}/orders/latest业务45cases:6  - name: 已支付订单支持全额退款7    steps:8      - aiAct: 申请全额退款并提交AI9      - aiAssert: 页面显示退款申请已提交AI10      - order.checkRefund: { status: refunding }业务1112afterEach:13  - clearCookies: {}业务

#让人和 AI 共同维护测试用例

把可复用的业务逻辑封装成自定义 Node。Midscene Test 会生成 Markdown 格式的 Node 说明书（Node Spec），列出每个 Node 及其参数，测试工程师和 AI Agent 无需阅读 TypeScript 就能编写用例。了解如何开发自定义 Node

#测试框架能力

Midscene Test 同样具备测试框架应有的能力：生命周期钩子与资源清理、失败重试与超时、隔离的并发执行，以及精确到步骤的报告。

#谁在使用 Midscene

ByteDance阿里巴巴携程小米Rome OS火山引擎抖音TikTok飞书汽水音乐豆包

#下一步

• 了解基本概念：阅读基础概念，了解 GUI Agent 的工作方式与核心能力
• 开始使用：在开始使用中回答几个问题，完成第一次运行
• 创建测试工程：用 Midscene Test 编写并运行 YAML 用例
• 通过代码编写测试：Web 场景接入 Playwright Test，移动端和桌面端接入 Rstest 或 Vitest
• 执行独立自动化流程：使用 JavaScript SDK 编写脚本

如果希望让 AI 编程 Agent 操作界面，可以了解 Midscene Skills。