#像人一样看懂界面
用自然语言完成 E2E 测试

Midscene.js 提供基于视觉的 GUI Agent 和自然语言 E2E 测试框架，支持 Web、移动端和桌面应用。

🔥 最新动态 从 v1.16 起，Midscene 支持使用 Jev 1.4 的视觉能力驱动 E2E 测试。欢迎接入体验

#用自然语言描述步骤与预期

按用户的操作意图写步骤，按用户看到的结果写预期。同一个测试意图，可以用 YAML 表达，也可以接入现有 JavaScript 测试。

YAML · @midscene/test

Vitest + JavaScript

beforeEach:
  - gotoUrl: https://your-shop.example

cases:
  - name: "筛选 100 美元以下的耳机"
    steps:
      - aiAct: "搜索耳机，然后将结果筛选为价格低于 100 美元"
      - aiWaitFor: "筛选后的搜索结果已显示"
      - aiAssert: "搜索结果中有商品，且每件商品价格都低于 100 美元"

import { test } from 'vitest';
import { PlaywrightAgent } from '@midscene/web/playwright';

// 省略模型配置、page 初始化与资源清理
test("筛选 100 美元以下的耳机", async () => {
  const agent = new PlaywrightAgent(page);
  await agent.aiAct("搜索耳机，然后将结果筛选为价格低于 100 美元");
  await agent.aiWaitFor("筛选后的搜索结果已显示");
  await agent.aiAssert("搜索结果中有商品，且每件商品价格都低于 100 美元");
}, 180_000);

#为测试而生的 GUI Agent

Midscene 的 GUI Agent 为已有的 Playwright、Puppeteer 或 JavaScript 测试提供视觉操作与断言能力。

#像人一样观察、操作并验证结果

#一套 API，覆盖不同平台

视觉定位不依赖特定的界面渲染结构。各平台适配器提供截图和操作能力，让同一种交互方式覆盖 Web、移动端和桌面应用，也适用于 HTML canvas 等自定义界面。

#模型选择与成本

#Benchmark 成绩

• AndroidWorld：Pass@1 为 93.1%，Pass@3 为 97.4%。查看评测报告
• MobileWorld：Pass@1 为 78.6%，完成 117 项任务中的 92 项。查看评测报告
• AppControlBench：Pass@1 为 96.7%，通过 60 项任务中的 58 项。查看评测报告

#全新设计的自然语言 E2E 测试框架

Midscene Test（@midscene/test）是为自然语言 E2E 测试全新设计的框架。在 YAML 中用自然语言描述操作与断言，通过 TypeScript Node 扩展测试步骤，并由框架统一管理数据准备、清理、重试与执行报告。 开始使用 Midscene Test

#AI 步骤与确定性 Node 写在同一个 YAML 里

用 YAML 组织人和 AI 都能读写的测试用例，让自然语言意图与代码步骤以清晰、可审阅的结构共同维护。

1beforeEach:2  - order.prepare: { status: paid }Node3  - gotoUrl: ${shopUrl}/orders/latestNode45cases:6  - name: 已支付订单支持全额退款7    steps:8      - aiAct: 申请全额退款并提交AI9      - aiAssert: 页面显示退款申请已提交AI10      - order.checkRefund: { status: refunding }Node1112afterEach:13  - clearCookies: {}Node

#定制属于自己的测试工程

Midscene Test 提供扩展机制，用 TypeScript 将业务操作定义为 Node，注册后即可在 YAML 中调用。再生成描述可用操作及输入参数的 Markdown Node Spec，让人和 AI 都能据此在用例中引用这些 Node。 开发自定义 Node

#谁在使用 Midscene

ByteDance阿里巴巴携程小米Rome OS火山引擎抖音TikTok飞书汽水音乐豆包

#下一步

• 体验视觉交互：通过快速开始尝试自然语言操作与断言
• 创建测试工程：用 Midscene Test 编写并运行 YAML 用例
• 让 AI 编程 Agent 操作界面：接入 Midscene Skills