Midscene MobileWorld Benchmark 测试报告

本文是 Midscene 针对 MobileWorld benchmark 的测试报告。本次测试覆盖 117 个任务，Midscene 取得了 Pass@1 78.63%（92/117） 的结果。

关于 MobileWorld

MobileWorld 是面向真实移动场景的 Android Agent benchmark，覆盖跨应用、长链路、用户交互和工具增强等任务，并通过可复现的 Android 环境验证 Agent 的执行结果。

运行配置

字段	值
测试日期	2026-07-28
Model Name	`Gemini-3.6-Flash`
Midscene version	`1.10.3`
Device	`DockerEmulator`
任务数量	117
`MIDSCENE_REPLANNING_CYCLE_LIMIT`	50
MobileWorld 工程	MobileWorld 使用 Midscene benchmark 适配层，通过 Midscene RPC 执行 Agent，同时保留 MobileWorld 的任务初始化和验证流程。
验收规则	一个 MobileWorld validator 按任务意图做了校准，涉及的 case 见下方列表。

验证条件调整

本次 benchmark 对以下 MobileWorld 验证条件做了调整：

修改内容	涉及的 case
旧 validator 要求 `created_at` 到 `expires_at` 必须间隔完整的 5 天。例如初始日期是 16 日，“五天后”是 21 日；但日期转换后的时分秒可能让实际间隔不足 5 × 24 小时，导致旧规则判定失败。现在改为接受超过 4 天且不超过 5 天的间隔。	`MastodonNewFilterTask`

报告文件

以下为本轮 117 个任务的详细报告。报告均为压缩后的自包含 HTML，点击“报告”会在新页面打开对应执行记录。

Round 1（117 份报告 · 92 PASS · 25 FAIL）

#	任务	状态	报告
1	AcceptMeetingTask	PASS	报告
2	AdjustBrightnessMaximumTask	PASS	报告
3	AdjustBrightnessMinimumTask	PASS	报告
4	AdjustFontIconMaximumTask	PASS	报告
5	AdjustFontIconMinimumTask	PASS	报告
6	BidFileRenameTask	PASS	报告
7	CVEmailTask	PASS	报告
8	CancelMeetingTask	PASS	报告
9	CartInfoNotificationTask	PASS	报告
10	CartManagementTask	FAIL	报告
11	ChangeWallpaperTask	PASS	报告
12	CheckCartPriceTask	PASS	报告
13	CheckConferenceAndSendSmsTask1	PASS	报告
14	CheckConferenceAndSendSmsTask2	FAIL	报告
15	CheckConferenceDurationTask	PASS	报告
16	CheckConferenceLocationTask	FAIL	报告
17	CheckDeduplicatedEventsTask	PASS	报告
18	CheckDepartTimeTask	PASS	报告
19	CheckEventTimeTask	PASS	报告
20	CheckGithubInfoTask	PASS	报告
21	CheckInterviewTimesTask	FAIL	报告
22	CheckInvoiceTask1	PASS	报告
23	CheckInvoiceTask2	PASS	报告
24	CheckInvoiceTask3	PASS	报告
25	CheckPuchasedItem	PASS	报告
26	CheckRegistrationTask	PASS	报告
27	CheckSetMeetTimeTask	PASS	报告
28	ChromeSearchBeijingWeatherTask	PASS	报告
29	CloseFlightModeTask	PASS	报告
30	CountFileLinesTask	PASS	报告
31	DownloadSendReceiptTask	PASS	报告
32	GoogleMapsAlibabaPhoneContactTask	PASS	报告
33	GoogleMapsAlibabaSouthNeighborTask	PASS	报告
34	GraduationMassEmailTask	PASS	报告
35	InvoiceReceiptCopyAskUserTask	FAIL	报告
36	InvoiceReceiptCopyTask	PASS	报告
37	ItemCheckoutTask	PASS	报告
38	LocalFileManagementTask	PASS	报告
39	LocalFileManagementTask2	PASS	报告
40	MastodonAddBookmarkTask	PASS	报告
41	MastodonAddFeaturedHashtagsTask	FAIL	报告
42	MastodonAdjustTootsTask	PASS	报告
43	MastodonCalendarMultiMemosTask	FAIL	报告
44	MastodonChangeHeaderTask	PASS	报告
45	MastodonChangeLanguageTask	FAIL	报告
46	MastodonConditionalFavoTask	PASS	报告
47	MastodonCreateListTask	PASS	报告
48	MastodonCreateMemoTask	PASS	报告
49	MastodonExportFollowsTask	PASS	报告
50	MastodonFavoriteTootsTask	PASS	报告
51	MastodonFilterLanguageTask	PASS	报告
52	MastodonFollowTask	PASS	报告
53	MastodonGetServerInfoTask	FAIL	报告
54	MastodonImportMutedUsersTask	PASS	报告
55	MastodonInviteTask	PASS	报告
56	MastodonMallPurchaseCommodityTask	PASS	报告
57	MastodonMallShareOrderTask	PASS	报告
58	MastodonManageHashtagsTask	PASS	报告
59	MastodonManageMultiListTask	PASS	报告
60	MastodonMattermostPostNoticeTask	PASS	报告
61	MastodonMultiInviteTask	PASS	报告
62	MastodonNewFilterTask	FAIL	报告
63	MastodonNewPostTask	PASS	报告
64	MastodonOpenAutomatedDeletionTask	PASS	报告
65	MastodonPinTootsTask	PASS	报告
66	MastodonPostEditedPhotoTask	PASS	报告
67	MastodonPostPollTask	PASS	报告
68	MastodonRemoveBookmarkTask	PASS	报告
69	MastodonReplyTask	PASS	报告
70	MastodonReportTask	PASS	报告
71	MastodonRevisePhotoAltTask	PASS	报告
72	MastodonRevisePollTask	PASS	报告
73	MastodonSavePhotosTask	PASS	报告
74	MastodonServerInfoReportTask	FAIL	报告
75	MastodonShareLocationTask	FAIL	报告
76	MastodonUnfollowTask	PASS	报告
77	MastodonUpdateContactsTask	PASS	报告
78	MattermostBudgetApprovalPipelineTask	PASS	报告
79	MattermostCreateChannelTask	PASS	报告
80	MattermostCustomerFeedbackAnalysisTask	PASS	报告
81	MattermostDeadlineReconciliationTask	PASS	报告
82	MattermostEmailTask	PASS	报告
83	MattermostIncidentEscalationTask	PASS	报告
84	MattermostProjectHandoverTask	FAIL	报告
85	MattermostProjectStatusReportTask	FAIL	报告
86	MattermostReadingGroupTask	FAIL	报告
87	MattermostReplyToMessageTask	PASS	报告
88	MattermostResourceConflictResolutionTask	FAIL	报告
89	MattermostSendFileTask	FAIL	报告
90	MattermostShiftCoverageTask	PASS	报告
91	MattermostTechnicalDebtTriageTask	PASS	报告
92	MattermostVisualInstructionResponseTask	FAIL	报告
93	OpenFlightModeTask	PASS	报告
94	PhotoManagementTask	FAIL	报告
95	ReadQwen3PaperTask1	PASS	报告
96	ReadQwen3PaperTask2	FAIL	报告
97	ReadQwen3PaperTask3	FAIL	报告
98	ReadQwen3PaperTask4	PASS	报告
99	ReadQwen3PaperTask5	FAIL	报告
100	RecentTotalExpenseTask	PASS	报告
101	RequestCarpoolingTask	PASS	报告
102	ReviewPaperEmailTask	FAIL	报告
103	SMSManagement	PASS	报告
104	ScheduleCoffeeTimeViaSmsTask	PASS	报告
105	ScheduleLunchViaSmsTask	PASS	报告
106	SearchItemAndCheckoutTask	PASS	报告
107	SendFormsTask	PASS	报告
108	SendInterviewEmailTask	PASS	报告
109	SendInterviewInvitationTask	FAIL	报告
110	SendWaiverTask	PASS	报告
111	SetAlarmTask	PASS	报告
112	SharePhotosTask	PASS	报告
113	SuggestPaperTask	PASS	报告
114	SumFileLinesTask	PASS	报告
115	TakeSelfieTask	PASS	报告
116	TextArrivalTimeTask	FAIL	报告
117	ThanksgivingPrepTask	PASS	报告

#Midscene MobileWorld Benchmark 测试报告

#运行配置

#验证条件调整

#报告文件

Midscene MobileWorld Benchmark 测试报告

运行配置

验证条件调整

报告文件