Midscene AndroidWorld Benchmark 测试报告

本文是 Midscene 针对 AndroidWorld benchmark 的测试报告。本次测试中，Midscene 取得了 Pass@1 93.10%、Pass@2 95.69%、Pass@3 97.41% 的结果。

关于 AndroidWorld

AndroidWorld 是 Google Research 提供的 Android Agent benchmark。它运行在真实 Android 模拟器上，用 20 个真实 Android 应用中的 116 个程序化任务来评估 Agent，并由 benchmark 负责初始化任务和校验结果。

运行配置

字段	值
Model Name	`Gemini-3.5-Flash`
Midscene version	`1.9.5`
DeepThink	on
`MIDSCENE_REPLANNING_CYCLE_LIMIT`	120
AndroidWorld 工程	为了降低 benchmark 过程中的偶发波动，我们对 AndroidWorld 工程做了若干稳定性修复。具体例子见下方。
验收规则	少量 AndroidWorld validator 按任务意图做了校准，涉及的 case 见下方列表。

稳定性提升

以下改动不改变任务意图，主要用于降低浏览器渲染、accessibility tree 刷新、任务 setup 时序等带来的偶发失败。

修改内容	涉及的 case
BrowserDraw 绘制后强制刷新 canvas 像素，并加粗、圆角化画笔，让目标颜色更稳定地落到最终 canvas 像素里。	`BrowserDraw`
Browser task 完成后，读取 accessibility tree 中的 `Success!` 文本时增加重试，避免 stale accessibility tree 误判。	`BrowserMaze` `BrowserMultiply` `BrowserDraw`
SMS 任务开始前会先准备好需要的短信和联系人；现在会确认这些短信能在收件箱查到、联系人能在通讯录查到，再开始让 agent 执行。	`SimpleSmsReplyMostRecent` `SimpleSmsSendReceivedAddress`
Expense 类任务启动 Pro Expense 后等待数据库表创建完成，再由 validator 写入测试数据，避免初始数据库未初始化导致失败。	`ExpenseAddMultiple` `ExpenseAddMultipleFromGallery` `ExpenseAddMultipleFromMarkor` `ExpenseAddSingle` `ExpenseDeleteDuplicates` `ExpenseDeleteDuplicates2` `ExpenseDeleteMultiple` `ExpenseDeleteMultiple2` `ExpenseDeleteSingle`
OsmAnd 任务提前把离线地图文件放入应用数据目录，并等待 OsmAnd 解压内置底图，确保地图数据 ready 后再执行。	`OsmAndFavorite` `OsmAndMarker` `OsmAndTrack`

验证条件调整

本次 benchmark 使用的 AndroidWorld main 分支中，以下验证条件做过调整：

修改内容	涉及的 case
Calendar 的 "after start time" 验收目标改为边界点之后 1 分钟的事件，避免事件正好落在边界点时，不同模型对 `after` 是否包含边界点的理解差异影响判定。	`SimpleCalendarFirstEventAfterStartTime`
Expense 从 Markor 导入时，接受 Markor note 中额外带上的 `Reimbursable.` 后缀；对比 note 文本时会忽略这个后缀及末尾句号差异。	`ExpenseAddMultipleFromMarkor`
Markor 合并 notes 时，允许单换行或空行分隔，并兼容 Markor 自动补上的 `.md` 扩展名。	`MarkorMergeNotes`
Recipe 的数量、时长和 ingredient count 允许省略单位，但错误数量或错误单位仍会失败。	`RecipeAddSingleRecipe` `RecipeAddMultipleRecipes` `RecipeAddMultipleRecipesFromMarkor` `RecipeAddMultipleRecipesFromMarkor2` `RecipeAddMultipleRecipesFromImage` `NotesRecipeIngredientCount`
最小亮度按 Android 实际 setting 值 `0` 验证，而不是旧的 `1`。	`SystemBrightnessMin` `SystemBrightnessMinVerify`

报告文件

详细的报告如下，供大家参考。

Round 1（115 份报告 · 108 PASS · 7 FAIL）

#	任务	状态	报告
1	AudioRecorderRecordAudio	PASS	报告
2	AudioRecorderRecordAudioWithFileName	PASS	报告
3	BrowserDraw	PASS	报告
4	BrowserMaze	PASS	报告
5	BrowserMultiply	PASS	报告
6	CameraTakePhoto	PASS	报告
7	CameraTakeVideo	PASS	报告
8	ClockStopWatchPausedVerify	PASS	报告
9	ClockStopWatchRunning	PASS	报告
10	ClockTimerEntry	PASS	报告
11	ContactsAddContact	PASS	报告
12	ContactsNewContactDraft	PASS	报告
13	ExpenseAddMultiple	PASS	报告
14	ExpenseAddMultipleFromGallery	PASS	报告
15	ExpenseAddMultipleFromMarkor	FAIL	报告
16	ExpenseAddSingle	PASS	报告
17	ExpenseDeleteDuplicates	PASS	报告
18	ExpenseDeleteDuplicates2	PASS	报告
19	ExpenseDeleteMultiple	PASS	报告
20	ExpenseDeleteMultiple2	PASS	报告
21	ExpenseDeleteSingle	PASS	报告
22	FilesDeleteFile	PASS	报告
23	FilesMoveFile	PASS	报告
24	MarkorAddNoteHeader	PASS	报告
25	MarkorChangeNoteContent	PASS	报告
26	MarkorCreateFolder	PASS	报告
27	MarkorCreateNote	PASS	报告
28	MarkorCreateNoteAndSms	PASS	报告
29	MarkorCreateNoteFromClipboard	PASS	报告
30	MarkorDeleteAllNotes	PASS	报告
31	MarkorDeleteNewestNote	PASS	报告
32	MarkorDeleteNote	PASS	报告
33	MarkorEditNote	PASS	报告
34	MarkorMergeNotes	PASS	报告
35	MarkorMoveNote	PASS	报告
36	MarkorTranscribeReceipt	PASS	报告
37	MarkorTranscribeVideo	FAIL	报告
38	OpenAppTaskEval	PASS	报告
39	OsmAndFavorite	PASS	报告
40	OsmAndMarker	FAIL	报告
42	RecipeAddMultipleRecipes	PASS	报告
43	RecipeAddMultipleRecipesFromImage	FAIL	报告
44	RecipeAddMultipleRecipesFromMarkor	PASS	报告
45	RecipeAddMultipleRecipesFromMarkor2	PASS	报告
46	RecipeAddSingleRecipe	PASS	报告
47	RecipeDeleteDuplicateRecipes	PASS	报告
48	RecipeDeleteDuplicateRecipes2	FAIL	报告
49	RecipeDeleteDuplicateRecipes3	FAIL	报告
50	RecipeDeleteMultipleRecipes	PASS	报告
51	RecipeDeleteMultipleRecipesWithConstraint	PASS	报告
52	RecipeDeleteMultipleRecipesWithNoise	PASS	报告
53	RecipeDeleteSingleRecipe	PASS	报告
54	RecipeDeleteSingleWithRecipeWithNoise	PASS	报告
55	RetroCreatePlaylist	PASS	报告
56	RetroPlayingQueue	PASS	报告
57	RetroPlaylistDuration	PASS	报告
58	RetroSavePlaylist	PASS	报告
59	SaveCopyOfReceiptTaskEval	PASS	报告
60	SimpleCalendarAddOneEvent	PASS	报告
61	SimpleCalendarAddOneEventInTwoWeeks	PASS	报告
62	SimpleCalendarAddOneEventRelativeDay	PASS	报告
63	SimpleCalendarAddOneEventTomorrow	PASS	报告
64	SimpleCalendarAddRepeatingEvent	PASS	报告
65	SimpleCalendarDeleteEvents	PASS	报告
66	SimpleCalendarDeleteEventsOnRelativeDay	PASS	报告
67	SimpleCalendarDeleteOneEvent	PASS	报告
68	SimpleDrawProCreateDrawing	PASS	报告
69	SimpleSmsReply	PASS	报告
70	SimpleSmsReplyMostRecent	PASS	报告
71	SimpleSmsResend	PASS	报告
72	SimpleSmsSend	PASS	报告
73	SimpleSmsSendClipboardContent	PASS	报告
74	SimpleSmsSendReceivedAddress	PASS	报告
75	SystemBluetoothTurnOff	PASS	报告
76	SystemBluetoothTurnOffVerify	PASS	报告
77	SystemBluetoothTurnOn	PASS	报告
78	SystemBluetoothTurnOnVerify	PASS	报告
79	SystemBrightnessMax	PASS	报告
80	SystemBrightnessMaxVerify	PASS	报告
81	SystemBrightnessMin	PASS	报告
82	SystemBrightnessMinVerify	PASS	报告
83	SystemCopyToClipboard	FAIL	报告
84	SystemWifiTurnOff	PASS	报告
85	SystemWifiTurnOffVerify	PASS	报告
86	SystemWifiTurnOn	PASS	报告
87	SystemWifiTurnOnVerify	PASS	报告
88	TurnOffWifiAndTurnOnBluetooth	PASS	报告
89	TurnOnWifiAndOpenApp	PASS	报告
90	VlcCreatePlaylist	PASS	报告
91	VlcCreateTwoPlaylists	PASS	报告
92	NotesIsTodo	PASS	报告
93	NotesMeetingAttendeeCount	PASS	报告
94	NotesRecipeIngredientCount	PASS	报告
95	NotesTodoItemCount	PASS	报告
96	SimpleCalendarAnyEventsOnDate	PASS	报告
97	SimpleCalendarEventOnDateAtTime	PASS	报告
98	SimpleCalendarEventsInNextWeek	PASS	报告
99	SimpleCalendarEventsInTimeRange	PASS	报告
100	SimpleCalendarEventsOnDate	PASS	报告
101	SimpleCalendarFirstEventAfterStartTime	PASS	报告
102	SimpleCalendarLocationOfEvent	PASS	报告
103	SimpleCalendarNextEvent	PASS	报告
104	SimpleCalendarNextMeetingWithPerson	PASS	报告
105	SportsTrackerActivitiesCountForWeek	PASS	报告
106	SportsTrackerActivitiesOnDate	PASS	报告
107	SportsTrackerActivityDuration	PASS	报告
108	SportsTrackerLongestDistanceActivity	PASS	报告
109	SportsTrackerTotalDistanceForCategoryOverInterval	PASS	报告
110	SportsTrackerTotalDurationForCategoryThisWeek	PASS	报告
111	TasksCompletedTasksForDate	PASS	报告
112	TasksDueNextWeek	PASS	报告
113	TasksDueOnDate	PASS	报告
114	TasksHighPriorityTasks	PASS	报告
115	TasksHighPriorityTasksDueOnDate	PASS	报告
116	TasksIncompleteTasksOnDate	PASS	报告

Round 2（7 份报告 · 3 PASS · 4 FAIL）

#	任务	状态	报告
37	MarkorTranscribeVideo	FAIL	报告
40	OsmAndMarker	FAIL	报告
41	OsmAndTrack	PASS	报告
43	RecipeAddMultipleRecipesFromImage	PASS	报告
48	RecipeDeleteDuplicateRecipes2	FAIL	报告
49	RecipeDeleteDuplicateRecipes3	FAIL	报告
83	SystemCopyToClipboard	PASS	报告

Round 3（5 份报告 · 2 PASS · 3 FAIL）

#	任务	状态	报告
15	ExpenseAddMultipleFromMarkor	PASS	报告
37	MarkorTranscribeVideo	FAIL	报告
40	OsmAndMarker	PASS	报告
48	RecipeDeleteDuplicateRecipes2	FAIL	报告
49	RecipeDeleteDuplicateRecipes3	FAIL	报告

#Midscene AndroidWorld Benchmark 测试报告

#运行配置

#稳定性提升

#验证条件调整

#报告文件

Midscene AndroidWorld Benchmark 测试报告

运行配置

稳定性提升

验证条件调整

报告文件