面向安卓應用GUI的視障用戶可訪問性測試方法

摘要： 提出一種自動識別安卓應用中可讀文本缺失問題組件的方法， 以提高應用的可訪問性. 首先， 利用UI Automator提取應用的圖形用戶頁面， 并對無關組件進行裁剪， 同

時補全組件屬性， 以生成相應的視圖樹; 其次， 設計3種啟發式規則， 以識別視圖樹中存在可讀文本缺失的組件， 通過對6個熱門應用的評估實驗， 該方法以平均97

%的準確率成功識別了問題組件; 最后， 生成的測試報告通過在源碼與截圖中標記問題組件， 幫助應用開發者清晰定位并修復缺失的可讀文本. 該研究成果不僅能有效改善視障用

戶的使用體驗， 使他們更順暢地與應用進行交互， 還為開發者提供了一種實用的工具， 促進安卓應用的整體可訪問性提升. 通過這樣的方式， 開發者可以更好地理解和解決可訪問

性問題， 為所有用戶創造一個更友好的數字環境.

關鍵詞： 可訪問性； 可讀文本； 替代文本； 問題組件識別

中圖分類號： TP311.5" 文獻標志碼： A" 文章編號： 1671-5489（2025）01-0099-08

Accessibility Testing Method for Visually Impaired Users of Android Application GUI

HE Zhentao， XU Yifang， ZHANG Mengxi， LIU Huaxiao

（College of Computer Science and Technology， Jilin University， Changchun 130012， China）

收稿日期： 2023-11-29.

第一作者簡介： 何振濤（1999—）， 男， 漢族， 碩士， 從事軟件工程的研究， E-mail： zhentaohe.work@foxmail.com.

通信作者簡介： 劉華虓（1986—）， 男， 漢族， 博士， 副教授， 博士生導師， 從事智能化軟件工程、 數據挖掘和人機交互的研究， E-mail： liuhuaxiao@jlu.edu.cn.

基金項目： 吉林省自然科學基金（批準號： 20230101070JC）.

Abstract： We proposed a" method for automatically identifying components with missing readable text in Android applications to improve the accessibility of these

applications. Firstly， We used UI Automator to extract the graphical user interface of the application，" prune" irrelevant components and" complete" component attributes to generate the corresponding view tree.

Secondly， we designed three heuristic rules" to identify components with missing readable text in the view tree. Through evaluation experiments on six popular applications， the proposed method successfully ident

ified problematic components with an average accuracy" of 97%. Finally， a generated test report helped application developers" clearly locate and rectify the missing readable text by

marking the problematic components in both the source code and screenshots. The" research achievement not only effectively improves the user experience for visually impaired users，

enabling them to" interact with the applications more smoothly， but also provides developers with a practical tool to promote the overall accessibility of Android applications. Through" this approach，

developers can better understand and address accessibility issues， creating a more user-friendly digital environment for all users.

Keywords： accessibility; readable text; alternative text; problematic component recognition

近年來， 隨著智能手機的快速發展與普及， 移動應用正越來越全方位地融入人們的生活， 人們愈發依賴其享受學習、 娛樂、 購物和社交等服務［1］. 移動應用的

普及不僅為普通用戶帶來了便利， 也給視障用戶帶來了更多認識世界的機會. 視障指視覺功能受損， 除盲人外， 視障用戶還包括許多需要借助放大

鏡等輔助器具才能看清對象的弱視人群［2］. 而提高應用的可訪問性， 正是要提高應用的無障礙化程度， 使視障用戶也有平等的使用應用、 享受科技帶來便利的機會［3-4］.

借助屏幕閱讀器獲取信息是視障用戶， 尤其是全盲用戶使用應用（App）最重要的方法. 屏幕閱讀器能為視障群體提供語音輔助服務， 幫助他們通過語音的方式獲取手機屏幕上的內

容， 以及通過手勢進行交互. 對于占有移動設備操作系統份額最大的安卓系統， 谷歌公司推出的TalkBack應用是視障用戶使用最多的屏幕閱讀器. TalkBack等屏幕閱讀器主要通過GUI（

graphical user interface）中組件的文字、 描述文本（contentDescription）等可讀文本信息作為輸入為視障用戶提供語音反饋. 但開發人員常會因為功能需求和經濟效益等

原因而忽視視障用戶群體的特殊需求， 因此安卓應用中的GUI組件通常存在為實現TalkBack功能提供基礎信息的可讀文本缺失問題. 可讀文本缺

失問題是影響應用可訪問性的最常見問題之一［5］， 它的存在會影響屏幕閱讀器的語音播報功能和交互功能， 從而影響視障用戶對應用功能的使用.

因此， 本文基于移動應用的無障礙化改造， 提出一種針對GUI內組件可讀文本缺失的自動化檢測方法， 為應用開發者提高應用的可訪問性提供幫助. 首先， 本文對安卓應用的GUI

進行預處理， 對代表GUI的視圖樹（View Tree）進行裁剪和補全； 其次， 通過設計啟發式規則， 識別可讀文本缺失問題； 最后， 對識別到的文本缺失問題以及與之相應的GUI組件， 為其生

成一份檢測報告， 以供開發者對問題進行修復. 本文進行的評估實驗也驗證了該方法的有效性， 能檢測出應用中存在的可讀文本缺失問題， 為提高應用的可訪問性提供幫助.

1 本文方法設計

本文方法以UI Automator提取到的GUI截屏和View Tree作為輸入， 以測試報告作為輸出. View Tree表示視圖和視圖組在布局中的樹形結構. 首先，

對View Tree進行裁剪和補全， 剪去View Tree中與GUI無關的干擾節點， 并為每個缺失ID的節點生成一個唯一標識; 其次， 對View Tree中的節點， 通過制定3個統一的啟發式

規則， 使用組件的特征與相互之間的關系層層過濾， 識別出View Tree中存在可讀文本缺失問題的組件; 最后， 對被檢GUI生成檢測報告， 該報告涵蓋標記問題的布局結構文件、

組件列表以及對應的GUI截圖， 以便開發者定位問題組件， 提升應用可訪問性. 本文方法流程如圖1所示.

1.1 GUI預處理

安卓應用的GUI由一系列容器組件（ViewGroup）和非容器組件（View）構成的View Tree表示. 獲取View Tree主要有兩種方法： 一種是獲取與GUI相對應的靜態XML（extensible ma

rkup language）布局文件； 另一種是使用AccessibilityService接口獲取GUI運行時的View Tree. UI Automator是一個安卓系統測試框架， 它基于AccessibilityService獲取GUI信息， 可以使開發者編寫自動化測試腳本.

由于GUI運行時所能捕獲到的信息常比靜態頁面更豐富， 且能更完整地獲取試圖信息［6］， 因此本文采用安卓系統提供的基于AccessibilityService的界面測試

框架UI Automator獲取應用運行時的View Tree. AccessibilityService是安卓系統提供的一種服務， 可使應用程序訪問用戶界面元素的屬性和狀態.

但通過UI Automator獲取到的View Tree仍存在一些會對后續測試造成影響的問題. 一是View Tree中存在一些與應用無關的組件， 這些組件通常由操作系統產生，

因此本文使用無關組件的類型特征、 位置特征等信息將其從View Tree中剔除， 以避免其對后續測試產生影響； 二是View Tree中的組件常因開發人員的不規范設計而

缺少唯一標識符（ID）導致組件難以被有效甄別， 從而阻礙測試方法識別組件時的完備性， 且該情況會使開發者難以定位存在文本標簽問題的組件， 進而影響他們理解

本文測試方法輸出的測試結果. 為解決該問題， 本文對View Tree中組件的ID屬性進行補全， 補全算法如下.

算法1

組件ID生成算法.

輸入： View Tree；

輸出： View Tree；

1） let cmp_list be a list of all components of the component tree

2） let id_set be a set

3） for each component in cmp_list do

4） if component does not have an id then

5）"" let idx=1

6）"" let id=String（component.class）+String（idx）

7）"" while id in id_set do

8）"""" idx=idx + 1

9）"""" id=String（component.class）+String（idx）

10）"" id_set.add（id）

11）"" component.id=id

12） return component tree.

算法1以經過裁剪后的View Tree作為輸入， 輸出每個組件的ID屬性得到補全的View Tree， 通過遞增組件ID的尾號以及集合去重， 為組件生成

唯一的ID， 并在此過程中組合組件的類型信息， 使閱讀本文測試結果的開發者能利用組件的類型信息更快速地定位問題組件.

1.2 可讀文本缺失問題識別

可讀文本是TalkBack讀屏時的信息來源， 其中組件的text屬性值與contentDescription屬性值是最重要的兩類可讀文本. 對視力正常用戶所能看到的文字， 其一

般是開發者在組件中設置的text屬性值， TalkBack可以通過獲取組件的text屬性值順利地把文字內容通過語音反饋給視障用戶. 而對于ImageView，ImageButton，Checkbox，Toggl

e，Slider等類型的組件， 其一般不會存在text屬性值， 而是通過其包含圖片的形狀和色彩等信息表達自己的含義.

為使視障用戶能獲取這些組件的含義， 需要開發者為這些組件設置能正確反映組件功能和內容等信息的contentDescription屬性值. 如圖2中標號為1的兩個圖標， 若開發者分別為其設置contentDescription為“游戲”

、 “消息”， 則視障用戶可以獲知這兩個組件分別為游戲按鈕和消息按鈕. 但若未為組件設置contentDescription屬性值， 則由于這些組件缺乏可讀文本， TalkBack只能告知視

障用戶這兩個按鈕為未加標簽的按鈕， 導致視障用戶只能通過嘗試點擊的方式了解這兩個圖標按鈕的功能.

根據安卓應用可訪問性問題的官方指南（https：//developer.android.com/codelabs/starting-android-accessibility#5）及對TalkBack讀屏機制， 本文設定如下規則識別存在可讀文本缺失問題的元素.

規則1（文本缺失組件判定規則）

令N表示GUI的View Tree中組件的集

合， S表示View Tree中存在可讀文本缺失問題組件的集合. 對任意的s∈S， 滿足以下條件：

1） s∈N， 表示S是N的一個子集.

2） s的組件類型是以下類型或以下類型子類中的一種：

① ImageView， 表示s用于展示圖片;

② ImageButton， 表示s是圖形按鈕;

③ CheckBox， 表示s是復選框;

④ Toggle， 表示s是切換開關;

⑤ Slider， 表示s是進度條.

3） s的contentDescription屬性值為空或@1， 表示組件缺乏可讀文本以解釋其含義.

對常見的需要添加contentDescription作為可讀文本的組件， 利用規則1能有效識別其是否缺失contentDescription. 但有時組件缺失contentDescription， 其卻并不缺乏

可讀文本， 這時規則1便無法適用. 如圖2編號為2的導航欄中， 導航欄中的每個導航項都由一個圖標及對圖標相應的解釋文字組成. 雖然圖標缺乏可讀文本， 但TalkBack能把

圖標及其解釋文字作為一個整體讀出， 視障用戶能通過其解釋文字知曉其用途， 因此這些圖標并不需要額外添加contentDescription， 它們也就不能被簡單歸類為存在可讀文本缺失

問題的組件. 安卓應用的GUI中存在大量這種圖片加文字的搭配以及使用容器中的contentDescription充當子組件可讀文本的情況， 因此僅利用規則1判定組件是否存在文本缺失問

題將導致許多誤標問題. 為解決該問題， 經過對大量常見應用頁面的研究， 本文設定如下補充規則.

規則2（組件解釋文本判定規則）

令S表示View Tre

e中存在解釋文本組件的集合. 對任意的s∈S， 令T（s）表示s的解釋文本的集合. 對任意的t∈T（s）滿足以下條件之一：

1） t是text屬性值非空的TextView類型的組件， 且t滿足下列條件之一：

① s是圖片， 且t滿足下列條件： s和t重疊部分的面積超過t面積的0.5倍， 表示文字位于圖片中.

② t滿足下列條件之一：

（i） t.topgt;s.top amp;amp; t.bottomlt;s.bottom amp;amp; t和s的距離小于0.5×s.width， 表示t是s左右側的解釋文本， 其中top，bottom和width分別表示組件的頂點、 底部和寬度;

（ii） t.leftgt;s.left amp;amp; t.rightlt;s.right amp;amp; t和s的距離小于0.5×s.height， 表示t是s上下側的解釋文本， 其中left，right和height分別表示組件的左、 右邊緣和高度.

2） t是contentDescription屬性非空的ViewGroup類型的組件， 且t滿足下列條件： s是t的子節點， 表示用戶能通過t的可讀文本理解s的含義.

使用規則2能找到那些存在解釋文本解釋其用途的組件， 從而使其不被錯誤地標記為缺失可讀文本的組件. 但規則2仍不完善， 本文發現現實應用的GUI中存在一些滿足規則

2的組件和文本， 但文本卻并非是該組件的解釋文本. 如圖2中編號為3的方框中框選的文字與圖標按鈕組件， 文本并非為解釋圖標按鈕的作用， 但卻會被規則2誤判. 經過觀察，

發現這些被誤判的組件在View Tree中的路徑存在明顯差異. 因此， 為完善規則2， 本文補充了如下規則.

規則3（組件相關性判定規則）

令N表

示GUI的View Tree中組件的集合. 對任意的n∈N， 令R（n）表示與組件n相關的組件集合. 對任意的r∈R（n）滿足以下條件：

1） r∈N， 表示R（n）是N的一個子集.

2） 令Pr為View Tree中根節點到r的路徑， 令Pn為View Tree中根節點到n的路徑， 則r滿足下列條件：

令Prn為Pr和Pn從根節點開始的公共路徑， 則

length（Pr）-length（Prn）≤2amp;amp;length（Pn）-length（Prn）≤2，

表示r和n在View Tree中十分接近.

圖3為規則3示例. 由圖3可見， 圖片e和文本f處于同一容器中， 都擁有相同的路徑［a，b，d］， 在滿足規則2的情況下， f極有可能是e的解釋文本. 對于圖片h和文本f， 雖然它們可能在空間上十分接近， 但它們擁有兩

條不同的路徑［a，b，g］和［a，i，j］， k為h的解釋文本的可能性很小.

假設使用規則1得到的組件集合為S1， 對任意View Tree中的組件c， 使用規則2得到該組件的解釋文本集合為T（c）， 使用規則3得到的該組件相關組件集合為

R（c）， 則最終缺失可讀文本的組件集合為S=S1-{c， c∈S1且T（c）∩R（c）≠}.

1.3 測試報告生成

為使應用開發者能借助本文工作提升應用的可訪問性， 本文方法最后會輸出一份檢測報告， 以便開發者能得知存在可訪問性問題的組件， 并解決其存在的問題. 本文把

GUI的View Tree通過XML格式的文件序列化到文件中， 并給出存在可讀文本缺失問題的組件列表， 且在相應節點上以注釋的方式設置標志. 由于本文在預處理階段為每個組件都生成

了結合組件類型的唯一ID， 因此開發者可通過組件ID中的組件類型較快速地定位到問題組件. 為以更直觀的方式呈現問題組件， 本文還在GUI截屏中使用方框標記問題組件

， 以供開發人員查看， 進而指導其完成后續的修復工作.

本文測試報告生成的主要步驟如下：

1） 將經過裁剪與補全的View Tree序列化到XML格式的文件中；

2） 生成經3種規則識別后認定為問題組件的組件列表， 并在XML文件中標識出問題組件；

3） 在GUI截屏中以方框標記存在可讀文本缺失問題的組件.

圖4為測試報告的一個示例.

2 實驗及結果分析

2.1 實驗數據集

調研結果表明， 普通用戶日常最常用的應用通常也是視障用戶最常用的應用， 并且應用中越淺層的頁面會越多地被用戶接觸到， 因

此本文測試的頁面將從常用應用中1～2級的淺層頁面中選取. 此外， 與其他測試方法采取的策略相同， 對于相似頁面， 本文只選取具有代表性的一個， 如Bilibili首頁， 可以

通過下滑得到無數個結構相同但內容不同的頁面， 本文只選取剛進入該頁面時的原始頁面作為代表［7-9］.

為測試本文方法的有效性， 分別從視頻、 社交、 音樂、 瀏覽器、 學習教育和購物6類應用中選取用戶常用的一個應用， 分別為Bilibili、 微信、 網易云音樂、 百

度、 有道翻譯和京東. 對這6個應用每個選取4～6個具有代表性的常用頁面， 共得到27個測試頁面. 通過手工標注的方式統計每個應用中目標組件（ImageView，Im

ageButton，CheckBox，Toggle，Slider）， 即可能存在可讀文本缺失問題的組件的數量， 以及真實存在可讀文本缺失問題的組件數量. 統計結果如圖5所示.

2.2 實驗方法

由于問題組件只會在目標組件中產生， 而對于頁面中的目標組件， 本文使用規則1、 規則2和規則3， 將其按是否存在可讀文本缺失問題分為問題組件和非問

題組件兩類. 因此， 本文的3種規則對問題組件檢測的有效性可視為是3種規則對目標組件進行二分類的有效性. 為對本文方法的有效性進行評估， 使用混淆矩陣對3種規則進行

分析， 分別計算精準率、 召回率以及F1值3個指標. 表1為一個二分類問題的混淆矩陣， 其中： 真陽性（TP）表示樣本被預測為正， 其真實情況也為正; 假陽性（FP）表示樣本被預測為正，

其真實情況卻為負; 假陰性（FN）表示樣本被預測為負， 其真實情況也為負; 真陰性（TN）表示樣本被預測為負， 其真實情況卻為正.

精確率（Precision）、 召回率（Recall）和F1值（F1-score）的計算公式分別如下：

Precision=TPTP+FP，Recall=TPTP+FN，

F1=2×Precision×RecallPrecision+Recall.

2.3 實驗結果和分析

表2～表4分別列出了僅用規則1、 使用規則1和規則2以及使用全部3種規則對目標組件進行分類的實驗結果. 由表2～表4可見，" 獨立使用規則1對GUI中的問題組件進行檢

測， 其精確率極低， 但召回率達100%. 這是因為規則1將所有缺乏contentDescription屬性的目標組件都歸類為問題組件， 而其中許多組件雖然未設置contentDescription屬性， 但卻具有

相關的解釋文本. 規則1單獨應用產生的基礎F1值顯然并不適用. 引入規則2后， 考慮到解釋文本的存在， 準確率顯著提高， 但由于基于規則的方法可能存在誤判， 導致漏過部

分問題組件， 從而降低了召回率. 規則2的引入將平均F1值從原來的0.21提升至0.93， 產生了明顯效果. 當采用本文設計的全部3種規則時， 準確率與召回率進一步提升，

F1平均值達0.96， 證明了本文設計的規則顯著有效， 能識別GUI中存在可讀文本缺失問題的組件.

綜上所述， 針對安卓應用GUI的視障用戶可訪問性， 本文提出了一種針對應用中存在可讀文本缺失問題的自動化測試方法. 通過本文的檢測報告， 應用開

發者可以清晰定位到存在可讀文本缺失問題的組件， 并針對問題組件進行可讀文本的注入， 以提升應用的可訪問性， 提升應用對視障用戶的使用體驗. 實驗結果表明， 本文方法具有極

高的準確率和召回率， 能有效檢測出存在可讀文本缺失問題的組件.

參考文獻

［1］ ZHANG M X， LIU H X， CHEN C Y， et al. AccessFixer： Enhancing GUI Accessibility for Low V

ision Users with R-GCN Model ［J］. IEEE Transactions on Software Engineering， 2024， 50（2）： 173-189.

［2］ XU T L， WANG B S， LIU H， et al. Prevalence and Cause

s of Vision Loss in China from 1990 to 2019： Findings from the Global Burden of Disease Study 2019 ［J］. The Lancet Public Health， 2020， 5（12）： e682-e691.

［3］ 工業和信息化部， 中國殘疾人聯合會. 中國殘聯關于推進信息無障礙的指導意見 ［EB/OL］. （2020-09-11）［2023-05-16］. http：//www.scio.gov

.cn/xwfbh/xwbfbh/wqfbh/42311/44021/xgzc44027/Document/1690214/1690214.htm. （MINISTRY OF INDUSTRY AND INFORMAT

ION TECHNOLOGY， CHINA DISABLED PERSONS’ FEDERATION. Guiding Opinions of the China Disabled Persons’ Federation on Promoting Information Accessibility ［EB/OL］.

（2020-09-11）［2023-05-16］. http：//www.scio.gov.cn/xwfbh/xwbfbh/wqfbh/42311/44021/xgzc44027/Document/1690214/1690214.htm.）

［4］ 中華人民共和國國家發展和改革委員會. 關于印發《“十四五”公共服務規劃》的通知

［EB/OL］. （2021-01-10）［2023-05-18］. https：//www.ndrc.gov.cn/xxgk/zcfb/

ghwb/202201/t20220110_1311622.html？code=amp;state=123. （NATIONAL DEVELOPMENT

AND REFORM COMMISSION OF THE PEOPLE’S REPUBLIC OF CHINA. Notice on Issuing the “14th Five Year Plan for Public Services” ［EB/OL］. （2021-01-10）［2023-05-18］. https：

//www.ndrc.gov.cn/xxgk/zcfb/ghwb/202201/t20220110_1311622.html？code=amp;state=123.）

［5］ ALSHAYBAN A， AHMED I， MALEK S. Accessibility Issues in

Android Apps： State of Affairs， Sentiments， and Ways Forward ［C］//International Conference on Software Engineering. Piscataway， NJ： IEEE， 2020： 1323-1334.

［6］ LIU Z， CHEN C Y， WANG J J， et al. Nighthawk： Fully Automated Localizing UI Dis

play Issues via Visual Understanding ［J］. IEEE Transactions on Software Engineering， 2022， 49（1）： 403-418.

［7］ ALOTAIBI A S， CHIOU P T， HALFOND W G J. Automated Detection of Talkback Inter

active Accessibility Failures in Android Applications ［C］//IEEE Conference on Software Testing， Verification and Validation （ICST）. Piscataway， NJ： IEEE， 2022： 232-243.

［8］ ALOTAIBI A S， CHIOU P T， TAWSIF F M， et al. ScaleFix： An Automated Repair of UI Scaling Accessibility Issues in Android Applications ［C］//IEEE I

nternational Conference on Software Maintenance and Evolution （ICSME）. Piscataway， NJ： IEEE， 2023： 147-159.

［9］ LIU Z， CHEN C Y， WANG J J， et al. Unblind Text Inputs：

Predicting Hint-Text of Text Input in Mobile Apps via LLM ［C］//Proceedings of the 2024

CHI Conference on Human Factors in Computing Systems （CHI）. New York： ACM， 2024： 1-12.

（責任編輯： 韓 嘯）