一種基于多技術融合的手機RPA自動化控制方法及系統

摘要：本文介紹了一種基于多技術相互融合的RPA手機自動化控制方法，旨在實現跨手機系統的手機自動化控制。該方法將傳統的UI層級分析與AI模型元素識別相結合，通過與預設元素庫的對比，自動推薦具體的元素識別方式。匹配成功時，可以快速找到合適的目標元素識別方式，包括傳統的預設元素探取識別方式和AI模型識別方式。并且結合RPA流程設計的特點，設計了AI模型的在線優化，根據下一步的操作來反饋當前AI模型是不是最優，并確定是否需要優化。如果未達到預期效果，可以反向在線優化AI模型，直到達到預期結果。這種方法具有高效、準確和可靠的特點，能夠提高元素識別方法的魯棒性，并適用于不同的識別場景。

關鍵詞：RPA；元素識別；AI模型識別；元素庫

一、引言

現如今手機發展迅速，人們對于手機的依賴也越來越多，手機已成為日常生活和辦公中不可或缺的設備，許多重復而繁瑣的任務都需要通過手機來完成。那么RPA手機自動化控制可以替代人工在手機上處理事情，但是隨著手機技術的不斷更新迭代，手機中的很多應用或者是操作并不能完全按照人的意愿自動靈活地控制，僅僅依靠某一種單一的技術已經不能完全自動替代人工完成手機操作。

目前，雖然RPA領域已經存在手機自動化設計系統，但相關的技術文檔卻相當匱乏。而且很多都是重點強調支持多部手機的自動化，并沒有從如何實現手機自動化方向進行闡述，且隨著手機技術的不斷進步，再使用傳統的手機元素識別及控制方式，已經很難完全控制手機，這會在很大程度上限制RPA在手機自動化領域的應用。

在手機領域，手機的控制已經做到了對Android、鴻蒙及IOS手機的自動化控制，Android和鴻蒙系統的手機主要是通過UIAutomator、Adb進行控制，ISO手機主要是通過UIAutomation進行控制，通過手機中元素的屬性來控制及定位手機中的元素，但是隨著手機技術的不斷發展，并不是所有的手機元素屬性都能準確地獲得，因此，僅使用傳統的元素定位方式已無法完全控制手機的操作。因此本文提出了一種多技術相互融合的RPA手機自動化控制方法，旨在跨手機系統完成手機自動化的控制，它不僅使用了傳統UI層級分析獲取手機的元素，同時還使用了AI模型進行元素識別，并通過與元素庫的對比自動推薦具體的元素識別方式。該方法是一種高效、準確且可靠的自動化控制方法，具有廣泛的應用前景和推廣價值[1][2]。并且，結合RPA流程設計的特點，設計了AI模型的在線優化，通過根據下一步操作來評估當前AI模型的性能，判斷其是否已達到最優狀態，進而確定是否需要進行進一步優化。若當前AI模型的效果未達到預期，可以采取反向在線優化策略，對AI模型進行持續優化，直至達到預期結果。

二、RPA系統架構

本方案是一種基于AI圖像識別的多技術融合RPA手機自動化設計系統，該系統允許用戶通過拖放操作來設計手機自動化流程文件，同時，它還具備自動錄制功能，能夠逐步將當前操作轉換為代碼并保存到流程文件中。本系統的設計框架主要包含三層結構，第一層和第二層都是部署在PC端，第三層是部署在移動設備端。采用這種三層架構的原因是將實際的接口操作部署在第二層的手機服務端，這樣做旨在確保手機能夠正常進行投屏實時顯示，同時執行用戶設計的手機自動化流程文件[3]。本系統的具體框架圖及層級描述如圖1所示。

第一層是設計器和執行器層，設計器允許用戶通過自由組合手機組件來設計手機自動化流程，這些組件涵蓋了手機操作的常用模塊。執行器負責執行設計器創建的流程文件。執行器與設計器都通過GRPC協議調用手機服務端的接口。

第二層是手機服務端層，手機服務端以獨立的EXE應用程序啟動，監聽設計器和執行器端的請求，并與手機設備進行交互，手機服務端負責實現接口、控制手機以及通過監聽鼠標消息來實現元素拾取等功能，主要有調用獲取設備接口、連接/斷開設備接口、獲取圖像流的接口及手機控制接口等，通過調用獲取圖像流接口就能進行手機投屏顯示，調用手機控制接口，就能實現在PC端進行手機實時控制等操作。

第三層是移動設備層，這一層是部署在移動設備端的服務。安卓及鴻蒙系統的手機會部署同一個手機服務端，叫AndroidServer，IOS系統的手機會部署IOSServer服務，移動設備端的服務與PC端的手機服務之間通過RPC HTTP、ADB進行交互，這一層是手機真正執行手機操作的層級，當它收到PC手機服務端的命令后，會先對命令進行解析，然后再執行，最后將執行的結果返回給PC手機服務端。

三、RPA系統核心技術

（一）基于UI層級的元素識別方式

基于UI層級的手機元素識別方式主要通過分析手機當前的UI層級進行元素探取。遍歷當前的UI層次結構，目的是確定目標位置所在的預設區域，并將預劃分區域中的元素作為目標元素，進而獲取目標元素的相關屬性，比如Name、Text、ResourceID等[4-5]。其流程主要有以下幾點：

1.啟動UI元素探測功能；

2.獲取鼠標當前的位置；

3.獲取當前手機的UI層級結構，這一步和獲取鼠標位置是同時執行；

4.通過算法快速查找當前的UI層級結構，定位出當前鼠標所在的最小矩形區域，在此最小矩形區域中的手機元素就是當前需要捕獲的目標元素；

5.輸出當前最小矩形區域中的元素信息，如Name、Text、ResourceID等，這些屬性參數將作為后續定位元素并進行下一步驟操作的依據。

具體識別流程圖如圖2所示。

但這種傳統的元素識別方式在一些應用場景下會存在問題，例如，在遠程桌面、虛擬系統或某些客戶自行開發的辦公軟件等操作場景中，通常只能獲取到一張頁面圖片，無法通過API接口或源碼解析的方式來定位和操作元素。這種情況下，需要利用AI技術進行操作元素的匹配、定位和操作。這不僅提高了操作的效率和準確性，也為用戶帶來了更加便捷和靈活的操作體驗。

（二）AI圖像識別方式

AI圖像識別主要通過AI模型初步確定元素的矩形區域，然后對元素的矩形區域圖形和手機屏幕截圖進行歸一化和縮放處理，最后通過圖像識別確定當前元素所在的坐標位置[6]，其識別流程主要有以下幾點：

1.啟動AI圖像識別功能；

2.用戶在界面設置Threshold閾值，Threshold是用來判定一張圖片識別是否成功的閾值，高于此閾值則識別成功，低于則識別失敗。例如一張圖片識別到的匹配度是0.7，而預設定的Threshold為0.8的話，那么就會認為匹配失敗，從而需要進行下一次匹配。通常來說，Threshold設置得越高，圖像識別的精度越高，但成功率也會有所降；

3.用戶移動鼠標到目標元素區域，系統會利用AI模型初步截取該元素的有效區域，若不使用AI技術，則用戶無法準確判定元素區域，且需要手動截圖；

4.系統自動進行屏幕截圖，并將元素截圖和屏幕截圖進行歸一化和縮放處理。因為手機是投屏到PC端的，元素截圖截取的是PC端的元素矩形區域，而手機截屏則是手機端的屏幕截圖，所以在進行圖像識別之前需要進行縮放處理，同時，為了適應不同設備的屏幕尺寸和分辨率差異，還需要對元素截圖及屏幕截圖進行歸一化處理，進行自適應，減少元素定位的偏差，提高匹配的成功率；

5.對元素截圖及屏幕截圖進行圖像處理，例如灰度處理等；

6.對元素截圖及屏幕截圖進行圖像識別；同時完成元素截圖和屏幕截圖的特征提取，在特征提取過程中，結合了深度特征和角點特征，在元素截圖中選擇和屏幕截圖中特征相匹配的候選區域，并結合像素點特征輸出最終結果，識別結果高于Threshold閾值則匹配成功，輸出有效的坐標值，比如（x，y），結果低于Threshold閾值則匹配失敗，則輸出None值。

具體AI識別流程圖如圖3所示。

通過結合基于UI層級的元素拾取方法和AI模型的元素拾取方法，提高了RPA手機自動化的元素識別概率，提升了元素識別方法的魯棒性。

（三）元素識別方式智能推薦

本方案在手機元素識別方面，采用了基于AI圖像識別的多技術融合方式，主要包括基于UI層級和AI技術的元素識別方法，并在RPA軟件后臺，根據用戶需要操作的軟件界面的不同，為用戶自動選擇更精準、更合適的元素拾取方式（當然也支持用戶手 動進行拾取方式切換），同時在操作過程中能夠實現拾取方式的自動、無感切換；另外，在各個元素實現定位的基礎上，提供界面元素內容的解析功能，實現元素的類別、屬性、位置和層 次等的有序輸出，從而支持更多樣化的元素操作能力。這兩種方式之間可以根據實際元素與元素庫進行對比，自動推薦元素識別的方式。如果識別成功，系統會將當前元素的信息及其識別方法更新或記錄到元素庫中，其具體流程如圖4所示。

通過比較目標元素和預設元素庫中的歷史元素，可以得到各歷史元素與目標元素之間的相似度。其中，兩元素之間的相似度可基于元素屬性和元素置信度確定，其中元素屬性可以是，形狀、尺寸、顏色、坐標等。對于任意一個歷史元素，將該歷史元素的元素屬性與目標元素的元素屬性進行比較得到一個初始相似度。然后，將元素置信度作為參數，結合初始相似度來計算該歷史元素的元素屬性與目標元素的相似度。若相似度大于預設相似度閾值，則將該歷史元素作為目標歷史元素。如果匹配到目標歷史元素，則基于目標歷史元素的識別方式識別目標元素得到識別結果。如果匹配不成功，則需同時啟動基于UI層級的元素識別方式和AI模型的識別方式進行識別，再從兩種結果中選取較優的作為最終的元素識別結果，從而保證目標結果的準確性[7][8]。

此外，在元素庫中除存儲目標歷史元素外，還記錄了每個歷史元素的使用信息，例如，對于任意一個歷史元素，元素庫會記錄在使用各種識別方法時，該歷史元素的識別結果被作為最終目標識別結果的次數。或者是基于用戶偏好的識別方法，相應地，如果使用基于UI層級的元素識別方法得到的結果作為目標識別結果的次數更多，則將通過此識別方式進行識別以得到目標識別結果，若使用AI模型識別方式得到的識別結果作為目標識別結果的次數多，則使用AI模型識別方式進行識別以得到目標識別結果。

（四）基于RPA流程執行特點對AI模型在線優化

由于應用場景的復雜性以及使用設備的不確定性，固定不變的AI模型無法滿足這些要求，所以對AI模型進行在線優化是非常必要的。但是，每當模型識別不準確時，若將AI模型返回原廠重新優化，這將顯得非常繁瑣且效率低下。所以結合RPA流程設計的特點，清楚地了解RPA流程設計的每一個步驟及每一步的預期效果，然后根據下一步操作的反饋來判斷當前的AI模型是否為最佳狀態，是否需要進行優化。如果不是則可以反向在線優化AI模型，直到AI模型的識別結果符合預期。其具體流程圖如圖5所示。

在啟動RPA流程前，用戶需要設置遇到問題時自動啟動AI模型的在線優化；設置AI模型優化的最大優化次數，避免進入優化死循環；啟動AI模型在線優化后，應將優化結果與RPA執行的下一步結果進行對比。如果結果一致，則記錄當前的優化結果，并繼續執行預設的剩余的RPA流程，從而保證RPA流程的完整執行；如果與RPA的下一步操作不一致，則繼續執行在線優化。當優化次數超過用戶設定的最大優化次數時，系統將自動退出，且不會繼續執行剩余的RPA流程。

AI模型的在線優化是基于實際執行結果與預期執行結果之間的差異來計算預設元素識別模型的估計損失。基于模型估計損失對預設元素識別模型中的模型參數進行優化，如基于模型估計損失，通過梯度下降法及反向傳播對預設元素識別模型中的模型參數進行調整，以優化模型。

四、結束語

本文結合了AI圖像識別的多技術融合方案在RPA手機設計系統的應用，提出了在傳統手機元素定位的技術基礎上增加了AI圖像識別的功能。無論是運行Android、鴻蒙還是IOS操作系統的手機，都可以通過AI圖像識別技術來定位其中的元素，精準定位出手機中的元素位置，進而進行手機自動化控制。與傳統的手機自動化控制方法相比，該方法具有以下優點：一方面，它能夠跨越不同手機系統進行自動化控制，提高了控制效率和適用范圍；另一方面，它采用了多種先進技術，包括傳統UI層級分析、AI模型和元素庫等，從而提高了元素識別的準確性和可靠性，并結合了RPA流程的特點在線優化AI模型，讓AI識別持續完善和優化。此外，該方法還具有易于擴展和升級的優點，可以隨著技術的不斷更新而不斷優化和完善。這種多技術融合方式能更好地滿足用戶的多樣化需求，并解決了傳統方法中無法準確定位手機元素的問題。

作者單位：付兵蘭 陳瓊雁 劉春林 彭偉軍 陳國

中國移動信息技術中心

參考文獻

[1]王巖松，秦云川，蔡宇輝，等. 一種基于UIA接口的RPA系統設計方法[J].計算機科學，2022，49（08）：231-235

[2]陳國，劉春林，付兵蘭，等. 基于跨操作系統的RPA平臺設計及關鍵技術研究[J].中國新通信，2022.24（24）：27-30

[3]姜偉昊.面向電力營銷的RPA系統平臺的研究與實現[D].浙江：浙江大學，2022.

[4]上海云擴信息科技有限公司.一種通用的RPA手機自動化設計系統[P].中國：202110476566.1 ，2021.04.29

[5]達而觀科技（北京）有限公司.一種基于RPA的智能終端安卓App控制方法[P].中國：202110958076.5，2021.08 .20

[6]杭州實在智能科技有限公司.一種RPA元素智能融合拾取的方法與系統[P].中國：202110944521.2，2021.08.17

[7]杭州實在智能科技有限公司.一種RPA機器人智能元素定位拾取方法及系統[P].中國：202011206854.7，2020.11.03

[8]國網浙江省電力有限公司雙創中心.機器人流程自動系統元素定位方法、裝置、 設備及介質[P].中國：202111582498.3，2021.12.22.

付兵蘭（1981.04-）女，漢族，湖南漣源，碩士，項目總監，研究方向：RPA、云計算等；

陳瓊雁（1989.09-），女，土家族，湖南張家界，碩士，研究方向：RPA、云計算等；

劉春林（1978.09-），男，漢族，湖南衡陽，學士，研究方向：RPA、云計算、人工智能等；

彭偉軍（1973.10-），男，漢族，廣東汕尾，學士 ，研究方向：RPA、云計算、人工智能等；

陳國（1977.11-），男 ，漢族，山東萊蕪，碩士，研究方向：RPA、區塊鏈、云計算、人工智能、算力網絡等。