RPA在智慧校園應用中的智能識別關鍵技術研究

呂曉龍 王能

收稿日期：2023-04-08

基金項目：德州學院大學生創新創業訓練項目（X202210448023）；山東省社會科學規劃研究項目（21CSDJ12）

DOI：10.19850/j.cnki.2096-4706.2023.22.001

摘? 要：針對智慧校園中各種工作操作規則固定、重復性高、附加值低的問題，文章探索了RPA在智慧校園應用中的智能識別這一關鍵技術，介紹了RPA流程機器人的基本概念，分析了傳統識別定位方式的工作原理及弊端，提出用圖像智能識別定位方式來解決問題，并詳細介紹了圖像智能識別技術的關鍵性Python代碼，結果表明，該方法在RPA流程操作中定位更加準確，出錯率低并能有效解決界面出現彈窗等錯誤問題。

關鍵詞：RPA；智慧校園；智能識別

中圖分類號：TP311? 文獻標識碼：A? 文章編號：2096-4706（2023）22-0001-04

Research on the Key Technology of Intelligent Identification of RPA in Smart Campus Application

LYU Xiaolong， WANG Neng

（School of Computer and Information， Dezhou University， Dezhou? 253023， China）

Abstract： In view of the fixed operation rules， high repeatability and low added value in smart campus ' various work， this paper explores the key technology of intelligent recognition in the application of RPA in smart campuses. It introduces the basic concept of RPA process robot， analyzes the working principle and disadvantages of traditional identification and positioning， put forward using the image intelligent recognition positioning to solve the problem， and introduces the key Python code of intelligent image recognition technology. The results show that the method is more accurate in RPA process operation， the error rate is low and can effectively solve the error problems such as interface popover.

Keywords： RPA; smart campus; intelligent recognition

0? 引? 言

RPA技術在“智慧教育創新發展行動”背景下被廣泛應用于智慧校園建設，它可以有效地改善學生檔案信息的錄入、研究成果篩選與統計、考評信息統計與分析等傳統的手工勞動[1]，實現流程的自動化，使其變得更加高效、精準，從而解放手工勞動力、提高工作效率、降低工作失誤[2]。

本文主要探索了RPA在智慧校園應用中的智能識別這一關鍵技術，即對各種界面元素自動識別和分類，實現智能化識別與定位，從而使RPA流程機器人能跟人一樣，對界面進行判斷，找到準確的元素自動進行操作，進而準確完成復雜信息系統的自動流程操作。

1? RPA在智慧校園中的應用

1.1? RPA簡介及關鍵技術

機器人流程自動化（Robotic process automation， RPA），是為了代替繁雜人工而設計的，通過模仿最終用戶在電腦的手動操作方式[3]，提供了另一種方式來使最終用戶手動操作流程自動化[4]。利用RPA控制器對軟件機器人進行部署與管理。包括啟動/停止機器人的運行，實現信息統一管理，提供數據可視化圖表展示，包括信息匯集、用戶管理、機器人管理、系統管理、執行管理。如果確定的業務流程需要大量的PC運行流程，比較合適的方式是生成器把流程先上傳到控制器，再由控制器統一發給各個運行器，并統一指揮各個運行器執行流程。既然是模仿手動操作，所以RPA的關鍵技術就是對如何對界面進行判斷，識別出要操作的元素的位置，從而控制鼠標進行自動操作。

1.2? RPA機器人在智慧校園中的主要應用

1.2.1? 課程注冊與課程表設計

利用自動化，檢查學生參加該課程的資格標準，核實信息，列出學生名單，根據各個班級和各個老師的空余時間分布來設計一個兩者都空閑并且時間安排合理的課表，在遇到突發情況時，向RPA機器人發送請求，也可以及時更改課表發送信息給學生。

1.2.2? 建立學生檔案

關于學生檔案的管理，學校檔案部在接收學生信息的同時，需要將這些常規信息，包括姓名、年齡、性別、學號等數據，輸入到學校檔案管理網中。用戶只需要操作一次，RPA機器人就會記錄用戶的操作軌跡，并自動登錄系統，將信息統一輸入系統中。

1.2.3? 學生班級考勤管理

自動化考勤管理系統，主動提醒和上報到老師和班級。考勤跟蹤系統，數據處理和自動異常通信，以及完整的報告功能。并可以根據學生提交的表格或者考勤情況，RPA能夠自動評價和生成評分各種問題。

1.2.4? 學生請假條件自動審批

根據請假條例，根據不同的病情和請假的天數來確定請假的審核等級并分類處理，如果是比較嚴重，RPA自動審批生成圖表并發送信息給導員，不需要導員對于那些簡單的事情過多的誤時，可以通過看新生成的圖表來了解當天的請假情況。

2? 傳統RPA的識別定位

傳統中的RPA技術主要是利用PyAutoGUI模塊（模擬鍵盤、鼠標在相應的頁面位置進行操作）通過對鼠標操作先獲取鼠標位置后由這個位置向四面八方延伸，在獲取屏幕的分辨率進而確認鼠標在整個電腦中的坐標進而獲得有電腦屏幕大小的坐標系，后通過將鼠標移到需要操作的位置，然后同樣使用PyAutoGUI模塊來鎖定目標的位置按照之前的方式再一次確定坐標，之后就可以進行點擊左鍵右鍵等簡單的操作[5]。

其次還可以依據網頁標簽實現抓取大多數Web網頁源代碼都是通過HTML語言編寫的，頁面中的數據通過各種HTML標簽所標識，如、