基于MR的機電裝備智能檢測維修

王 崴，洪學峰，雷松貴

基于MR的機電裝備智能檢測維修

王 崴，洪學峰，雷松貴

(空軍工程大學，陜西 西安 710038)

研究Faster R-CNN目標檢測網絡的基本結構與訓練方法；建立了機電裝備狀態數據集，訓練了目標檢測網絡，一步實現了指針式儀表區域的提取、數字式儀表讀數的識別以及開關、插頭狀態的識別；在不同視角和光照強度下對目標檢測網絡進行了測試，結果表明模型在不同的環境中均能保持90%以上的準確度。并以此為依據推理故障的原因，最后根據推理結果，使用基于Unity 3D軟件與Hololens 2硬件開發的機電裝備智能維修輔助系統來調取混合現實(MR)全息誘導維修信息，以指導保障人員進行操作。實驗驗證了系統的可用性，實驗結果顯示使用MR可以快速、高效地完成維修任務。并依據操作耗時和問卷調查進行測試與評價，對系統的優越性進行了定性分析。

混合現實；Faster R-CNN；智能故障診斷；維修輔助；實驗驗證

在設計制造技術高速發展的背景下，各種機電產品的技術復雜程度也在不斷提升，對機電產品的維修和保養工作也變得愈發困難和繁重，同時對維修人員提出了更高的要求。隨著計算機技術的發展，對機電產品的維修保養問題多集中在，如何運用人工智能技術輔助人們進行機電狀態指示識別與故障診斷。本文基于混合現實(mixed reality，MR)機電產品智能維修輔助技術，實現對故障的智能判斷及MR可視化誘導維修。

目前，關于MR裝備維修輔助技術，意大利空軍基于Hololens開發了用于維修的C41系統，專家通過網絡對維修人員進行遠程指導[1]；海軍工程大學將基于Vega Prime的交互式實時虛擬維修系統，運用在艦艇減搖鰭虛擬維修中[2]。而關于智能維修輔助技術，在MR中的應用很少[3]，但也有如新西蘭坎特伯雷大學的Westerfield等，通過自動推理故障指導手工裝配任務的培訓，并運用于計算機主板的裝配中[4]。

1 相關工作準備

系統硬件主要包括高性能圖形工作站、MR顯示設備、擴展顯示設備、自組網設備等。其中圖形工作站本系統選用了Dell AWL17C-3858移動圖形工作站，處理器型號為Inter i9-8950HK，運行內存16 GB，顯示卡為NVIDIA GeForce GTX 1080 OC；MR顯示設備選用HoloLens2。擴展顯示器設備選用Lenovo Y7000筆記本電腦，處理器為i5-8300H，運行內存8 GB，顯示卡為NVIDIA GeForce GTX 1060。本系統選用的自組網設備采用1.4 GHz頻段進行通信。

2 基于深度學習的機電裝備狀態指示識別技術

由于模板匹配的識別方法對圖像的質量要求較高，圖像稍有變形將會導致識別失敗，所以通過拍攝圖像對機電裝備狀態進行圖像識別的方法滿足不了系統性能的要求[5]。針對該情況，結合深度學習目標檢測算法，其對圖像要求較低，且具有可識別多目標的特點。采用Faster R-CNN目標檢測網絡識別數字式儀表讀數、開關插頭狀態，同時檢測指針式儀表區域以提高讀數識別效率。

2.1 Faster R-CNN目標檢測網絡[6]

深度學習目標檢測算法的基本思想是，采用選擇性搜索獲取圖像中潛在峰物體候選框，然后通過分類和合并的方法獲取目標檢測結果。常用算法有R-CNN，Fast R-CNN，Faster R-CNN，SSD和YOLO，在VOOC2007數據集中，YOLO，SSD，R-CNN，Fast R-CNN和Faster R-CNN算法的平均準確率分別為66.05%，75.00%，66.00%，70.00%，73.20%，其中SSD和Faster R-CNN的平均精度優于其他算法。在實際應用中，SSD算法對大型目標的檢測準確率較高，但易遺漏小型目標，而該目標檢測均為較小目標。為了保證檢測精度，本文選用Faster R-CNN對機電裝備圖像進行目標檢測。

2.2 網絡框架結構

Faster R-CNN是由區域建議網絡和Fast R-CNN檢測器2個模塊構成，是一個用于目標檢測的統一的神經網絡。區域建議網絡[7](region proposal network，RPN)可預測目標所在的區域并將信息與Fast R-CNN共享，通過修正目標區域得到精確的目標位置[8]。

2.3 區域建議網絡

RPN是一個全卷積網絡，其以任意大小的圖像為輸入，輸出一組帶有目標得分的矩形區域建議框。基于RPN的結構原理及訓練思想，網絡的損失函數可定義為

RPN的回歸損失函數為

RPN可通過誤差反向傳播和隨機梯度下降法進行端到端的訓練。在訓練時，每一個Mini-batch是由一幅圖像中任意選取的256個建議構成，其中正負標簽的樣本比例為1﹕1。在實際訓練中，經常出現正樣本數量較少的情況，此時應增加負樣本的數量使得建議數保持為256個；另一些RPN建議區域會出現相互重疊情況。為了減少冗余，網絡采用基于分類評分的非極大值抑制法對其進行篩選。一般可將交疊率的閾值設為0.7，只保留高于該值的候選框。

2.4 網絡訓練步驟

Faster R-CNN訓練的是在已訓練好的模型(此處為ResNet)基礎上進行的，與RPN共有的層參數可以直接拷貝經ImageNet預先訓練得到的參數，非共有層的參數用標準差為0.01的高斯分布進行初始化。

3 機電裝備目標檢測網絡的訓練

3.1 機電裝備目標數據集的制作[9]

目標檢測的對象為機電設備，檢測目標為儀表、開關、插頭等。在不同拍攝角度，使用相機對設備進行連續拍照，形成圖像集。為了防止發生過擬合現象，本文對原始圖片進行縮放、平移、翻轉以及亮度變化來擴展數據，最終經處理得到2 000張圖片作為制作數據集。Faster R-CNN的訓練要求數據集為VOC格式，本文使用labellmg軟件對圖片進行標記，生成VOC格式的數據集。在xml文件中的object包含了圖像中目標類型、名稱及標記框的左上角與右下角的坐標值。本文數據集共包含16種目標類型，分別為“0”～“9”10個數字，“p1”，“p2”和“p3”3個指針式儀表，“on”，“off”2個乒乓開關狀態，以及“joint”1個插頭類型。

3.2 目標檢測網絡的訓練

訓練前需對文件進行索引，其中用于測試的數據集占比為10%。再將目標設置為機電裝備狀態的類別，運行真實標記框索引文件，且每一行對應圖片中真實標記框的位置。接著調節訓練的世代數以及每個世代的迭代次數，本文設置的訓練世代數為50，每個世代需迭代2 000次，最后運行訓練主函數。第一個世代內的損失函數以及所有50個世代的損失函數曲線如圖1所示。

通過圖1可以看出，本文使用的損失函數在一個世代中的250次迭代內迅速下降，整體在10個世代內迅速下降。這說明此設計的損失函數收斂速度較快，訓練能夠快速地得到理想的目標檢測網絡。

圖1 Faster R-CNN損失函數曲線圖((a)第一個世代內損失函數曲線；(b)歷代損失函數曲線)

3.3 目標檢測網絡的測試

為了驗證訓練的目標檢測網絡準確率，本文使用數據集中未參與訓練的200張圖片進行測試。首先使用訓練好的模型逐一檢測圖片中的目標，并生成目標預測框；然后計算預測框與真實標記框的交疊率IoU，若其值大于等于0.5，則認為預測目標是準確的，循環該過程直至檢測完畢。圖2為測試集中一張圖片的檢測結果，其中藍色框為真實的標記框，綠色框為IoU的值大于等于0.5的預測框，說明檢測成功，紅色框為小于0.5的預測框，即檢測失敗。

圖2 模型測試結果

檢測完畢后，通過計算模型的精確度P、召回率R、準確度均值以及所有目標類型的準確度均值，對機電裝備狀態目標檢測模型進行綜合評價。精確度與召回率的計算如下[10]

其中，為分類器認為是正樣本且實際為正樣本的例子；為分類器認為是正樣本但實際不是正樣本的例子；為分類器認為是負樣本但實際不是負樣本的例子。

精確度是檢測到的正樣本與真正是正樣本的比例，而召回率是實際正樣與網絡認為是正樣本的比例。

單獨使用精確度或召回率均不能客觀反映網絡模型的好壞，為解決這一問題，本文使用P-R曲線下包圍的面積作為衡量尺度，即準確度均值AP，該值越大代表模型越優。本文訓練的目標檢測模型中指針式儀表“p2”的P-R曲線如圖3所示。計算圖中曲線包含的面積，其AP值為99.78%，表明該模型能夠很好地檢測到指針式儀表“p2”。

圖3 指針式儀表p2的P-R曲線圖

mAP即檢測所有訓練目標的AP值總和除以目標類型數的結果，mAP是評價目標檢測網絡綜合能力的重要指標，其值越大表示目標檢測網絡對所有訓練目標的檢測效果越好。本文16個目標類型的AP值及訓練的目標檢測網絡的mAP值如圖4所示。通過圖4可以看出：“0”～“9”10個數字、插頭、“on”和“p2”的AP值接近1.0，“p3”，“p1”和“off”的AP值相對低一些，整個網絡的mAP值為96.72%，說明訓練的機電裝備目標檢測網絡能夠較好地檢測到圖片中的所有目標。

圖4 所有目標類型的AP值及mAP值

3.4 目標檢測實驗結果與分析

為了更真實地反映模型在復雜條件下的綜合性能，本文采用視線與裝備平面的夾角分別為80°，90°和100°的3種視角，及光照分別為較暗、正常、較亮的條件下對目標檢測網絡進行測試。本文針對每種條件分別采集100張圖片，測試結果見表1和表2。

表1 3種不同視角機電裝備狀態圖像識別準確率(%)

表2 3種不同光照條件機電裝備狀態圖像識別準確率(%)

通過表1和表2可以看出，圖片拍攝的角度與光照條件對機電裝備狀態目標的檢測具有一定的影響，但各類目標的準確度仍能保持在91%以上，準確率均值在93%以上，平均識別時間為1.18 s，說明本文訓練的模型能夠較好地檢測到各種目標。

圖5為部分圖片的檢測結果，從圖中可以看出在不同拍攝角度與不同亮度的圖片中，本文訓練的模型均能較準確地識別指針式儀表、數字、插頭與開關狀態。

圖5 檢測結果圖((a)指針式儀表檢測結果圖；(b)數字儀表檢測結果圖；(c)插頭檢測結果圖；(d)開關檢測結果圖)

通過目標圖片中預測框分類結果與坐標位置，可以對目標進行排序輸出。如圖5(b)中數字式儀表的讀數為“1430”；圖5(c)中的插頭狀態為“未插入線纜”；圖5(d)中開關的狀態從左到右依次為“關、開、關、開、關、開”。

在實現了基于深度學習的機電裝備狀態指示識別技術后，便可將機電裝備狀態圖片作為輸入，將機電裝備的狀態參數作為輸出。

4 智能故障診斷功能的實現

本文系統涉及的機電裝備故障推理內容屬于小規模問題，所以，采用基于規則的故障推理專家系統診斷故障原因。模塊以機電裝備狀態參數為輸入，以機電裝備故障的具體原因為輸出(圖6)。

本文采用產生式規則來代表裝備保障專家的知識，基本形式表示為P→Q或IF P，THEN Q。其中P被稱為前件，是產生式規則的前提；Q為一組結論或操作。

本文使用正向推理從初始事實數據開始，朝故障原因這一目標方向不斷推進。推理過程為，首先搜索規則對機電裝備狀態參數進行匹配，若匹配成功則輸出對應的結論；反之則使用下一條規則進行判斷，重復上述過程直至輸出最后的結論。此外，本文還設計了動態規則生成程序，能夠在推理過程中不斷豐富規則庫。本文使用Python編寫故障推理模塊部分的程序，使用if語句對機電裝備狀態參數進行推理判斷，最后將對應結論編號的數值置為“1”，代表推理出該故障的原因。

圖6 故障推理流程

故障推理模塊輸出的機電裝備故障原因后，MR誘導維修功能可以據此調取正確的全息指導信息，顯示在佩戴Hololens 2的操作者視野中，達到指導維修的目的。

5 MR誘導維修功能的實現

MR誘導維修功能的實現主要依靠誘導信息生成、數據管理、人機交互以及消息通訊4個模塊，其為保障人員提供直觀的全息指導信息。

5.1 誘導信息生成模塊

當故障推理模塊輸出故障原因后，誘導信息生成模塊需要匹配對應的誘導信息指導保障人員進行相關操作，并將誘導信息穩定地疊加顯示在機電裝備對應的位置上。為了實現以上功能，本文首先將Inventor建立的模型以OBJ格式導出，再導入3D MAX進行部件坐標軸中心調整、減少面片，最后導出FBX格式的模型文件，該格式能夠直接導入Unity中。采用基于Vuforia的跟蹤注冊技術使虛擬信息能夠準確地在空間定位；使用Unity 3D引擎開發制作了誘導信息的編輯器，并進行維修腳本編輯，最后將其導入主程序場景中，與其他場景元素一起渲染[11-12]。

(1) Vuforia的跟蹤注冊技術。該技術在系統軟件中的實施步驟為：①將需要識別的圖片上傳到Vuforia網站上的Target Manager中，并將圖像轉換為可以識別的標識，接著導出標識數據包；②在unity項目中導入數據包，將原場景中的攝像機刪除，添加ARCamera，將密鑰復制在Unity中的AR Camera的Vuforia Behaviour組件中；③在場景中添加ImageTaraget組件，在組件中選擇圖像標識，并添加要顯示的虛擬物體，調整其與標志圖像到正確的位置。開發完畢，將其部署應用在Hololens2中，當攝像頭掃描到標識圖像后，將會顯示預先設置的虛擬信息[12]。軟件虛擬場景及真實場景顯示效果如圖7所示。

圖7 跟蹤注冊效果圖((a)虛擬場景顯示效果；(b)真實場景顯示效果)

(2) 指導操作。為了指導保障人員按照正確的步驟進行操作，系統要告知每一步需要什么工具、如何操作、注意事項等內容。本文在MR中使用圖片與動畫相結合的方式提供上述信息，將維修步驟的具體內容稱為維修腳本。大多腳本的編輯過程基本相同，為了減少后續編輯工作量并提高效率，本文使用Unity開發了機電裝備維修腳本編輯器，編輯器界面如圖8所示。

圖8 維修腳本編輯器界面

(3) 渲染。在制作完誘導維修動畫后，需要在誘導維修主程序中對MR場景進行渲染，主要包含場景光照和模型材質的設置。主程序場景如圖9所示。

5.2 數據管理模塊

本文將使用的信息資源分為裝備數據管理與用戶資料數據管理2部分。裝備數據包括三維模型、維修科目、維修動畫等信息；用戶數據包括用戶類型、用戶賬號與密碼、用戶過程記錄等信息。各數據按照設計的格式以表的形式存儲在Mysql數據庫中[13]。

圖9誘導維修主程序場景

5.3 人機交互模塊

在MR系統中，人機交互模塊使用戶能夠流暢地與系統進行溝通，提高系統的易用性。本文利用的人機交互技術主要有用戶圖形界面技術、語音交互以及手勢交互技術。

本文使用Unity的UGUI組件進行用戶界面的設計和布局。系統采用Canvas組件作為界面基礎，Image組件作為界面背景；Text組件用于顯示固定的文字；使用Button組件定義各功能按鍵，并添加C#腳本組件，與手勢交互配合，在用戶點擊時實現對應的功能；使用InputField組件顯示其他程序輸入的信息

5.4 消息通訊模塊

本文采用Unity Unet消息通信框架，該框架的獨特優勢在于無需單獨開發通訊客戶端與服務器，便可容納多個客戶端。若系統中不設置專用的通訊服務器，則最先被開啟的客戶端將自動承擔服務器的任務。此時將該客戶端稱為Host，其即包括客戶端進程也包含服務器進程，可將客戶端稱為LocalClient，服務器稱為Sever，兩者共享場景，LocalClient可以直接使用函數調用或消息隊列與本地服務器Sever通信。其余外部客戶端可稱為RemoteClient，其通過有線網或局域網與Host通信。利用該特性可直接在同一臺計算機上測試系統軟件的客戶端與服務器的連接[14]。

6 系統驗證實驗

為了驗證開發的機電裝備維修輔助系統的功能與性能，本文設計了系統功能與系統性能驗證實驗，結合實驗臺對系統進行了應用驗證。

實驗臺前面板安裝的元器件主要有：指針式電壓表與電流表、四位數字式儀表、旋鈕、乒乓開關、觸摸屏等；實驗臺的內部安裝的元器件主要有：電源模塊、PLC(可編程邏輯控制器)、信號發生器等。為了實現多種不同的實驗，采用PLC與觸摸屏互連，通過編寫不同的程序實現不同的要求。實驗臺前面板的右側按鍵預設了不同的故障現象，在實驗過程中通過按鍵可以快速切換實驗項目。實驗臺前面板與內部結構如圖10所示。

圖10 實驗臺實物圖((a)前面板；(b)內部結構)

功能驗證實驗的任務是驗證系統設計的功能，主要包含檢查、調試、維護、修理4個方面的任務，其中在實際操作中調試與維護的流程基本相同，本實驗將二者歸為一類。

本實驗的設備主要有Hololens 2、圖形工作站及實驗臺，實驗場地為光照充足的實驗室，實驗場景如圖11所示。

圖11 實驗場景圖

檢查任務步驟：①使用實驗臺模擬機電裝備狀態，實驗人員先開啟圖像工作站上的服務器，然后佩戴Hololens 2設備開啟系統客戶端，服務器與客戶端自動建立連接；②實驗人員站在面板前使用手勢或語音交互觸發“狀態識別”按鈕，客戶端拍攝機電裝備狀態圖片發送到服務器中；③服務器返回狀態指示識別結果與故障原因到客戶端中進行顯示。調試任務與修理任務的前3步與檢查任務相同，本文實驗設計的調試任務是調節檢查任務中識別的故障。

本文實驗設計的修理任務是更換損壞的電源模塊，當檢查出故障后客戶端自動調取對應的誘導信息開始指導實驗人員進行操作。實驗人員通過手勢或語音交互觸發“上一步”與“下一步”按鈕控制進程，操作人員在客戶端進行步驟切換或觸發“取證”按鈕時，分別截取圖片與視頻存儲在服務器數據庫中，任務步驟如圖12所示。

圖12 維修任務截圖((a)狀態識別；(b)拆卸壓線螺絲；(c)拆卸固定螺絲；(d)更換電源模塊；(e)安裝固定螺絲；(f)安裝壓線螺絲)

通過實驗可以看出，本文系統可很好地滿足檢查任務、調試任務、修理任務要求，系統的主要功能得到了驗證。

7 系統測試與評價

本文從客觀和主觀2個方向出發，通過操作耗時統計以及問卷調查的方式對系統進行了測試與評價。本文選擇年齡18～22歲、身體各項指標正常的本校50名男性本科生為測試對象，為了避免不確定因素帶來的影響，將其分為A，B，C，D和E 5組，每組人數10人。測試前向每人發放實驗臺說明書，并向其講解系統的操作方法，待全部對象理解檢查任務、調試任務、維修任務以及操作方法后開始進行測試。圖13為統計測試對象在不使用本文系統與使用本文系統完成3個任務的平均耗時。

圖13 任務評價耗時統計圖((a)檢查任務耗時對比；(b)調試任務耗時對；(c)維修任務操作耗時對比)

8 小 結

隨著國防科技的迅速發展，機電裝備的技術復雜度越來越高，對應的裝備保障工作也越來越難，對保障人員的要求也越來越高[15]。保障人員在高強度、高壓力的工作中無法避免地出現故障診斷與維修操作的失誤，這將為裝備的長期穩定運行埋下隱患[16]。對此，本文以提高裝備保障工作的智能化水平為出發點，將狀態指示識別、混合現實等新技術引入維修輔助工作中，開發了基于MR的機電裝備智能維修輔助系統，為裝備保障工作提出了新的發展路線。

[1] ULLO S L, PIEDIMONTE P, LECCESE F, et al. A step toward the standardization of maintenance and training services in C4I military systems with Mixed Reality application[J]. Measurement, 2019, 138: 149-156.

[2] 蘇群星, 劉鵬遠. 大型復雜裝備虛擬維修訓練系統設計[J]. 兵工學報, 2006, 27(1): 79-83.

SU Q X, LIU P Y. Study of the virtual maintenance training system for large complex equipment[J]. Acta Armamentarii, 2006, 27(1): 79-83 (in Chinese).

[3] 張王衛, 蘇群星, 劉鵬遠, 等. 面向裝備維修的虛擬拆卸系統關鍵技術研究[J]. 系統仿真學報, 2013, 25(12): 2879-2885.

ZHANG W W, SU Q X, LIU P Y, et al. Research on key technologies in virtual disassembly system for equipment maintenance[J]. Journal of System Simulation, 2013, 25(12): 2879-2885 (in Chinese).

[4] 崔波, 王崴, 瞿玨, 等. 基于增強現實的裝備誘導維修系統設計與實現[J]. 火力與指揮控制, 2016, 41(11): 176-181.

CUI B, WANG W, QU J, et al. Design and implementation of equipment maintenance guiding system based on augmented reality[J]. Fire Control & Command Control, 2016, 41(11): 176-181 (in Chinese)

[5] 羅又文, 王崴, 瞿玨. 基于Faster R-CNN的誘導維修自動交互設計[J]. 計算機工程與應用, 2019, 55(12): 181-187.

LUO Y W, WANG W, QU J. Automatic induced maintenance process interaction design based on faster R-CNN[J]. Computer Engineering and Applications, 2019, 55(12): 181-187 (in Chinese).

[6] 王慧玲, 綦小龍, 武港山. 基于深度卷積神經網絡的目標檢測技術的研究進展[J]. 計算機科學, 2018, 45(9): 11-19.

WANG H L, QI X L, WU G S. Research progress of object detection technology based on convolutional neural network in deep learning[J]. Computer Science, 2018, 45(9): 11-19 (in Chinese).

[7] 楊絲琪, 陳維, 張晴晴, 等. 基于規則推理的輸電網絡故障診斷方法[J]. 電子科技, 2019, 32(3): 42-46.

YANG S Q, CHEN W, ZHANG Q Q, et al. Fault diagnosis method of transmission network based on rule reasoning[J]. Electronic Science and Technology, 2019, 32(3): 42-46 (in Chinese).

[8] 吳帥, 徐勇, 趙東寧. 基于深度卷積網絡的目標檢測綜述[J]. 模式識別與人工智能, 2018, 31(4): 335-346.

WU S, XU Y, ZHAO D N. Survey of object detection based on deep convolutional network[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(4): 335-346 (in Chinese).

[9] 王浩. 基于規則的故障診斷專家系統[J]. 計算機與現代化, 2010(10): 1-3, 7.

WANG H. Rule-based troubleshooting expert system[J].Computer and Modernization, 2010(10): 1-3,7(in Chinese).

[10] WEBEL S, BOCKHOLT U, ENGELKE T, et al. An augmented reality training platform for assembly and maintenance skills[J]. Robotics and Autonomous Systems, 2013, 61(4): 398-403.

[11] ESCHEN H, K?TTER T, RODECK R, et al. Augmented and virtual reality for inspection and maintenance processes in the aviation industry[J]. Procedia Manufacturing, 2018, 19: 156-163.

[12] 李曉紅, 徐可. 國外軍工制造領域增強現實技術應用現狀分析[J]. 國防制造技術, 2019(3): 6-11.

LI X H, XU K. Analysis of the current situation of augmented reality technology application in the foreign military manufacturing field[J]. Defense Manufacturing Technology, 2019(3): 6-11 (in Chinese).

[13] XUE H, SHARMA P, WILD F. User satisfaction in augmented reality-based training using microsoft HoloLens[J]. Computers, 2019, 8(1):9.

[14] DODEVSKA Z A, MIHIC M, MANASIJEVI S. The role of augmented reality in defensive activities[EB/OL]. [2021-04-25]. https://www.researchgate.net/publication/328580806_The_Role_of_Augmented_Reality_in_Defensive_Activities.

[15] 黃進, 韓冬奇, 陳毅能, 等. 混合現實中的人機交互綜述[J]. 計算機輔助設計與圖形學學報, 2016, 28(6): 869-880.

HUANG J, HAN D Q, CHEN Y N, et al. A survey on human-computer interaction in mixed reality[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 869-880 (in Chinese).

[16] PING J M, WENG D D, LIU Y, et al. Depth perception in shuffleboard: Depth cues effect on depth perception in virtual and augmented reality system[J]. Journal of the Society for Information Display, 2020, 28(2): 164-176.

Intelligent inspection and maintenance of mechanical and electrical equipment based on MR

WANG Wei, HONG Xue-feng, LEI Song-gui

(Air Force Engineering University, Xi’an Shaanxi 710038, China)

This paperexamined the basic structure and training method of Faster R-CNN (convolutional neural networks) target detection network. The state data set of mechanical and electrical equipment was established, and the target detection network was trained. In a single step, the region of pointer instrument could be extracted, and the reading of digital instrument and the state of switch and plug could be recognized. The target detection network was tested under different viewing angles and illumination intensities. The results show that the model can maintain the accuracy of more than 90% in different environments. Finally, based on the reasoning results, the intelligent maintenance assistant system for mechanical and electrical equipment developed based on Unity 3D software and HoloLens 2 hardware was applied to the retrieval of the mixed reality (MR) holographic induction maintenance information, thus guiding the operation of the support personnel. In order to verify the availability of the system, the experimental verification process was added, and the experimental results show that the experimenter could complete the maintenance task quickly and efficiently using MR. In addition, test and evaluation were conducted based on the operation time and questionnaire survey, and qualitative analysis was carried out regarding the advantages of the system.

mixed reality; faster R-CNN; intelligent fault diagnosis; maintenance assistance; experimental verification

15 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010141

A

2095-302X(2022)01-0141-08

2021-06-15；

2021-09-10

10 September，2021

國家自然科學基金項目(51675530)

National Natural Science Foundation of China (51675530)

王 崴(1974–)，男，教授，博士。主要研究方向為人機工程、誘導維修等。E-mail：164423432@qq.com

WANG Wei (1974–), professor, Ph.D. His main research interests cover ergonomics, induction maintenance, etc. E-mail：164423432@qq.com