基于OpenVINO的飛機外表面檢查技術研究

邵欣桐 劉省賢

摘 ?要：飛機的繞機檢查是航線安全檢查中最為重要的一個環節，傳統的繞機檢查經常遇到維修人員經驗不足、光線較暗、檢查位置過高、機體表面損傷不易發現等缺點;針對航線繞機檢查這樣的特點提出了一種基于OpenVINO平臺的智能繞機檢查的方法，將機器視覺的概念引入到航線繞機檢查的工作中，針對飛機蒙皮損傷、感溫探頭堵塞、飛機機身表面有無油漬有較好的效果;在樣本的訓練中，對現有的模型進行了遷移學習，使得樣本的訓練量大大減小，能夠快速準確的發現飛機外表面檢查過程中出現相關問題。

關鍵詞：機器視覺;OpenVINO;遷移學習;繞機檢查

中圖分類號：TP391.7 文獻標志碼：A 文章編號：2095-2945（2020）19-0161-03

Abstract： Aircraft winding inspection is the most important link in route safety inspection. Traditional winding inspection often encounters shortcomings such as inexperience of maintenance personnel， low light， high inspection position， and difficulty in finding surface damage on the aircraft. This feature of winding inspection presents a method of intelligent winding inspection based on the OpenVINO platform， which introduces the concept of machine vision into the work of route winding inspection， has a better effect aiming at aircraft skin damage， temperature probe clogging， and the presence or absence of grease on the surface of fuselage. In the sample training， apply transfer learning for the existing model， which greatly reduces the amount of training， and can quickly and accurately find related problems during the inspection of the outer surface of the aircraft.

Keywords： machine vision; OpenVINO; transfer learning; winding inspection

引言

繞機檢查是航線維護過程中的重要工作，以保證飛機的整體運行狀態，確保可見部件和設備安全可靠;由于繞機檢查發生在航線維護中，所以對其準確性和效率有較高的要求，但由于繞機檢查自身的特點導致在維護的過程中經常出現目視檢查視野較差、檢查高度過高、維護人員經驗不足以及任務時間較為緊張等問題。因此我們設計這樣的一套系統，將機器視覺的概念引入到航線維護的過程中，通過無人機對繞機檢查的重點區域進行圖像的實時采集，傳遞到電腦端;通過Intel提供的OpenVINO平臺對機體表面常見的問題進行智能分析和判斷，從而發現機體外表面出現的問題，該系統不但使得航線維護人員工作量減輕，大大提高了現場診斷的準確率，取得了較好的效果。

1 系統硬件平臺的搭建

機器視覺是指用攝像機和電腦代替人眼對目標進行辨識、跟蹤和測量等操作，進一步做圖像處理，使其更利于人眼觀察或傳送儀器檢測圖像。目前機器視覺的平臺主要有：

（1）NVIDIA VisionWorks是計算機的軟件開發包視覺（CV）和圖像處理。其實現并擴展了Khronos OpenVX標準，并且針對支持CUDA的GPU和SOC進行了優化，從而使開發人員能夠在可擴展且靈活的平臺上實現CV應用程序，主要應用在自動駕駛、增強現實中，對系統的資源要求較高，所需硬件較為昂貴。

（2）Amazon Rekognition，其以在圖像和視頻中識別對象、人物、文本、場景和活動，也可以檢測任何不適宜的內容;提供高度精確的面孔分析和面孔搜索功能，但其不符合機務現場實時操作的需求。

（3）OpenVINO是英特爾基于自身現有的硬件平臺開發的一種可以加快高性能計算機視覺和深度學習視覺應用開發速度工具套件，支持各種英特爾平臺的硬件加速器上進行深度學習。支持在Windows與Linux系統，Python/C++語言，是目前能運行在CPU上的最好的深度學習框架，功能強大，大大降低了部署成本，體驗較好，適宜在航線維護的實時檢查分析中使用。

綜合上述觀點，考慮到飛機繞機檢查項目的確定性，可變度較低等因素;在視頻采集的過程中，我們通過無人機完成繞機過程中的實時圖像采集，將數據實時傳遞給我們的服務器端，我們選擇OpenVINO作為計算機視覺的開發包完成對視頻中問題部件的檢識別和檢測，如圖1所示。

2 系統軟件平臺技術研究

OpenVINO對系統的平臺要求相比于其他計算機視覺工具包相對較低，我們選取Windows平臺，處理器為第8代Intel ?Core處理器。

2.1 OpenVINO的部署和使用

OpenVINO目前包含有三個全新的API分別為：深度學習部署工具包、通用的深度學習推理工具包以及OpenCV和OpenVX的優化功能;支持TensorFlow＼MXNet和Caffe。

OpenVINO的深度學習部署工具主要包括兩個部分，一個是模型優化器，另一個是推理引擎。模型優化器是由Python編寫，推理引擎是一套C++函數庫及C++類。工作原理是對訓練產生的網絡模型進行優化，優化結果轉換成中間表示文件，得到IR文件（XML文件和BIN文件），其中XML文件中包含優化以后的網絡拓撲結構，BIN文件包含優化之后的模型參數和模型變量;在實際應用場景中使用推斷引擎測試生成的IR。然后在應用程序中調用推斷引擎相應接口，將生成的模型IR部署到實際環境中。

2.2 使用遷移學習完成樣本模型的訓練

遷移學習也稱為歸納遷移、領域適配，其目標是將某個領域或任務上學習到的知識或模式應用到不同的但相關的領域或問題中。由于OpenVINO支持多種深度學習框架，諸如ONNX、TensorFlow、Caffe、Kaldi等，實際的項目中我們只需將其轉換為OpenVINO的XML/BIN模型即可。我們已經獲取了通過TensorFlow訓練的目標模型，其提供了有關飛機、汽車部件級的識別工具包，我們只需要在其上對某型號飛機上特定的零件進行遷移學習，就可以完成對特定機型的識別和故障檢測。

由于TensorFlow訓練模型大多為卷積神經網絡模型，其可以分為兩部分，前面的卷積層和后面的全連接層。卷積層的作用是圖片特征的提取，全連接層作用是特征的分類。我們的思路便是現有的網絡模型上，修改全連接層，保留卷積層。卷積層的參數使用的是別人已經訓練好的，全連接層的參數需要我們初始化并使用我們自己的數據來訓練和學習，如圖3所示。

其代碼實現步驟為：

（1）首先進行模型讀取和轉換

Conda create -n aircraftvino python=5.0;

//打開conda控制臺，創建虛擬環境

Python C：＼OpenVINO＼openvino-2020.1;

// 模型轉換為BIN/XML文件

（2）對獲取的模型進行遷移學習，由于我們的模型的功能是對飛機上的部件進行分類，所以我們需要修改全連接層，只增加一個連續層。

bottleneck_input = tf.placeholder（）;

//定義新的神經網絡輸入

With tf.name_scope（）;//定義全連接層

train_step=tf.GradientDescentOptimizer（）

//定義交叉熵損失函數

for i in range（STEPS）：

{ get_random_cached_bottlenecks（）;

//磁盤讀入的張量值作為輸入向量

sess.run（）;}//訓練全連接層

（3）訓練完成后，完成正確率測試

test_ground_truth = get_test_bottlenecks（）;

3 基于OpenVINO的繞機故障檢測系統的實現

3.1 系統對繞機檢查中飛機部件的識別

本系統通過無人機采集的視頻可以實時地傳遞給電腦端，完成飛機部件的識別，目前我們僅對繞機檢查中的關鍵部件進行識別，如感溫探頭、飛機風擋玻璃、皮托管雷達天線以及艙門等，如圖4。

3.2 系統對飛機繞機檢查中故障的發現

系統在繞機檢查中檢測到發動機進氣道內側六點鐘位置螺栓處裂紋故障，經現場確認故障真實存在，如圖5。

4 結論

機器視覺技術的引入使得航線的工作更加智能化和簡潔化，從以往更多依靠人的經驗判斷轉換為依靠機器的智能檢測。基于OpenVINO的飛機繞機輔助檢查系統可以實現特定的飛機部件的識別和故障檢測，在航線測試中，可以起到減輕維護人員工作量且提高其檢查效率的作用;目前該系統僅能針對特定的飛機及其相關部件的識別還處于系統的研發階段，并不能完全全部的繞機檢查工作，這也是該系統未來的研究方向。

參考文獻：

[1]Kay-Pong D. Yip， Byeong-Jik Cha， Omkar Paudel， et al. Ryanodine Receptor-1 Mediated Endoplasmic Reticulum - Mitochondrial Calcium Transfer in High-Grade Serous Ovarian Cancer Cells（HGSOC）[J].Biophysical Journal， 2020，118（3）.

[2]英特爾OpenVINO工具包為創新智能視覺提供更多可能[J].中國信息化，2018（08）：51.

[3]鄭遠攀，李廣陽，李曄.深度學習在圖像識別中的應用研究綜述[J].計算機工程與應用，2019，55（12）：20-36.

[4]W. R. Twink Allen， Sandra Wilsher. Historical Aspects Of Equine Embryo Transfer[J]. Journal of Equine Veterinary Science， 2020，89.

[5]Cook Diane， Feuz Kyle D. Transfer learning for activity recognition： a survey[J]. Knowledge and Information Systems， 2013，36（3）：537-556.

[6]Le Tianhao， Liu Chao， Yao Bin， et al. Application of Machine Learning to Hyperspectral Radiative Transfer Simulations[J]. ?Journal of Quantitative Spectroscopy and Radioactive Transfer， 2020（prepublish）.

[7]Pan， Sinno Jialin， and Qiang Yang. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering，22.10（2010）：1345-1359.