基于機器視覺的飛機輪胎檢查技術研究

邵欣桐 劉省賢

(1、上海民航職業技術學院 航空維修系，上海200212 2、英特爾亞太研發有限公司 物聯網事業部，上海201100)

飛機輪胎作為起落架的重要組成部分，在飛機的起降過程中發揮極其重要的安全保障作用，因此飛機輪胎檢查是航線維護過程中的重要工作，也是定檢維修過程中較為費事費力的一項工作。由于輪胎檢查發生在航線維護中，對其維護時間要求較為苛刻，快速而有效的制定其輪胎的維修方案非常重要。

機器視覺系統最基本的特點就是提高生產的靈活性和自動化程度，在一些不適于人工作業的危險工作環境或者人工視覺難以滿足要求的場合，常用機器視覺來替代人工視覺。同時，在大批量重復性工業生產過程中，用機器視覺檢測方法可以大大提高生產的效率和自動化程度[1]。基于以上的特點，我們發現機器視覺非常適合引入到飛機輪胎的航線和定檢維護中，一方面我們的工作環境光線較差，多數工作集中在夜間，目視檢查的過程中容易造成疏漏；另一方面，在定檢維護或專門的輪胎檢查車間里，大量的重復性輪胎檢查更是需要一種快速的、有效的檢測方法。因此我們設計這樣的一套系統，將機器視覺的概念引入到航線維護的過程中，通過手持式攝像頭進行圖像的實時采集，傳遞到電腦端；通過Intel 提供的openVINO 平臺對輪胎表面常見的問題進行智能分析和判斷，從而快速給出針對該問題的維修意見，該系統減少了機務人員大量且重復的目視檢查工作，提高了現場診斷的準確率，取得了較好的效果。

1 系統平臺的搭建

機器視覺是一項綜合技術，包括圖像處理、機械工程技術、控制、電光源照明、光學成像、傳感器、模擬與數字視頻技術、計算機軟硬件技術。一個典型的機器視覺應用系統包括圖像捕捉、光源系統、圖像數字化模塊、數字圖像處理模塊、智能判斷決策模塊和機械控制執行模塊[2]。

目前機器視覺的平臺主要有：NVIDIA VisionWorks、Rekognition、OpenVINO 等多種，我們基于考慮硬件成本以及平臺接口操作難易，我們選擇OpenVINO 作為計算機視覺的開發包完成采集圖像的處理工作; 其對系統的平臺要求相比于其他計算機視覺工具包相對較低，我們選取Windows 平臺，處理器為第8 代IntelRRCore 處理器[3]。

視頻采集設備選擇手持式IP Camera。網絡攝像機是傳統攝像機與網絡視頻技術相結合的新一代產品。攝像機傳送來的視頻信號數字化后由高效壓縮芯片壓縮，通過網絡總線傳送到Web 服務器。網絡上用戶可以直接用瀏覽器觀看Web 服務器上的攝像機圖像，授權用戶還可以控制攝像機云臺鏡頭的動作或對系統配置進行操作。IP 網絡攝像機是基于網絡傳輸的數字化設備，網絡攝像機除了具有普通復合視頻信號輸出接口BNC外，還有網絡輸出接口，可直接將攝像機接入本地局域網。

圖1 手持式IP 網絡攝像機

2 基于OpenVINO 的CNN 模型研究

卷積神經網絡（CNN）由紐約大學的Yann Lecun 于1998 年提出，CNN 的優勢在網絡的輸入是圖像時表現的更為明顯，使得圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建的過程，在二維圖像的處理過程中有很大的優勢，如網絡能夠自行抽取圖像的特征包括顏色、紋理、形狀及圖像的拓撲結構，在處理二維圖像的問題上，特別是識別位移、縮放及其他形式扭曲不變性的應用上具有良好的魯棒性和運算效率等[5]。

2.1 AlexNet 框架

AlexNet 是最為經典的CNN 網絡結構模型，確立了CNN 在計算機界的統治地位，同時也推動了深度學習在語音識別、自然語言處理、強化學習等方面的拓展。該方法訓練了一個端到端的卷積神經網絡實現對圖像特征提取和分類，網絡結構共7 層，包含5 層卷積層和2 層全連接層[6]。其引入了ReLU 和dropout，引入數據增強、池化相互之間有覆蓋；5 個卷積層中，其中3 個卷積層后面連接了最大池化層。

圖2 AlexNet 的網絡結構模型

由AlexNet 的架構圖我們可以知道，AlexNet 總共有5 層卷積層，解釋如下：

第一層：卷積核大小是11*11，步長是4*4 ，通道數為96，緊接著是一個relu 激活函數，局部正則化，最后是一個卷積核大小為3*3，步長為2*2 的最大池化層。

第二層：卷積核大小是5*5 ，步長是1*1，通道數為256，最后是一個卷積核大小為3*3，步長為2*2 的最大池化層。

第三層、第四層、第五層：卷積核大小為3 * 3，步長為1*1，通道數分別是384 、384 、256。

卷積層后一般會加入池化層，池化層可以非常有效地縮小矩陣的尺寸，從而減少最后全鏈層中的參數，使用池化層既可以加快計算速度也有防止過擬合問題的作用。

全連接層的作用就是進行正確的圖片分類，不同神經網絡的全鏈層層數不同，但作用確是相同的。輸入到全鏈層的神經元個數通過卷積層和池化層的處理后大大的減少了，最后softmax 的輸出，則可以根據實際分類標簽數來定。AlexNet 網絡中各個層發揮的作用如表1 所示。

表1 AlexNet 網絡中各個層發揮的作用

2.2 OpenVINO 部署

我們將訓練的模型進行優化后需要轉換成中間表示文件，得到IR 文件（xml 文件中包含優化以后的網絡拓撲結構，bin 文件包含優化之后的模型參數和模型變量）；然后將生成的模型IR 部署到實際環境中[7]。

圖3 OpenVINO 部署流程

2.3 基于AlexNet 完成樣本模型的訓練

AlexNet 模型訓練可以分成以下幾個步驟:

2.3.1 首先加載圖片庫，完成程序初始化。

photos = os.listdir(“./data/image/train/”)

with open(“data/dataset.txt”,“w”) as f:

f.close()//加載訓練的圖片庫

2.3.2 調用Alexnet 網絡，并且返回一個大小為[batch_size,label]的隱層特征。

Def AlexNet(input_shape=(11,11,3) output, _shape=2):

def convLayer (x, kHeight, kWidth, strideX, strideY,featureNum, name, padding=“SAME”, groups=1)://定義卷積層

def maxPoolLayer (x, kHeight, kWidth, strideX, strideY,name, padding=“SAME”)://定義池化層

def fcLayer (x, inputD, outputD, reluFlag, name)://定義全連接層函數

2.3.3 使用選擇softmax 以及adam 優化器計算隱層特征和真實label 的差距，并更新數據。

self.fc8 = fc(dropout7, 4096, self.NUM_CLASSES, relu=False,name='fc8')//最后softmax 函數輸出的分類標簽

def predict (data, model_path, labels_dictest_result, ,sample_num=None): //加載模型，對測試數據進行分類

3 基于OpenVINO 的飛機輪胎智能檢測系統的實現

本系統的實現過程如下：

a. 建立飛機輪胎胎面圖片庫，將實際工作中經常遇到的胎面問題進行分類，目前系統已錄入9 種常見的胎面問題。

b. 將圖片進行增強處理，包括旋轉、扭曲、增噪等。

c. 使用已經建立的樣本模型對樣本進行篩選，對問題胎面進行分類。

d.針對發現的胎面問題，在維修歷史數據庫中進行匹配，快速給出維修建議。

3.1 系統對飛機胎面異常情況的識別

測試樣本來自一線航空公司歷史資料庫，測試樣本圖片2000 張，能夠篩選輪胎問題情況包括：胎面異常磨損、胎面劃水燒傷、胎面扎傷、胎面表面泡狀突起、胎面肋條撕裂等9 種常見問題。如圖4,5,6,7 所示。

圖4 胎面點狀磨平識別

圖5 胎面劃水燒傷識別

圖6 胎面泡狀突起識別

圖7 胎面污染侵蝕識別

3.2 系統針對胎面情況給予維修建議

系統對問題胎面進行識別，結合數據庫中的維修歷史進行相似度匹配，給出維修建議，減輕了機務維修人員目視檢查的壓力，也彌補了維修經驗不足等問題。

圖8 維修方案生成

4 結論

機器視覺技術的引入使得航線的機務人員從繁瑣而重復的工作中解脫出來，從以往更多依靠人的目視檢查和經驗判斷轉換為依靠機器的智能檢測。飛機胎面智能檢查系統可以實現對飛機胎面問題的識別和維修指導，在航線工作中，可以起到減輕維護人員目視檢查的工作量以及提高篩選問題輪胎的準確率；目前該系統僅能針對較為明顯的問題胎面的識別，并不能完全覆蓋飛機輪胎的所有異常狀況，以期在后續的研究中完善補充。