基于樹莓派的發(fā)動(dòng)機(jī)孔探缺陷智能識(shí)別方法研究

魏永超，李 濤，鄧 毅

（中國(guó)民用航空飛行學(xué)院科研處，廣漢 618307）

0 引言

航空發(fā)動(dòng)機(jī)工作環(huán)境惡劣，其內(nèi)部溫度最高可達(dá)1900 K，高壓渦輪作為核心機(jī)部分處在高溫、高壓、高轉(zhuǎn)速的工作狀態(tài)下，因此容易產(chǎn)生燒蝕、裂紋、涂層丟失、材料丟失等缺陷。為防止因高壓渦輪內(nèi)部缺陷而導(dǎo)致的飛行事故，必須對(duì)發(fā)動(dòng)機(jī)內(nèi)部進(jìn)行定期檢測(cè)。但是發(fā)動(dòng)機(jī)內(nèi)部結(jié)構(gòu)復(fù)雜、空間狹小，不利于目視檢查，并且不能輕易拆卸。隨著孔探檢測(cè)技術(shù)的發(fā)展，從20 世紀(jì)60年代開(kāi)始，軟體光纖內(nèi)窺鏡被廣泛應(yīng)用于發(fā)動(dòng)機(jī)內(nèi)部損傷和故障的全面檢查。

目前，廣泛使用的第3 代電子內(nèi)窺鏡在很大程度上解決了成像質(zhì)量和損傷尺寸測(cè)量的問(wèn)題。然而，對(duì)于發(fā)動(dòng)機(jī)內(nèi)部損傷評(píng)估，先進(jìn)的孔探儀卻無(wú)能為力，因?yàn)閾p傷評(píng)估需要孔探人員具備較高的專業(yè)素養(yǎng)與工作經(jīng)驗(yàn)。而目前航空公司的發(fā)動(dòng)機(jī)孔探檢測(cè)專家往往僅限于在專門從事飛機(jī)發(fā)動(dòng)機(jī)維修的無(wú)損檢測(cè)部門，這種專家少、飛機(jī)多、飛機(jī)分布廣的特點(diǎn)使得發(fā)動(dòng)機(jī)孔探檢測(cè)面臨了典型的異地檢測(cè)和評(píng)估困難問(wèn)題，無(wú)法及時(shí)準(zhǔn)確地得到評(píng)估結(jié)果。造成了工作效率低下、公司營(yíng)運(yùn)成本增加等問(wèn)題。此外，孔探檢測(cè)設(shè)備只具備圖像及視頻采集功能，對(duì)于圖像和視頻的處理與分析能力完全不具備。因此，如何將人工孔探檢測(cè)工作轉(zhuǎn)換為半自動(dòng)化工作就顯得尤為重要。

所以，考慮利用比較成熟的深度學(xué)習(xí)技術(shù)，研究發(fā)動(dòng)機(jī)孔探缺陷自動(dòng)識(shí)別算法，將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型部署于服務(wù)器端作為后端。采用樹莓派連接孔探儀作為前端，接收實(shí)時(shí)的孔探視頻，對(duì)視頻進(jìn)行編碼，然后通過(guò)局域網(wǎng)發(fā)送至服務(wù)器端，后端讀取并解碼視頻后，會(huì)自動(dòng)識(shí)別視頻中是否有缺陷以及缺陷的類型，同時(shí)標(biāo)記出缺陷的位置、形狀以及大小。

本方法將深度學(xué)習(xí)技術(shù)以及樹莓派應(yīng)用到發(fā)動(dòng)機(jī)孔探檢測(cè)中，提供一種輔助孔探人員識(shí)別發(fā)動(dòng)機(jī)內(nèi)部缺陷的遠(yuǎn)程智能便攜式系統(tǒng)。

1 工作原理及系統(tǒng)組成

1.1 工作原理

該系統(tǒng)基本原理為：系統(tǒng)將孔探儀探頭采集到的高清圖像或視頻輸入服務(wù)器端的智能檢測(cè)系統(tǒng)進(jìn)行分析判斷，得到孔探圖像或視頻中的缺陷類型及位置、尺寸。然后系統(tǒng)進(jìn)行損傷程度判斷，并將帶有缺陷的視頻幀標(biāo)記完成后反饋到樹莓派端，在觸摸顯示屏的UI 界面顯示實(shí)時(shí)檢測(cè)結(jié)果，此時(shí)孔探人員可以將該視頻幀保存、以便進(jìn)一步復(fù)審。該系統(tǒng)的硬件連接圖如圖1所示。

圖1 硬件連接圖

圖1中樹莓派型號(hào)為樹莓派4 代RaspberryPi4B，4 GB 內(nèi)存；孔探儀為美國(guó)韋林公司生產(chǎn)的VideoProbe XL 系列可測(cè)量型航空專用內(nèi)窺系統(tǒng)；服務(wù)器為配置有NVIDIA GeForce RTX 2080 SUPER 的GPU 顯卡的機(jī)器，安裝NVIDIA驅(qū)動(dòng)、CUDA加速庫(kù)及相匹配的cuDNN版本。

1.2 系統(tǒng)識(shí)別流程

該系統(tǒng)結(jié)構(gòu)示意圖如圖2所示。

圖2 系統(tǒng)結(jié)構(gòu)示意圖

總體流程圖如圖3所示。具體流程如下：

圖3 系統(tǒng)整體流程圖

（1）該系統(tǒng)采用樹莓派搭載觸摸操控屏幕作為前端，視頻采集卡將孔探儀的視頻信號(hào)接入到樹莓派。

（2）視頻信號(hào)在樹莓派中經(jīng)Base64 逐幀編碼后，基于ZMQ 傳輸層協(xié)議，通過(guò)局域網(wǎng)被發(fā)送至服務(wù)器端。

（3）服務(wù)器端運(yùn)行同樣基于ZMQ 傳輸層協(xié)議的監(jiān)聽(tīng)程序，等待、接收樹莓派端的視頻數(shù)據(jù)。收到樹莓派端的幀數(shù)據(jù)后，首先進(jìn)行Base64解碼，還原得到孔探視頻幀。

（4）在服務(wù)器端運(yùn)行訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，該模型的訓(xùn)練數(shù)據(jù)來(lái)源于國(guó)內(nèi)某航空公司孔探維護(hù)數(shù)據(jù)。該神經(jīng)網(wǎng)絡(luò)模型可識(shí)別燒蝕、涂層脫落、裂紋、材料丟失四種缺陷類型。神經(jīng)網(wǎng)絡(luò)模型會(huì)對(duì)視頻幀中的缺陷進(jìn)行識(shí)別、標(biāo)記。

（5）服務(wù)器在完成缺陷識(shí)別后再將帶有標(biāo)記的視頻幀重復(fù)上述過(guò)程發(fā)回到樹莓派，在樹莓派搭載的屏幕上經(jīng)UI界面顯示實(shí)時(shí)檢測(cè)結(jié)果。

（6）孔探工作人員可在UI 界面截取識(shí)別到的帶有缺陷的視頻幀，進(jìn)行保存并送去復(fù)審。

1.3 軟件設(shè)計(jì)

軟件是整個(gè)系統(tǒng)的核心，其完成整個(gè)系統(tǒng)的控制，包括孔探圖像數(shù)據(jù)的采集和處理、圖像顯示、圖像分析、缺陷識(shí)別、定位、分割等功能，實(shí)現(xiàn)發(fā)動(dòng)機(jī)孔探缺陷的智能識(shí)別。系統(tǒng)的軟件結(jié)構(gòu)設(shè)計(jì)如圖4所示。軟件系統(tǒng)主要包括圖像獲取模塊、圖像預(yù)處理模塊、損傷評(píng)估與診斷模塊。軟件實(shí)現(xiàn)的主要功能有：判斷庫(kù)管理、知識(shí)庫(kù)管理、案例庫(kù)管理、圖像分析與特征提取等。軟件系統(tǒng)的特色功能就是能夠?qū)Σ杉降目滋綀D像進(jìn)行自動(dòng)分析處理、自動(dòng)識(shí)別出孔探圖像中的缺陷類型、自動(dòng)定位缺陷、自動(dòng)分割缺陷。

圖4 系統(tǒng)的軟件結(jié)構(gòu)示意圖

1.4 搭建局域網(wǎng)

本文局域網(wǎng)的搭建采用Python 的ZMQ 庫(kù)進(jìn)行編程。由于視頻幀數(shù)據(jù)在局域網(wǎng)中進(jìn)行傳播前還需要進(jìn)行若干次編碼，所以需要先把采集到的孔探視頻通過(guò)OpenCV 進(jìn)行編碼操作，OpenCV 中的imencode 函數(shù)可以將視頻數(shù)據(jù)編碼成流數(shù)據(jù)，賦值到內(nèi)存緩存中，以便于網(wǎng)絡(luò)傳輸。轉(zhuǎn)換成流數(shù)據(jù)之后，再經(jīng)過(guò)Base64 編碼，樹莓派將孔探儀上采集到的視頻數(shù)據(jù)轉(zhuǎn)化為可以在局域網(wǎng)中傳播的數(shù)據(jù)形式。然后在服務(wù)器端只需按照Z(yǔ)MQ 協(xié)議與解碼規(guī)則進(jìn)行部署，即可完成接收視頻幀的功能。其中，在樹莓派前端，網(wǎng)絡(luò)收發(fā)功能已經(jīng)被整合到UI 界面的框架中。其網(wǎng)絡(luò)傳輸架構(gòu)及原理圖如圖5所示。

圖5 網(wǎng)絡(luò)傳輸架構(gòu)及原理圖

2 構(gòu)建數(shù)據(jù)集

鑒于當(dāng)前沒(méi)有公開(kāi)的航空發(fā)動(dòng)機(jī)孔探缺陷數(shù)據(jù)集，本文需要收集、處理、標(biāo)注孔探數(shù)據(jù)，建立發(fā)動(dòng)機(jī)孔探缺陷數(shù)據(jù)庫(kù)。本文的訓(xùn)練數(shù)據(jù)來(lái)自國(guó)內(nèi)某航空公司孔探維護(hù)數(shù)據(jù)，如表1所示。

表1 某航空公司孔探維護(hù)數(shù)據(jù)

本文選取CFM56 系列發(fā)動(dòng)機(jī)為研究對(duì)象，將孔探缺陷大致分為燒蝕（burn）、裂紋（crack）、涂層丟失（missing coating）、材料丟失（missing material）四大類，四種典型缺陷類型如圖6所示。

圖6 四種缺陷類型

本文利用VIA（visual geometry group image annotator）對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注過(guò)程如圖7所示。標(biāo)注完成后，導(dǎo)出為json文件格式。

圖7 VIA標(biāo)注過(guò)程

3 實(shí)驗(yàn)環(huán)境配置

本文的實(shí)驗(yàn)環(huán)境在Ubuntu16.04 操作系統(tǒng)下，配置有NVIDIA GeForce RTX 2080 SUPER的GPU 顯卡的機(jī)器，安裝NVIDIA 驅(qū)動(dòng)、CUDA加速庫(kù)及相匹配的cuDNN 版本，從而可以使用GPU 加快模型的訓(xùn)練過(guò)程。并利用主流的深度學(xué)習(xí)框架訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，一共經(jīng)過(guò)300 個(gè)epoch 訓(xùn)練，得到孔探缺陷識(shí)別模型。最后，將神經(jīng)網(wǎng)絡(luò)模型部署于服務(wù)器端。

4 孔探檢測(cè)實(shí)例分析

為驗(yàn)證該系統(tǒng)實(shí)際孔探檢測(cè)效果是否滿足工業(yè)級(jí)要求，首先檢測(cè)孔探圖像與視頻，判斷其檢測(cè)缺陷準(zhǔn)確率及網(wǎng)絡(luò)識(shí)別速度?？滋綀D像檢測(cè)效果如圖8所示。

圖8 四種孔探缺陷識(shí)別效果（a至h為原圖）

對(duì)孔探視頻的檢測(cè)結(jié)果如圖9所示。

圖9 檢測(cè)孔探視頻

對(duì)某型航空發(fā)動(dòng)機(jī)做實(shí)時(shí)檢測(cè)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖10 所示。結(jié)果表明，樹莓派UI 界面及服務(wù)器端可顯示實(shí)時(shí)檢測(cè)結(jié)果，該改進(jìn)模型可以滿足工業(yè)要求，輔助孔探人員工作。

圖10 實(shí)時(shí)孔探檢測(cè)

5 結(jié)語(yǔ)

該系統(tǒng)將樹莓派與深度學(xué)習(xí)技術(shù)結(jié)合起來(lái)，通過(guò)計(jì)算機(jī)自動(dòng)識(shí)別孔探圖像缺陷，實(shí)現(xiàn)了對(duì)發(fā)動(dòng)機(jī)內(nèi)部損傷的發(fā)現(xiàn)-定位-測(cè)量-評(píng)估-決策的智能診斷，可以輔助孔探人員方便地進(jìn)行航空發(fā)動(dòng)機(jī)內(nèi)部損傷診斷，在檢測(cè)穩(wěn)定性、檢測(cè)精度、人力成本消耗等方面均有很大的優(yōu)勢(shì)。后續(xù)的研究工作，可以添加識(shí)別發(fā)動(dòng)機(jī)缺陷損傷程度的模塊，在內(nèi)部缺陷損傷的類型上對(duì)損傷的程度進(jìn)行定性分析和定量測(cè)量。