邊緣計(jì)算智能裝備技術(shù)在飛機(jī)檢修行為識(shí)別領(lǐng)域的應(yīng)用

姚明 李君成 陳龍

摘要：本文描述了基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的邊緣計(jì)算智能裝備，及其應(yīng)用于飛機(jī)維修檢查行為識(shí)別的技術(shù)和場(chǎng)景，可實(shí)現(xiàn)飛機(jī)航線(xiàn)定檢維修流程跟蹤管控、提升維修檢查作業(yè)的安全質(zhì)量和降本增效，減免人為因素所導(dǎo)致的不安全事件和運(yùn)行事件，避免經(jīng)濟(jì)損失。

關(guān)鍵詞：圖像識(shí)別；神經(jīng)網(wǎng)絡(luò)；邊緣計(jì)算；維修；檢查

Keywords：image recognition； neural network； edge computing； maintenance； inspection

0引言

目前飛機(jī)維修檢查作業(yè)包括短停、航前、航后、定檢等類(lèi)型，主要采用傳統(tǒng)人工目視檢查作業(yè)方式，按繞機(jī)檢查作業(yè)流程逐一檢查飛機(jī)機(jī)頭、發(fā)動(dòng)機(jī)、起落架、輪機(jī)艙、機(jī)翼、機(jī)尾等不同區(qū)域的設(shè)備部件區(qū)域是否存在缺陷、故障和安全隱患，全程人工定位找點(diǎn)、紙筆記錄，靠工作單卡簽署確認(rèn)檢查結(jié)果。

由于繞機(jī)檢查作業(yè)過(guò)程中需要檢查的飛機(jī)設(shè)備部件非常多，不同機(jī)型間結(jié)構(gòu)差異大，作業(yè)時(shí)間窗口期短，傳統(tǒng)人工目視檢查方式的作業(yè)質(zhì)量完全依靠維修人員的技術(shù)、經(jīng)驗(yàn)和責(zé)任心，故存在諸多問(wèn)題。例如，無(wú)法追溯檢查完成情況、無(wú)法確認(rèn)是否存在漏檢、對(duì)于故障缺陷無(wú)法實(shí)時(shí)指導(dǎo)排故、人工復(fù)檢費(fèi)工費(fèi)時(shí)等。

基于飛機(jī)維修檢查行為識(shí)別的邊緣計(jì)算智能裝備，其為維修人員提供實(shí)時(shí)作業(yè)指引，避免漏檢和違規(guī)行為，提高作業(yè)效率和質(zhì)量；為安全、質(zhì)量管理人員提供有效監(jiān)管工具，實(shí)現(xiàn)安全事故溯源和大數(shù)據(jù)分析，做到風(fēng)險(xiǎn)規(guī)避；能有效提升飛機(jī)維修的綜合管理能力，減免人為因素所導(dǎo)致的不安全事件和運(yùn)行事件，避免經(jīng)濟(jì)損失。

采用基于神經(jīng)網(wǎng)絡(luò)圖像識(shí)別技術(shù)的邊緣計(jì)算智能裝備，實(shí)現(xiàn)智能化維修檢查作業(yè)，具有行業(yè)領(lǐng)先性，其比傳統(tǒng)方式具有實(shí)時(shí)、準(zhǔn)確、完整、可追溯的先進(jìn)性。通過(guò)邊緣計(jì)算智能裝備的應(yīng)用，實(shí)現(xiàn)飛機(jī)航線(xiàn)定檢維修流程跟蹤管控、安全質(zhì)量提升和降本增效，助力科技創(chuàng)新數(shù)字化轉(zhuǎn)型和智慧維修推廣。

1邊緣計(jì)算智能裝備技術(shù)

1.1 神經(jīng)網(wǎng)絡(luò)圖像識(shí)別

圖像識(shí)別技術(shù)是立體視覺(jué)、運(yùn)動(dòng)分析、數(shù)據(jù)融合等實(shí)用技術(shù)的基礎(chǔ)，能自動(dòng)識(shí)別飛機(jī)設(shè)備部件以及缺陷故障、實(shí)時(shí)跟蹤分析維修檢查作業(yè)行為。基于圖像識(shí)別技術(shù)的邊緣計(jì)算智能裝備技術(shù)，是未來(lái)飛機(jī)智慧維修發(fā)展的必然趨勢(shì)。

目前基于飛機(jī)設(shè)備故障缺陷和維修檢查作業(yè)行為的智能圖像識(shí)別技術(shù)的應(yīng)用裝備和系統(tǒng)非常少，究其原因如下：

（1）飛機(jī)部件結(jié)構(gòu)繁多復(fù)雜；

（2）故障缺陷種類(lèi)多、差異大；

（3）作業(yè)行為因人而異；

（4）質(zhì)量要求精準(zhǔn)無(wú)錯(cuò)漏；

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展和科技的不斷進(jìn)步，圖像識(shí)別技術(shù)已經(jīng)在航空遙感、網(wǎng)絡(luò)通訊、物流交通、軍事公安、生物醫(yī)學(xué)、汽車(chē)機(jī)器人等眾多領(lǐng)域中大量應(yīng)用。例如，交通方面的車(chē)牌識(shí)別系統(tǒng)；公共安全方面的人臉識(shí)別技術(shù)、指紋識(shí)別技術(shù)；農(nóng)業(yè)方面的種子識(shí)別技術(shù)、食品品質(zhì)檢測(cè)技術(shù)；醫(yī)學(xué)方面的心電圖、CT影像識(shí)別技術(shù)；汽車(chē)方面的無(wú)人駕駛、自動(dòng)泊車(chē)技術(shù)；網(wǎng)絡(luò)通訊方面的視頻、圖文非法信息的檢測(cè)識(shí)別技術(shù)等。2015年微軟公布了一篇關(guān)于圖像識(shí)別的研究論文，在一項(xiàng)圖像識(shí)別的基準(zhǔn)測(cè)試中，電腦系統(tǒng)識(shí)別能力已經(jīng)超越了人類(lèi)。人類(lèi)在歸類(lèi)數(shù)據(jù)庫(kù)Image Net中的圖像識(shí)別錯(cuò)誤率為5.1%，而微軟研究小組的這個(gè)深度學(xué)習(xí)系統(tǒng)可以達(dá)到4.94%的錯(cuò)誤率。由此可見(jiàn)，計(jì)算機(jī)在圖像識(shí)別方面已經(jīng)有要超越人類(lèi)的圖像識(shí)別能力的趨勢(shì)，而且計(jì)算機(jī)在很多方面確實(shí)已具有人類(lèi)所無(wú)法超越的優(yōu)勢(shì)。因此，隨著計(jì)算機(jī)圖像識(shí)別技術(shù)以及算法的不斷優(yōu)化改進(jìn)，采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法，具備機(jī)器視覺(jué)圖像識(shí)別分析能力的邊緣計(jì)算智能裝備，為實(shí)現(xiàn)飛機(jī)智能化智慧檢修提供了有效、可行的方法和工具。

深度學(xué)習(xí)以數(shù)據(jù)的原始形態(tài)作為算法輸入，經(jīng)過(guò)算法層層抽象，將原始數(shù)據(jù)逐層抽象為自身任務(wù)所需的最終特征表示，最后以特征到任務(wù)目標(biāo)的映射作為結(jié)束，從原始數(shù)據(jù)到最終任務(wù)目標(biāo)，“一氣呵成”并無(wú)夾雜任何人為操作。深度學(xué)習(xí)除了模型學(xué)習(xí)，還有特征學(xué)習(xí)、特征抽象等任務(wù)模塊的參與，借助多層任務(wù)模塊完成最終學(xué)習(xí)任務(wù)。深度學(xué)習(xí)中的一類(lèi)代表算法是神經(jīng)網(wǎng)絡(luò)算法，包括深度置信網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)等。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一類(lèi)特殊的人工神經(jīng)網(wǎng)絡(luò)，其最主要的特點(diǎn)是卷積運(yùn)算操作。在諸多領(lǐng)域應(yīng)用特別是圖像相關(guān)任務(wù)上表現(xiàn)優(yōu)異，諸如，圖像分類(lèi)、圖像語(yǔ)義分割、圖像檢索、物體檢測(cè)等計(jì)算機(jī)視覺(jué)問(wèn)題。

如圖1所示，對(duì)深度模型而言，其輸入數(shù)據(jù)是未經(jīng)任何人為加工的原始樣本形式，后續(xù)則是堆疊在輸入層上的眾多操作層。這些操作層整體可看作是一個(gè)復(fù)雜的函數(shù)，最終損失函數(shù)由數(shù)據(jù)損失和模型參數(shù)的正則化損失共同組成，深度模型的訓(xùn)練則在最終損失驅(qū)動(dòng)下對(duì)模型進(jìn)行參數(shù)更新并將誤差反向傳播至網(wǎng)絡(luò)各層。模型的訓(xùn)練過(guò)程可以簡(jiǎn)單抽象為從原始數(shù)據(jù)向最終目標(biāo)的直接“擬合”，而中間的這些部件正起到了將原始數(shù)據(jù)映射為特征（即特征學(xué)習(xí)）隨后再映射為樣本標(biāo)記（即目標(biāo)任務(wù)，如分類(lèi)）的作用。

神經(jīng)網(wǎng)絡(luò)是模擬人腦神經(jīng)系統(tǒng)功能的模型，具有學(xué)習(xí)、聯(lián)想、記憶和模式識(shí)別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一個(gè)過(guò)程，在其所處環(huán)境的激勵(lì)下，相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定的規(guī)則（學(xué)習(xí)算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)值矩陣，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，學(xué)習(xí)過(guò)程結(jié)束。然后就可以用生成的神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)真實(shí)數(shù)據(jù)做分類(lèi)識(shí)別。

基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法，將飛機(jī)部件、缺陷故障、檢查作業(yè)行為等視頻、圖像信息進(jìn)行分類(lèi)整理標(biāo)注，通過(guò)監(jiān)督學(xué)習(xí)的方式，完成飛機(jī)維修檢查行為識(shí)別的神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，并將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型植入邊緣計(jì)算智能裝備，用于實(shí)際應(yīng)用場(chǎng)景的AI實(shí)時(shí)輔助識(shí)別，實(shí)現(xiàn)降本增效；同時(shí)，在應(yīng)用過(guò)程中能夠不斷迭代升級(jí)神經(jīng)網(wǎng)絡(luò)模型，從而實(shí)現(xiàn)飛機(jī)維修檢查的智能化和精準(zhǔn)高效可靠，提升安全質(zhì)量。

1.2 邊緣計(jì)算智能裝備系統(tǒng)的構(gòu)建

總體思路是基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)和圖像識(shí)別技術(shù)，采用邊緣計(jì)算智能裝備實(shí)時(shí)采集航線(xiàn)飛機(jī)維修檢查作業(yè)行為的視頻圖像，自動(dòng)智能識(shí)別飛機(jī)外部缺陷以及漏檢和違規(guī)行為，語(yǔ)音即時(shí)提醒和全程記錄；數(shù)據(jù)后臺(tái)系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程監(jiān)控和輔助指導(dǎo)排故，并統(tǒng)一整合飛機(jī)基礎(chǔ)數(shù)據(jù)、缺陷和作業(yè)行為記錄等，實(shí)現(xiàn)飛機(jī)維修檢查行為的可視化數(shù)據(jù)分析。

由圖2所示，應(yīng)用于飛機(jī)維修檢查行為識(shí)別的邊緣計(jì)算智能裝備，主要包括以下幾部分。

1）視頻采集模塊。視頻采集模塊用于實(shí)時(shí)采集航線(xiàn)維修檢查作業(yè)過(guò)程中的機(jī)頭、雷達(dá)罩、機(jī)翼、發(fā)動(dòng)機(jī)、尾翼、起落架、輪機(jī)艙、艙蓋板、天線(xiàn)等飛機(jī)設(shè)備部件視頻影像，將4K高清分辨率連續(xù)幀截圖實(shí)時(shí)傳送至圖像處理引擎；裝備可采用機(jī)械防抖的耳帶攝像頭、手機(jī)或者手持?jǐn)z像機(jī)等，由維修檢查人員在作業(yè)過(guò)程中隨身攜帶。

2）圖像處理引擎。連接視頻采集模塊獲取實(shí)時(shí)視頻流MJEPG連續(xù)幀截圖，基于神經(jīng)網(wǎng)絡(luò)圖像識(shí)別分析算法，用預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型，對(duì)輸入圖像信息的同步進(jìn)行識(shí)別判定；其中預(yù)先訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型包括分類(lèi)識(shí)別模型和目標(biāo)檢測(cè)模型，所述分類(lèi)識(shí)別模型至少包括機(jī)頭、雷達(dá)罩、發(fā)動(dòng)機(jī)、起落架、輪胎、輪機(jī)艙、機(jī)翼、尾翼、機(jī)身、艙蓋門(mén)等飛機(jī)設(shè)備部件的類(lèi)型識(shí)別，通過(guò)連續(xù)多幀圖像畫(huà)面的分類(lèi)識(shí)別率平均超過(guò)0.95的方式進(jìn)行識(shí)別判定，確定當(dāng)前所檢查的飛機(jī)設(shè)備部件類(lèi)型和區(qū)域位置；所述目標(biāo)檢測(cè)模型至少包括凹坑、雷擊、污漬、缺損、鳥(niǎo)撞等外部缺陷的檢測(cè)定位，通過(guò)掃描每幀圖像畫(huà)面中的飛機(jī)設(shè)備部件的圖像區(qū)域，識(shí)別判定可能存在的缺陷，當(dāng)出現(xiàn)連續(xù)多幀圖像畫(huà)面檢測(cè)出目標(biāo)缺陷的概率超過(guò)0.95，則對(duì)圖像進(jìn)行目標(biāo)缺陷定位紅框標(biāo)記；結(jié)合已識(shí)別的飛機(jī)設(shè)備部件分類(lèi)信息輸出缺陷識(shí)別結(jié)果，即時(shí)語(yǔ)音播報(bào)提醒并將缺陷識(shí)別結(jié)果實(shí)時(shí)傳送至數(shù)據(jù)后臺(tái)；所述缺陷識(shí)別結(jié)果至少包括飛機(jī)編號(hào)、飛機(jī)設(shè)備部件名稱(chēng)、缺陷分類(lèi)名稱(chēng)、缺陷位置、帶定位標(biāo)簽的視頻截圖圖像、時(shí)間戳和文字標(biāo)注信息；裝備采用AI智能主機(jī)，具備神經(jīng)網(wǎng)絡(luò)識(shí)別分析算法和GPU實(shí)時(shí)圖像處理計(jì)算能力。

3）數(shù)據(jù)后臺(tái)，連接圖像處理引擎實(shí)時(shí)獲取缺陷識(shí)別結(jié)果，與飛機(jī)缺陷索引數(shù)據(jù)庫(kù)中的記錄進(jìn)行匹對(duì)，確認(rèn)并記錄新識(shí)別的缺陷。并迭代更新飛機(jī)缺陷索引數(shù)據(jù)庫(kù)中的數(shù)據(jù)記錄，實(shí)現(xiàn)飛機(jī)維修檢查的缺陷記錄、歷史數(shù)據(jù)檢索和跟蹤分析；缺陷索引數(shù)據(jù)庫(kù)至少包括飛機(jī)編號(hào)、缺陷分類(lèi)和等級(jí)、缺陷所屬飛機(jī)設(shè)備部件名稱(chēng)和位置、缺陷定位圖像、缺陷標(biāo)記起止時(shí)間等；采用服務(wù)器，通過(guò)網(wǎng)絡(luò)和圖像處理引擎遠(yuǎn)程連接，實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)跟蹤飛機(jī)維修檢查過(guò)程中所發(fā)現(xiàn)的缺陷，及時(shí)查詢(xún)判定缺陷類(lèi)型和輔助指導(dǎo)排故作業(yè)，以及大數(shù)據(jù)分析歷史缺陷信息數(shù)據(jù)。

1.3 邊緣計(jì)算智能裝備系統(tǒng)的優(yōu)勢(shì)

通過(guò)分析邊緣計(jì)算智能裝備系統(tǒng)的構(gòu)建機(jī)理，可以明顯看出此類(lèi)系統(tǒng)在航線(xiàn)維修過(guò)程的應(yīng)用優(yōu)勢(shì)所在。

1）系統(tǒng)利用神經(jīng)網(wǎng)絡(luò)圖像識(shí)別的技術(shù)，實(shí)現(xiàn)自動(dòng)實(shí)時(shí)識(shí)別航線(xiàn)維修檢查作業(yè)過(guò)程中的飛機(jī)設(shè)備部件的缺陷故障，并全程語(yǔ)音即時(shí)提醒，提高了飛機(jī)部件缺陷的識(shí)別率，極大降低了人工識(shí)別的錯(cuò)誤率和漏檢率。

2）系統(tǒng)實(shí)現(xiàn)飛機(jī)設(shè)備部件缺陷的視頻圖像數(shù)據(jù)的檢索查詢(xún)，能夠快速查看故障缺陷的歷史記錄，及時(shí)區(qū)分新舊缺陷，避免缺陷重復(fù)檢查確認(rèn)，節(jié)省大量工時(shí)，極大地提高了維修檢查工作效率。

3）系統(tǒng)提升了數(shù)據(jù)管理能力，統(tǒng)一整合飛機(jī)航線(xiàn)維修檢查數(shù)據(jù)，建立航線(xiàn)飛機(jī)基礎(chǔ)數(shù)據(jù)庫(kù)和缺陷索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)航線(xiàn)維修的大數(shù)據(jù)跟蹤分析，極大地減免了飛行安全事故隱患。

4）系統(tǒng)實(shí)現(xiàn)對(duì)飛機(jī)部件缺陷狀態(tài)的實(shí)時(shí)追蹤監(jiān)控，自動(dòng)學(xué)習(xí)積累缺陷特征數(shù)據(jù)庫(kù)，對(duì)缺陷進(jìn)行精準(zhǔn)識(shí)別和快速驗(yàn)證，促進(jìn)航線(xiàn)智慧維修技術(shù)的應(yīng)用發(fā)展。

2飛機(jī)維修檢查行為圖像識(shí)別應(yīng)用場(chǎng)景

2.1 漏檢行為提醒

維修檢查人員在繞機(jī)檢查作業(yè)過(guò)程中，邊緣計(jì)算智能裝備能實(shí)時(shí)識(shí)別視頻中的飛機(jī)部件，并與工單流程要求進(jìn)行配對(duì)，如未識(shí)別發(fā)現(xiàn)待檢部件，則自動(dòng)即時(shí)提醒維修人員進(jìn)行部件檢查，并能自動(dòng)記錄檢查作業(yè)的時(shí)間和行為過(guò)程，每次作業(yè)結(jié)束后出具行為質(zhì)量分析報(bào)告，從而有效減免人為因素的漏檢事件。

2.2航前安全檢查糾錯(cuò)

航前檢查工作需要作業(yè)人員完成關(guān)鍵部位如跳開(kāi)關(guān)、起落架安全銷(xiāo)、皮托管套、雨刮刷等檢測(cè)和拍照記錄，并上傳提交審核人員通過(guò)照片二次人工復(fù)檢。通過(guò)邊緣計(jì)算智能裝備系統(tǒng)，采用AI技術(shù)復(fù)檢，能自動(dòng)識(shí)別并判定，將大大提高效率、節(jié)省人力，能有效提高飛機(jī)維修檢查效率。

2.3部件缺陷識(shí)別

維修檢查工作采用目視檢查方法，對(duì)于如垂尾表面、機(jī)翼上表面等飛機(jī)遠(yuǎn)端或高處部件外部的細(xì)小缺陷、凹痕、破損等，通過(guò)邊緣計(jì)算智能裝備的變焦鏡頭，放大掃描部件表面，能夠自動(dòng)識(shí)別缺陷并影像記錄位置區(qū)域和特征，此外還可以與后臺(tái)數(shù)據(jù)庫(kù)進(jìn)行匹對(duì)，快速判定缺陷類(lèi)型，從而提高飛機(jī)維修檢查效率和安全性。

2.4 遠(yuǎn)程監(jiān)控和大數(shù)據(jù)分析

通過(guò)邊緣計(jì)算智能裝備后臺(tái)系統(tǒng)，能實(shí)時(shí)監(jiān)控飛機(jī)維修作業(yè)行為和維修專(zhuān)家遠(yuǎn)程連線(xiàn)輔助指導(dǎo)排故；構(gòu)建飛機(jī)基礎(chǔ)特征數(shù)據(jù)庫(kù)、檢查作業(yè)行為記錄數(shù)據(jù)庫(kù)、外部缺陷索引數(shù)據(jù)庫(kù)，實(shí)現(xiàn)大數(shù)據(jù)回溯分析。

3結(jié)束語(yǔ)

邊緣計(jì)算智能裝備系統(tǒng)能有效提升飛機(jī)維修檢查作業(yè)的效率和質(zhì)量，降低維修人員的限制條件，實(shí)現(xiàn)智慧維修，能更可靠地保障航線(xiàn)維修安全性，通過(guò)歷史數(shù)據(jù)圖像對(duì)比分析，預(yù)判潛在故障的發(fā)展趨勢(shì)，實(shí)現(xiàn)大數(shù)據(jù)AI故障診斷和預(yù)測(cè)維修，意義重大。

參考文獻(xiàn)

[1]魏秀參. 解析卷積神經(jīng)網(wǎng)絡(luò)—深度學(xué)習(xí)實(shí)踐手冊(cè)[M]. 電子工業(yè)出版社，2018-11.

[2]李開(kāi)復(fù)，王永剛. 人工智能[M].文化發(fā)展出版社，2017.

[3]李玉鑑，張婷. 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)從入門(mén)到精通.[M].機(jī)械工業(yè)出版社，2018.

[4] 李旭冬，葉茂，李濤. 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)研究[J]. 計(jì)算機(jī)應(yīng)用研究，2017（10）.

[5]劉全，翟建偉，等. 深度強(qiáng)化學(xué)習(xí)綜述[J]. 計(jì)算機(jī)應(yīng)用研究，2018（1）.

[6]周志華. 機(jī)器學(xué)習(xí)[M].清華大學(xué)出版社，2016.